Подключение Yandex Data Processing к Metastore

Создайте кластер Metastore.

При создании или изменении кластера Yandex Data Processing задайте следующее свойство:

spark:spark.hive.metastore.uris : thrift://<IP-адрес_кластера_Metastore>:9083

Чтобы узнать IP-адрес кластера Metastore, в консоли управления выберите сервис Yandex MetaData Hub и на левой панели выберите страницу  Metastore-сервер. Для нужного кластера скопируйте значение из колонки IP-адрес.

Если кластеры Metastore и Yandex Data Processing расположены в разных облачных сетях, настройте маршрутизацию между этими сетями таким образом, чтобы подсеть Metastore была доступна из подсети Yandex Data Processing.

Существует несколько способов настройки маршрутизации. Например, можно создать туннель IPSec.

Если в облачной сети используются группы безопасности, настройте группу безопасности кластера Yandex Data Processing на работу с Metastore. Для этого добавьте в нее следующее правило для исходящего трафика:

• Диапазон портов — 9083.
• Протокол — Любой (Any).
• Источник — CIDR.
• CIDR блоки — 0.0.0.0/0.