Подключение Yandex Data Processing к Apache Hive™ Metastore

Создайте кластер Apache Hive™ Metastore.

При создании или изменении кластера Yandex Data Processing задайте следующее свойство:

spark:spark.hive.metastore.uris : thrift://<IP-адрес_кластера_Apache Hive™ Metastore>:9083

Чтобы узнать IP-адрес кластера Apache Hive™ Metastore, в консоли управления выберите сервис Yandex MetaData Hub и на панели слева выберите  Metastore-сервер. Для нужного кластера скопируйте значение из колонки IP-адрес.

Если кластеры Apache Hive™ Metastore и Yandex Data Processing расположены в разных облачных сетях, настройте маршрутизацию между этими сетями таким образом, чтобы подсеть Apache Hive™ Metastore была доступна из подсети Yandex Data Processing.

Существует несколько способов настройки маршрутизации. Например, можно создать туннель IPSec.

Если в облачной сети используются группы безопасности, настройте группу безопасности кластера Yandex Data Processing на работу с Apache Hive™ Metastore. Для этого добавьте в нее следующее правило для исходящего трафика:

• Диапазон портов — 9083.
• Протокол — Любой (Any).
• Источник — Диапазон адресов.
• IPv4 CIDR — 0.0.0.0/0.