Подключение Yandex Data Processing к Metastore
Примечание
Для использования кластера Metastore кластер Yandex Data Processing должен содержать компоненты SPARK и YARN.
-
Создайте кластер Metastore.
-
При создании или изменении кластера Yandex Data Processing задайте следующее свойство:
spark:spark.hive.metastore.uris : thrift://<IP-адрес_кластера_Metastore>:9083Чтобы узнать IP-адрес кластера Metastore, в консоли управления выберите сервис Yandex MetaData Hub и на левой панели выберите страницу Metastore-сервер. IP-адрес кластера указан в блоке Общая информация.
-
Если кластеры Metastore и Yandex Data Processing расположены в разных облачных сетях, настройте маршрутизацию между этими сетями таким образом, чтобы подсеть Metastore была доступна из подсети Yandex Data Processing.
Существует несколько способов настройки маршрутизации. Например, можно создать туннель IPSec.
-
Если в облачной сети используются группы безопасности, настройте группу безопасности кластера Yandex Data Processing на работу с Metastore. Для этого добавьте в нее следующее правило для исходящего трафика:
- Диапазон портов —
9083. - Протокол —
Любой(Any). - Источник —
CIDR. - CIDR блоки —
0.0.0.0/0.
- Диапазон портов —
Пример использования Yandex Data Processing с подключенным кластером Metastore см. в практическом руководстве Совместная работа с таблицами Yandex Data Processing с использованием Metastore.