Подключение Yandex Data Processing к Apache Hive™ Metastore
Примечание
Для использования кластера Apache Hive™ Metastore кластер Yandex Data Processing должен содержать компоненты SPARK и YARN.
-
Создайте кластер Apache Hive™ Metastore.
-
При создании или изменении кластера Yandex Data Processing задайте следующее свойство:
spark:spark.hive.metastore.uris : thrift://<IP-адрес_кластера_Apache Hive™ Metastore>:9083Чтобы узнать IP-адрес кластера Apache Hive™ Metastore, в консоли управления выберите сервис Yandex MetaData Hub и на панели слева выберите Metastore-сервер. Для нужного кластера скопируйте значение из колонки IP-адрес.
-
Если кластеры Apache Hive™ Metastore и Yandex Data Processing расположены в разных облачных сетях, настройте маршрутизацию между этими сетями таким образом, чтобы подсеть Apache Hive™ Metastore была доступна из подсети Yandex Data Processing.
Существует несколько способов настройки маршрутизации. Например, можно создать туннель IPSec.
-
Если в облачной сети используются группы безопасности, настройте группу безопасности кластера Yandex Data Processing на работу с Apache Hive™ Metastore. Для этого добавьте в нее следующее правило для исходящего трафика:
- Диапазон портов —
9083. - Протокол —
Любой(Any). - Источник —
CIDR. - CIDR блоки —
0.0.0.0/0.
- Диапазон портов —
Пример использования Yandex Data Processing с подключенным кластером Apache Hive™ Metastore см. в практическом руководстве Совместная работа с таблицами Yandex Data Processing с использованием Apache Hive™ Metastore.
Apache® и Apache Hive™ являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах.