Начало работы с Hive Metastore

В сервисе Yandex MetaData Hub вы можете создавать кластеры Hive Metastore и использовать их для работы с кластерами Yandex Data Processing.

Перед началом работыПеред началом работы

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь, если вы еще не зарегистрированы.

2. Если у вас еще нет каталога, создайте его:

   1. В консоли управления в списке слева выберите нужное облако.

   2. Справа сверху нажмите кнопку Создать каталог.

   3. Введите имя каталога. Требования к имени:

      • длина — от 3 до 63 символов;
      • может содержать строчные буквы латинского алфавита, цифры и дефисы;
      • первый символ — буква, последний — не дефис.

   4. (Опционально) Введите описание каталога.

   5. Выберите опцию Создать сеть по умолчанию. Будет создана сеть с подсетями в каждой зоне доступности. Также в этой сети будет создана группа безопасности по умолчанию, внутри которой весь сетевой трафик разрешен.

   6. Нажмите кнопку Создать.

3. Для привязки сервисного аккаунта к кластеру Metastore убедитесь, что вашему аккаунту в Yandex Cloud назначена роль iam.serviceAccounts.user или выше.

4. Настройте NAT-шлюз в подсети, в которой будут размещены кластеры Metastore и Yandex Data Processing.

5. Создайте группу безопасности для кластеров Metastore и Yandex Data Processing.

6. Добавьте в группу безопасности правила для кластера Metastore:

   • Для входящего трафика от клиентов:

     • Диапазон портов — 30000-32767.
     • Протокол — Любой (Any).
     • Источник — CIDR.
     • CIDR блоки — 0.0.0.0/0.

   • Для входящего трафика от балансировщика:

     • Диапазон портов — 10256.
     • Протокол — Любой (Any).
     • Источник — Проверки состояния балансировщика.

7. Добавьте в группу безопасности правила для кластера Yandex Data Processing:

   • По одному правилу для входящего и исходящего служебного трафика:

     • Диапазон портов — 0-65535.
     • Протокол — Любой.
     • Источник/Назначение — Группа безопасности.
     • Группа безопасности — Текущая.

   • Отдельное правило для исходящего HTTPS-трафика на все адреса. Это позволит использовать бакеты Yandex Object Storage, UI Proxy и автоматическое масштабирование подкластеров Yandex Data Processing.

     • Диапазон портов — 443.
     • Протокол — TCP.
     • Назначение — CIDR.
     • CIDR блоки — 0.0.0.0/0.

   • Правило, разрешающее доступ к NTP-серверам для синхронизации времени:

     • Диапазон портов — 123.
     • Протокол — UDP.
     • Назначение — CIDR.
     • CIDR блоки — 0.0.0.0/0.

8. Создайте сервисный аккаунт с ролями dataproc.agent, dataproc.provisioner и managed-metastore.integrationProvider.

9. Создайте бакет Object Storage для работы с кластером Yandex Data Processing.

10. В созданной ранее сети создайте кластер Yandex Data Processing. В настройках задайте:

    • Сервисы SPARK и YARN.
    • Сервисный аккаунт, созданный ранее.
    • Свойство spark:spark.sql.hive.metastore.sharedPrefixes со значением com.amazonaws,ru.yandex.cloud. Нужно для выполнения заданий PySpark и для интеграции с Metastore.
    • Бакет, созданный ранее.
    • Группу безопасности, настроенную ранее.

Создайте кластер MetastoreСоздайте кластер Metastore

Подключите кластер Metastore к кластеру Yandex Data ProcessingПодключите кластер Metastore к кластеру Yandex Data Processing

Что дальшеЧто дальше

• Работайте с таблицами при помощи Metastore.
• Используйте Metastore для переноса данных между кластерами Yandex Data Processing.
• Храните в Metastore табличные данные при работе с Apache Airflow™.
• Экспортируйте или импортируйте метаданные Hive в кластере Metastore.