Связаться с намиПодключиться

Начало работы с Apache Hive™ Metastore

Статья создана
Улучшена
Обновлена 9 октября 2025 г.

В сервисе Yandex MetaData Hub вы можете создавать кластеры Apache Hive™ Metastore и использовать их для работы с кластерами Yandex Data Processing.

Перед началом работы

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь, если вы еще не зарегистрированы.

  2. Если у вас еще нет каталога, создайте его:

    1. В консоли управления в списке слева выберите нужное облако.

    2. Справа сверху нажмите кнопку Создать каталог.

    3. Введите имя каталога. Требования к имени:

      • длина — от 2 до 63 символов;
      • может содержать строчные буквы латинского алфавита, цифры и дефисы;
      • первый символ — буква, последний — не дефис.

    4. (Опционально) Введите описание каталога.

    5. Выберите опцию Создать сеть по умолчанию. Будет создана сеть с подсетями в каждой зоне доступности. Также в этой сети будет создана группа безопасности по умолчанию, внутри которой весь сетевой трафик разрешен.

    6. Нажмите кнопку Создать.

  3. Для привязки сервисного аккаунта к кластеру Apache Hive™ Metastore назначьте вашему аккаунту в Yandex Cloud роль iam.serviceAccounts.user или выше.

    Примечание

    Если вы не можете управлять ролями, обратитесь к администратору вашего облака или организации.

  4. Настройте NAT-шлюз в подсети, в которой будут размещены кластеры Apache Hive™ Metastore и Yandex Data Processing.

  5. Создайте группу безопасности для кластеров Apache Hive™ Metastore и Yandex Data Processing.

  6. Добавьте в группу безопасности правила для кластера Apache Hive™ Metastore:

    • Для входящего трафика от клиентов:

      • Диапазон портов — 30000-32767.
      • Протокол — Любой (Any).
      • Источник — CIDR.
      • CIDR блоки — 0.0.0.0/0.

    • Для входящего трафика от балансировщика:

      • Диапазон портов — 10256.
      • Протокол — Любой (Any).
      • Источник — Проверки состояния балансировщика.

  7. Добавьте в группу безопасности правила для кластера Yandex Data Processing:

    • По одному правилу для входящего и исходящего служебного трафика:

      • Диапазон портов — 0-65535.
      • Протокол — Любой.
      • Источник/Назначение — Группа безопасности.
      • Группа безопасности — Текущая.

    • Отдельное правило для исходящего HTTPS-трафика на все адреса. Это позволит использовать бакеты Yandex Object Storage, UI Proxy и автоматическое масштабирование подкластеров Yandex Data Processing.

      • Диапазон портов — 443.
      • Протокол — TCP.
      • Назначение — CIDR.
      • CIDR блоки — 0.0.0.0/0.

    • Правило, разрешающее доступ к NTP-серверам для синхронизации времени:

      • Диапазон портов — 123.
      • Протокол — UDP.
      • Назначение — CIDR.
      • CIDR блоки — 0.0.0.0/0.

  8. Создайте сервисный аккаунт с ролями dataproc.agent, dataproc.provisioner и managed-metastore.integrationProvider.

  9. Создайте бакет Object Storage для работы с кластером Yandex Data Processing.

  10. В созданной ранее сети создайте кластер Yandex Data Processing. В настройках задайте:

    • Сервисы SPARK и YARN.
    • Сервисный аккаунт, созданный ранее.
    • Свойство spark:spark.sql.hive.metastore.sharedPrefixes со значением com.amazonaws,ru.yandex.cloud. Нужно для выполнения заданий PySpark и для интеграции с Apache Hive™ Metastore.
    • Бакет, созданный ранее.
    • Группу безопасности, настроенную ранее.

Создайте кластер Apache Hive™ Metastore

  1. В консоли управления перейдите в ранее созданный каталог.
  2. Выберите сервис Yandex MetaData Hub.
  3. На панели слева выберите Metastore-сервер.
  4. Нажмите кнопку Создать кластер.
  5. Введите имя кластера. Оно должно быть уникальным в рамках каталога.
  6. Выберите сервисный аккаунт, от имени которого кластер Apache Hive™ Metastore будет взаимодействовать с другими сервисами Yandex Cloud, или создайте новый.
  7. Выберите версию Apache Hive™ Metastore 3.1.
  8. В блоке Сетевые настройки выберите созданную ранее сеть и подсеть. Укажите заранее настроенную группу безопасности.
  9. В блоке Metastore выберите конфигурацию кластера.
  10. (Опционально) В блоке Логирование включите запись логов, выберите минимальный уровень логирования и укажите каталог или лог-группу.
  11. При необходимости включите защиту кластера от непреднамеренного удаления пользователем.
  12. Нажмите кнопку Создать.

Подключите кластер Apache Hive™ Metastore к кластеру Yandex Data Processing

  1. В созданном ранее кластере Yandex Data Processing задайте следующее свойство:

    spark:spark.hive.metastore.uris : thrift://<IP-адрес_кластера_Apache Hive™ Metastore>:9083

    Чтобы узнать IP-адрес кластера Apache Hive™ Metastore, в консоли управления выберите сервис Yandex MetaData Hub и на панели слева выберите Metastore-сервер. Для нужного кластера скопируйте значение из колонки IP-адрес.

  2. Добавьте в группу безопасности следующее правило для исходящего трафика:

    • Диапазон портов — 9083.
    • Протокол — Любой (Any).
    • Источник — CIDR.
    • CIDR блоки — 0.0.0.0/0.

Что дальше

Apache® и Apache Hive™ являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах.

Предыдущая
Cancel
Следующая
Получение информации о кластерах