Связаться с намиПодключиться

Создание кластера Hive Metastore

Статья создана
Обновлена 27 ноября 2024 г.

Примечание

Функциональность находится на стадии Preview.

Подробнее о кластерах Metastore в сервисе Yandex MetaData Hub см. в разделе Кластеры Hive Metastore.

Перед началом работы

  1. Для привязки сервисного аккаунта к кластеру Metastore убедитесь, что вашему аккаунту в Yandex Cloud назначена роль iam.serviceAccounts.user или выше.

  2. Настройте NAT-шлюз в подсети, к которой будет подключен кластер. Это необходимо, чтобы кластер мог взаимодействовать с сервисами Yandex Cloud.

  3. Настройте группу безопасности.

  4. Создайте сервисный аккаунт.

  5. Назначьте сервисному аккаунту роль managed-metastore.integrationProvider. Она позволяет кластеру от имени сервисного аккаунта взаимодействовать с сервисами Yandex Cloud, например, с Yandex Cloud Logging и Yandex Monitoring.

    Вы можете добавить дополнительные роли. Их набор зависит от сценария работы. Сервисные роли приведены в разделе для Metastore, все доступные роли — в справочнике.

  6. (Опционально) Создайте статический ключ доступа для сервисного аккаунта. С помощью ключа кластер получит доступ к бакетам Yandex Object Storage.

    Сохраните идентификатор и секретный ключ, они доступны только при создании.

    Для работы с бакетами назначьте сервисному аккаунту одну из ролей Object Storage.

  7. Если вы хотите сохранять логи кластера в пользовательскую лог-группу, создайте ее.

    Подробнее см. в разделе Передача логов кластера.

Создайте кластер

Важно

Кластеры Metastore недоступны для редактирования, поэтому после создания кластера нельзя изменить его настройки.

  1. В консоли управления выберите каталог, в котором нужно создать сервер.

  2. Выберите сервис Yandex MetaData Hub.

  3. На левой панели выберите страницу  Metastore-сервер.

  4. Нажмите кнопку Создать кластер.

  5. Введите имя кластера. Оно должно быть уникальным в рамках каталога.

  6. (Опционально) Введите описание кластера.

  7. (Опционально) Добавьте метки Yandex Cloud для разделения ресурсов на логические группы.

  8. Укажите сервисный аккаунт, созданный ранее.

  9. В блоке Сетевые настройки выберите сеть и подсеть, в которых будет размещен кластер Metastore. Укажите заранее настроенную группу безопасности.

  10. (Опционально) Задайте настройки логирования:

    1. Включите опцию Запись логов.

    2. Выберите, куда записывать логи кластера:

      • В лог-группу по умолчанию — выберите значение Каталог в поле Назначение и укажите нужный каталог. Логи будут храниться в лог-группе, которая действует по умолчанию в выбранном каталоге.
      • В пользовательскую лог-группу — выберите значение Лог-группа в поле Назначение и укажите заранее созданную лог-группу.

    3. Выберите минимальный уровень логирования.

      В журнал выполнения записываются логи указанного уровня и выше. Доступные уровни — TRACE, DEBUG, INFO, WARN, ERROR и FATAL. Уровень по умолчанию — INFO.

  11. При необходимости включите защиту кластера от непреднамеренного удаления пользователем.

    Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

  12. Нажмите кнопку Создать.

Предыдущая
Настроить права доступа к подключению
Следующая
Настройка группы безопасности