Связаться с намиПодключиться

Создание кластера Hive Metastore

Статья создана
Улучшена
Обновлена 4 сентября 2025 г.

Примечание

Функциональность находится на стадии Preview.

Подробнее о кластерах Metastore в сервисе Yandex MetaData Hub см. в разделе Кластеры Hive Metastore.

Перед началом работы

  1. Для привязки сервисного аккаунта к кластеру Metastore убедитесь, что вашему аккаунту в Yandex Cloud назначена роль iam.serviceAccounts.user или выше.

  2. Настройте NAT-шлюз в подсети, к которой будет подключен кластер. Это необходимо, чтобы кластер мог взаимодействовать с сервисами Yandex Cloud.

  3. Настройте группу безопасности.

  4. Создайте сервисный аккаунт.

  5. Назначьте сервисному аккаунту роль managed-metastore.integrationProvider. Она позволяет кластеру от имени сервисного аккаунта взаимодействовать с сервисами Yandex Cloud, например, с Yandex Cloud Logging и Yandex Monitoring.

    Вы можете добавить дополнительные роли. Их набор зависит от сценария работы. Сервисные роли приведены в разделе для Metastore, все доступные роли — в справочнике.

  6. Если вы хотите сохранять логи кластера в пользовательскую лог-группу, создайте ее.

    Подробнее см. в разделе Передача логов кластера.

Создание кластера

  1. В консоли управления выберите каталог, в котором нужно создать сервер.

  2. Выберите сервис Yandex MetaData Hub.

  3. На левой панели выберите страницу  Metastore-сервер.

  4. Нажмите кнопку Создать кластер.

  5. Введите имя кластера. Оно должно быть уникальным в рамках каталога.

  6. (Опционально) Введите описание кластера.

  7. (Опционально) Добавьте метки Yandex Cloud для разделения ресурсов на логические группы.

  8. Укажите сервисный аккаунт, созданный ранее.

  9. В блоке Сетевые настройки выберите сеть и подсеть, в которых будет размещен кластер Metastore. Укажите заранее настроенную группу безопасности.

  10. (Опционально) Задайте настройки логирования:

    1. Включите опцию Запись логов.

    2. Выберите, куда записывать логи кластера:

      • В лог-группу по умолчанию — выберите значение Каталог в поле Назначение и укажите нужный каталог. Логи будут храниться в лог-группе, которая действует по умолчанию в выбранном каталоге.
      • В пользовательскую лог-группу — выберите значение Лог-группа в поле Назначение и укажите заранее созданную лог-группу.

    3. Выберите минимальный уровень логирования.

      В журнал выполнения записываются логи указанного уровня и выше. Доступные уровни — TRACE, DEBUG, INFO, WARN, ERROR и FATAL. Уровень по умолчанию — INFO.

  11. При необходимости включите защиту кластера от непреднамеренного удаления пользователем.

    Включенная защита кластера от удаления не помешает подключиться к нему вручную и удалить данные.

  12. Нажмите кнопку Создать.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы создать кластер Metastore:

  1. Посмотрите описание команды CLI для создания кластера:

    yc managed-metastore cluster create --help

  2. Укажите параметры кластера в команде создания:

    yc managed-metastore cluster create \
   --name <имя_кластера> \
   --description <описание_кластера> \
   --labels <список_меток> \
   --service-account-id <идентификатор_сервисного_аккаунта> \
   --version <версия> \
   --subnet-ids <идентификаторы_подсетей> \
   --security-group-ids <идентификаторы_групп_безопасности> \
   --resource-preset-id <идентификатор_вычислительных_ресурсов> \
   --maintenance-window type=<тип_технического_обслуживания>,`
                        `day=<день_недели>,`
                        `hour=<час_дня> \
   --deletion-protection \
   --log-enabled \
   --log-folder-id <идентификатор_каталога> \
   --log-min-level <уровень_логирования>

    Где:

    • --name — имя кластера.
    • --description — описание кластера.
    • --labels — список меток. Метки задаются в формате <ключ>=<значение>.
    • --service-account-id — идентификатор сервисного аккаунта.
    • --version — версия Metastore.
    • --subnet-ids — список идентификаторов подсетей.

    • --security-group-ids — список идентификаторов групп безопасности.

    • --resource-preset-id — конфигурация вычислительных ресурсов. Доступные значения:

      • c2-m8 — 2 vCPU и 8 ГБ RAM.
      • c2-m4 — 2 vCPU и 4 ГБ RAM.

    • --maintenance-window — настройки времени технического обслуживания (в т. ч. для выключенных кластеров), где type — тип технического обслуживания:

      • anytime (по умолчанию) — в любое время.
      • weekly — по расписанию. Для этого значения дополнительно укажите:
        • day — день недели: MON, TUE, WED, THU, FRI, SAT или SUN.
        • hour — час дня по UTC: от 1 до 24.

    • --deletion-protection — включает защиту кластера от непреднамеренного удаления.

    • Параметры логирования:

      • --log-enabled — включает логирование. Логи, сгенерированные компонентами Metastore, будут отправляться в Yandex Cloud Logging.

      • --log-folder-id — идентификатор каталога. Логи будут записываться в лог-группу по умолчанию для этого каталога.

      • --log-group-id — идентификатор пользовательской лог-группы. Логи будут записываться в нее.

        Укажите один из двух параметров: --log-folder-id либо --log-group-id.

      • --log-min-level — минимальный уровень логирования. Возможные значения: TRACE, DEBUG, INFO (значение по умолчанию), WARN, ERROR и FATAL.

Предыдущая
Получение информации о кластерах
Следующая
Изменение кластера