Связаться с намиПодключиться

Экспорт и импорт метаданных Hive в кластере Metastore

Статья создана
Улучшена
Обновлена 4 сентября 2025 г.

Перед началом работы

  1. Создайте сервисный аккаунт my-account ролями storage.uploader и managed-metastore.integrationProvider.
  2. Настройте сеть и создайте кластер Metastore. При создании укажите сервисный аккаунт my-account.
  3. Создайте бакет my-bucket в Yandex Object Storage. В нем будет храниться файл с метаданными для импорта и экспорта.
  4. Выдайте разрешение READ и WRITE сервисному аккаунту my-account на бакет my-bucket.

Подробнее о подключении к бакету, в котором настроены политики доступа, см. в инструкции.

Экспорт данных

  1. Перейдите на страницу каталога и выберите сервис Yandex MetaData Hub.

  2. На левой панели выберите страницу Metastore-сервер.

  3. Нажмите на значок для нужного кластера и выберите пункт Экспорт.

  4. В открывшемся окне укажите:

    • Бакет my-bucket, куда будут экспортированы данные кластера.
    • Название файла .sql, куда будут записаны данные кластера. Если файл с таким названием уже существует, он будет перезаписан.

  5. Нажмите кнопку Экспортировать.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы экспортировать метаданные из кластера Metastore, выполните команду:

yc managed-metastore cluster export-data <имя_или_идентификатор_кластера> \
   --bucket <имя_бакета> \
   --filepath <файл_для_данных>

Где:

  • --bucket — бакет Object Storage, куда будут экспортированы данные кластера.
  • --filepath — путь к файлу .sql, в который будут записаны данные кластера. Если файл с таким названием уже существует, он будет перезаписан.

Идентификатор и имя кластера можно запросить со списком кластеров в каталоге.

Импорт данных

Перед импортом загрузите файл .sql с метаданными в бакет my-bucket. О том, как подготовить файл и как устроен процесс импорта, читайте в разделе Перенос метаданных между кластерами Yandex Data Processing с помощью Metastore.

Чтобы импортировать данные в кластер Metastore:

  1. Перейдите на страницу каталога и выберите сервис Yandex MetaData Hub.
  2. На левой панели выберите страницу Metastore-сервер.
  3. Нажмите на значок для нужного кластера и выберите пункт Импорт.
  4. В открывшемся окне выберите бакет my-bucket и файл, откуда будут импортированы данные кластера.
  5. Нажмите кнопку Импортировать.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы импортировать метаданные в кластер Metastore, выполните команду:

yc managed-metastore cluster import-data <имя_или_идентификатор_кластера> \
   --bucket <имя_бакета> \
   --filepath <файл_для_данных>

Где:

  • --bucket — бакет Object Storage, откуда будут импортированы данные кластера.
  • --filepath — путь к файлу .sql, из которого будут импортированы данные кластера.

Идентификатор и имя кластера можно запросить со списком кластеров в каталоге.

Предыдущая
Подключение Yandex Data Processing к Metastore
Следующая
Подключение к бакету Yandex Object Storage с политикой доступа