Экспорт и импорт метаданных Hive в кластере Metastore

Статья создана

Обновлена 16 октября 2024 г.

Перед началом работы

Создайте сервисный аккаунт my-account с ролью storage.uploader.
Создайте статический ключ доступа для сервисного аккаунта my-account. Сохраните идентификатор и секретный ключ — они понадобятся для работы с Yandex Object Storage.
Настройте сеть и создайте кластер Metastore. При создании укажите параметры статического ключа доступа.

Важно

Экспорт и импорт данных доступны в кластерах Metastore только со статическим ключом доступа.
Создайте бакет my-bucket в Object Storage. В нем будет храниться файл с метаданными для импорта и экспорта.
Выдайте разрешение READ и WRITE сервисному аккаунту my-account на бакет my-bucket.

Важно

Не назначайте на бакет политику доступа, иначе кластер Metastore не сможет записывать данные в бакет.

Консоль управления

Перейдите на страницу каталога и выберите сервис Yandex MetaData Hub.
На левой панели выберите страницу Metastore-сервер.
Нажмите на значок для нужного кластера и выберите пункт Экспорт.
В открывшемся окне укажите:
- Бакет my-bucket, куда будут экспортированы данные кластера.
- Название файла .sql, куда будут записаны данные кластера. Если файл с таким названием уже существует, он будет перезаписан.
Нажмите кнопку Экспортировать.

Перед импортом загрузите файл .sql с метаданными в бакет my-bucket. О том, как подготовить файл и как устроен процесс импорта, читайте в разделе Перенос метаданных между кластерами Yandex Data Processing с помощью Metastore.

Чтобы импортировать данные в кластер:

Консоль управления

Перейдите на страницу каталога и выберите сервис Yandex MetaData Hub.
На левой панели выберите страницу Metastore-сервер.
Нажмите на значок для нужного кластера и выберите пункт Импорт.
В открывшемся окне выберите бакет my-bucket и файл, откуда будут импортированы данные кластера.
Нажмите кнопку Импортировать.