Перенос метаданных между кластерами Yandex Data Processing с помощью Metastore

Вы можете перенести метаданные между кластерами Yandex Data Processing с СУБД Hive. Сначала метаданные экспортируются из одного кластера, затем импортируются в другой с помощью Hive Metastore.

Чтобы перенести метаданные между кластерами Yandex Data Processing:

1. Создайте тестовую таблицу.
2. Экспортируйте данные.
3. Подключите Yandex Data Processing к Metastore.
4. Импортируйте данные.
5. Проверьте результат.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки инфраструктуры входит:

• плата за вычислительные ресурсы кластера Yandex Data Processing и объем хранилища (см. тарифы Yandex Data Processing);
• плата за хранение данных и операции с данными в бакете (см. тарифы Yandex Object Storage);
• плата за использование NAT-шлюза и исходящий через шлюз трафик (см. тарифы Yandex Virtual Private Cloud).

Перед началом работыПеред началом работы

Подготовьте инфраструктуру:

Создайте тестовую таблицуСоздайте тестовую таблицу

В кластере dataproc-source создайте тестовую таблицу countries:

1. Перейдите на страницу каталога и выберите сервис Yandex Data Processing.

2. Откройте страницу кластера dataproc-source.

3. Перейдите по ссылке Zeppelin Web UI в разделе UI Proxy.

4. Выберите Notebook, затем Create new note.

5. В появившемся окне укажите название записи и нажмите кнопку Create.

6. Чтобы выполнить PySpark-задание, вставьте скрипт Python в строку ввода:

   %pyspark
   
   from pyspark.sql.types import *
   
   schema = StructType([StructField('Name', StringType(), True),
   StructField('Capital', StringType(), True),
   StructField('Area', IntegerType(), True),
   StructField('Population', IntegerType(), True)])
   
   df = spark.createDataFrame([('Австралия', 'Канберра', 7686850, 19731984), ('Австрия', 'Вена', 83855, 7700000)], schema)
   df.write.mode("overwrite").option("path","s3a://dataproc-bucket/countries").saveAsTable("countries")
   

7. Нажмите кнопку Run all paragraphs и дождитесь завершения задания.

8. Замените в строке ввода Python-код на SQL-запрос:

   %sql
   
   SELECT * FROM countries;
   

9. Нажмите кнопку Run all paragraphs.

   Результат:

   |   Name    |  Capital |  Area   | Population |
   | --------- | -------- | ------- | ---------- |
   | Австралия | Канберра | 7686850 | 19731984   |
   | Австрия   | Вена     | 83855   | 7700000    |
   

Экспортируйте данныеЭкспортируйте данные

Чтобы перенести данные из одного кластера Yandex Data Processing в другой, создайте резервную копию данных в кластере dataproc-source с помощью утилиты pg_dump:

1. Подключитесь по SSH к хосту-мастеру кластера dataproc-source:

   ssh ubuntu@<FQDN_хоста-мастера>
   

   Узнайте, как получить FQDN.

2. Создайте резервную копию и сохраните ее в файле metastore_dump.sql:

   pg_dump --data-only --schema public postgres://hive:hive-p2ssw0rd@localhost/metastore > metastore_dump.sql
   

3. Отключитесь от хоста-мастера.

4. Скачайте файл metastore_dump.sql на локальную машину, в текущую директорию:

   scp ubuntu@<FQDN_хоста-мастера>:metastore_dump.sql .
   

5. Загрузите файл metastore_dump.sql в бакет dataproc-bucket.

Подключите Yandex Data Processing к MetastoreПодключите Yandex Data Processing к Metastore

1. Создайте кластер Metastore с параметрами:

   • Сервисный аккаунт — dataproc-s3-sa.
   • Сеть — dataproc-network.
   • Подсеть — dataproc-subnet.
   • Группы безопасности — dataproc-security-group.

2. Добавьте в настройки кластера dataproc-target свойство spark:spark.hive.metastore.uris со значением thrift://<IP-адрес_кластера_Metastore>:9083.

   Чтобы узнать IP-адрес кластера Metastore, в консоли управления выберите сервис Yandex MetaData Hub и на левой панели выберите страницу Metastore-сервер. Для нужного кластера скопируйте значение из колонки IP-адрес.

Импортируйте данныеИмпортируйте данные

1. Откройте страницу кластера Metastore.
2. Нажмите кнопку Импорт.
3. В открывшемся окне укажите бакет dataproc-bucket и файл metastore_dump.sql.
4. Нажмите кнопку Импортировать.
5. Дождитесь, когда импорт завершится. Статус импорта можно проверить на странице кластера Metastore, в разделе  Операции.

Проверьте результатПроверьте результат

1. Откройте страницу кластера dataproc-target.

2. Перейдите по ссылке Zeppelin Web UI в разделе UI Proxy.

3. Выберите Notebook, затем Create new note.

4. В появившемся окне укажите название записи и нажмите кнопку Create.

5. Отправьте SQL-запрос:

   %sql
   
   SELECT * FROM countries;
   

6. Нажмите кнопку Run all paragraphs.

   Результат:

   |   Name    |  Capital |  Area   | Population |
   | --------- | -------- | ------- | ---------- |
   | Австралия | Канберра | 7686850 | 19731984   |
   | Австрия   | Вена     | 83855   | 7700000    |
   

В итоге в кластер dataproc-target были импортированы метаданные из кластера dataproc-source.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Удалите ресурсы, которые вы больше не будете использовать, чтобы не платить за них:

1. Удалите кластер Metastore.

2. Удалите объекты из бакета.

3. Удалите остальные ресурсы в зависимости от способа их создания:

   Вручную

   Terraform

   1. Кластеры Yandex Data Processing.
   2. Бакет Object Storage.
   3. Таблицу маршрутизации.
   4. NAT-шлюз.
   5. Группу безопасности.
   6. Подсеть.
   7. Сеть.
   8. Сервисный аккаунт.

   1. В терминале перейдите в директорию с планом инфраструктуры.

      Важно

      Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

   2. Удалите ресурсы:

      1. Выполните команду:

         terraform destroy
         

      2. Подтвердите удаление ресурсов и дождитесь завершения операции.

      Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.