Перенос метаданных между кластерами Yandex Data Processing с помощью Metastore

Вы можете перенести метаданные между кластерами Yandex Data Processing с СУБД Hive. Сначала метаданные экспортируются из одного кластера, затем импортируются в другой с помощью Hive Metastore.

Чтобы перенести метаданные между кластерами Yandex Data Processing:

1. Создайте тестовую таблицу.
2. Экспортируйте данные.
3. Подключите Yandex Data Processing к Metastore.
4. Импортируйте данные.
5. Проверьте результат.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Подготовьте инфраструктуру:

Создайте тестовую таблицуСоздайте тестовую таблицу

В кластере dataproc-source создайте тестовую таблицу countries:

1. Перейдите на страницу каталога и выберите сервис Yandex Data Processing.

2. Откройте страницу кластера dataproc-source.

3. Перейдите по ссылке Zeppelin Web UI в разделе UI Proxy.

4. Выберите Notebook, затем Create new note.

5. В появившемся окне укажите название записи и нажмите кнопку Create.

6. Чтобы выполнить PySpark-задание, вставьте скрипт Python в строку ввода:

   %pyspark
   
   from pyspark.sql.types import *
   
   schema = StructType([StructField('Name', StringType(), True),
   StructField('Capital', StringType(), True),
   StructField('Area', IntegerType(), True),
   StructField('Population', IntegerType(), True)])
   
   df = spark.createDataFrame([('Австралия', 'Канберра', 7686850, 19731984), ('Австрия', 'Вена', 83855, 7700000)], schema)
   df.write.mode("overwrite").option("path","s3a://dataproc-bucket/countries").saveAsTable("countries")
   

7. Нажмите кнопку Run all paragraphs и дождитесь завершения задания.

8. Замените в строке ввода Python-код на SQL-запрос:

   %sql
   
   SELECT * FROM countries;
   

9. Нажмите кнопку Run all paragraphs.

   Результат:

   |   Name    |  Capital |  Area   | Population |
   | --------- | -------- | ------- | ---------- |
   | Австралия | Канберра | 7686850 | 19731984   |
   | Австрия   | Вена     | 83855   | 7700000    |
   

Экспортируйте данныеЭкспортируйте данные

Чтобы перенести данные из одного кластера Yandex Data Processing в другой, создайте резервную копию данных в кластере dataproc-source с помощью утилиты pg_dump:

1. Подключитесь по SSH к хосту-мастеру кластера dataproc-source:

   ssh ubuntu@<FQDN_хоста-мастера>
   

   Узнайте, как получить FQDN.

2. Создайте резервную копию и сохраните ее в файле metastore_dump.sql:

   pg_dump --data-only --schema public postgres://hive:hive-p2ssw0rd@localhost/metastore > metastore_dump.sql
   

3. Отключитесь от хоста-мастера.

4. Скачайте файл metastore_dump.sql на локальную машину, в текущую директорию:

   scp ubuntu@<FQDN_хоста-мастера>:metastore_dump.sql .
   

5. Загрузите файл metastore_dump.sql в бакет dataproc-bucket.

Подключите Yandex Data Processing к MetastoreПодключите Yandex Data Processing к Metastore

1. Для сервисного аккаунта dataproc-s3-sa создайте статический ключ доступа. Сохраните его идентификатор и секретный ключ.

2. Создайте кластер Metastore с параметрами:

   • Сеть — dataproc-network.
   • Подсеть — dataproc-subnet.
   • Группы безопасности — dataproc-security-group.
   • Идентификатор ключа доступа и Секретный ключ — параметры ранее созданного статического ключа доступа.

3. Добавьте в настройки кластера dataproc-target свойство spark:spark.hive.metastore.uris со значением thrift://<IP-адрес_кластера_Metastore>:9083.

   Чтобы узнать IP-адрес кластера Metastore, в консоли управления выберите сервис Yandex Data Processing и на левой панели выберите страницу Metastore-сервер. IP-адрес кластера указан в блоке Общая информация.

Импортируйте данныеИмпортируйте данные

1. Откройте страницу кластера Metastore.
2. Нажмите кнопку Импорт.
3. В открывшемся окне укажите бакет dataproc-bucket и файл metastore_dump.sql.
4. Нажмите кнопку Импортировать.
5. Дождитесь, когда импорт завершится. Статус импорта можно проверить на странице кластера Metastore, в разделе  Операции.

Проверьте результатПроверьте результат

1. Откройте страницу кластера dataproc-target.

2. Перейдите по ссылке Zeppelin Web UI в разделе UI Proxy.

3. Выберите Notebook, затем Create new note.

4. В появившемся окне укажите название записи и нажмите кнопку Create.

5. Отправьте SQL-запрос:

   %sql
   
   SELECT * FROM countries;
   

6. Нажмите кнопку Run all paragraphs.

   Результат:

   |   Name    |  Capital |  Area   | Population |
   | --------- | -------- | ------- | ---------- |
   | Австралия | Канберра | 7686850 | 19731984   |
   | Австрия   | Вена     | 83855   | 7700000    |
   

В итоге в кластер dataproc-target были импортированы метаданные из кластера dataproc-source.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Удалите ресурсы, которые вы больше не будете использовать, чтобы не платить за них:

1. Удалите кластер Metastore.

2. Удалите остальные ресурсы в зависимости от способа их создания:

   Вручную

   Terraform

   1. Кластеры Yandex Data Processing.
   2. Бакет Object Storage.
   3. Таблицу маршрутизации.
   4. NAT-шлюз.
   5. Группу безопасности.
   6. Подсеть.
   7. Сеть.
   8. Сервисный аккаунт.

   1. Удалите объекты из бакета.

   2. В терминале перейдите в директорию с планом инфраструктуры.

   3. Удалите конфигурационный файл metastore-import.tf.

   4. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   5. Подтвердите изменение ресурсов.

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      Все ресурсы, которые были описаны в конфигурационном файле metastore-import.tf, будут удалены.