Связаться с намиПодключиться

Перенос метаданных между кластерами Yandex Data Processing с помощью Metastore

Статья создана
Обновлена 16 декабря 2024 г.

Вы можете перенести метаданные между кластерами Yandex Data Processing с СУБД Hive. Сначала метаданные экспортируются из одного кластера, затем импортируются в другой с помощью Hive Metastore.

Чтобы перенести метаданные между кластерами Yandex Data Processing:

  1. Создайте тестовую таблицу.
  2. Экспортируйте данные.
  3. Подключите Yandex Data Processing к Metastore.
  4. Импортируйте данные.
  5. Проверьте результат.

Если созданные ресурсы вам больше не нужны, удалите их.

Важно

Если вы хотите назначить политику доступа на бакет и подключаться к нему из кластера Hive Metastore, вам потребуется дополнительная настройка инфраструктуры. Подробнее см. в инструкции.

Примечание

Metastore находится на стадии Preview.

Перед началом работы

Подготовьте инфраструктуру:

  1. Создайте сервисный аккаунт dataproc-s3-sa и назначьте ему роли dataproc.agent, dataproc.provisioner и storage.uploader.

  2. В Yandex Object Storage создайте бакет dataproc-bucket и предоставьте сервисному аккаунту разрешение READ и WRITE для этого бакета.

  3. Создайте облачную сеть dataproc-network.

  4. В этой сети создайте подсеть dataproc-subnet.

  5. Настройте NAT-шлюз для созданной подсети.

  6. Создайте группу безопасности dataproc-security-group со следующими правилами:

    Правила группы безопасности

    Для какого сервиса нужно правило

    Зачем нужно правило

    Настройки правила

    Yandex Data Processing

    Для входящего служебного трафика.
    • Диапазон портов — 0-65535.
    • Протокол — Любой (Any).
    • Источник — Группа безопасности.
    • Группа безопасности — Текущая (Self).

    Yandex Data Processing

    Для входящего трафика, чтобы разрешить доступ к NTP-серверам для синхронизации времени.
    • Диапазон портов — 123.
    • Протокол — UDP.
    • Источник — CIDR.
    • CIDR блоки — 0.0.0.0/0.

    Yandex Data Processing

    Для входящего трафика, чтобы из интернета подключаться по SSH к хостам подкластеров с публичным доступом.
    • Диапазон портов — 22.
    • Протокол — TCP.
    • Источник — CIDR.
    • CIDR блоки — 0.0.0.0/0.

    Metastore

    Для входящего трафика от клиентов.
    • Диапазон портов — 30000-32767.
    • Протокол — Любой (Any).
    • Источник — CIDR.
    • CIDR блоки — 0.0.0.0/0.

    Metastore

    Для входящего трафика от балансировщика.
    • Диапазон портов — 10256.
    • Протокол — Любой (Any).
    • Источник — Проверки состояния балансировщика.

    Yandex Data Processing

    Для исходящего служебного трафика.
    • Диапазон портов — 0-65535.
    • Протокол — Любой (Any).
    • Источник — Группа безопасности.
    • Группа безопасности — Текущая (Self).

    Yandex Data Processing

    Для исходящего HTTPS-трафика.
    • Диапазон портов — 443.
    • Протокол — TCP.
    • Назначение — CIDR.
    • CIDR блоки — 0.0.0.0/0.

    Yandex Data Processing

    Для исходящего трафика, чтобы разрешить доступ к NTP-серверам для синхронизации времени.
    • Диапазон портов — 123.
    • Протокол — UDP.
    • Источник — CIDR.
    • CIDR блоки — 0.0.0.0/0.

    Yandex Data Processing

    Для исходящего трафика, чтобы разрешить подключение кластера Yandex Data Processing к Metastore.
    • Диапазон портов — 9083.
    • Протокол — Любой (Any).
    • Источник — CIDR.
    • CIDR блоки — 0.0.0.0/0.

  7. Создайте два кластера Yandex Data Processing с именами dataproc-source и dataproc-target и следующими настройками:

    • Сервисы:

      • HDFS
      • HIVE
      • SPARK
      • YARN
      • ZEPPELIN

    • Сервисный аккаунт — dataproc-s3-sa.

    • Зона доступности — та, в которой находится подсеть dataproc-subnet.

    • Свойства — spark:spark.sql.hive.metastore.sharedPrefixes со значением com.amazonaws,ru.yandex.cloud. Нужно для выполнения заданий PySpark и для интеграции с Metastore.

    • Имя бакета — dataproc-bucket.

    • Сеть — dataproc-network.

    • Группы безопасности — dataproc-security-group.

    • UI Proxy — включен.

    • Подсеть у подкластеров Yandex Data Processing — dataproc-subnet.

    • Публичный доступ у хоста-мастера — включен.

  1. Если у вас еще нет Terraform, установите его.

  2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

  3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

  4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

  5. Скачайте в ту же рабочую директорию файл конфигурации metastore-import.tf.

    В этом файле описаны:

  6. Укажите в файле metastore-import.tf:

    • folder_id — идентификатор облачного каталога (такой же, как в настройках провайдера).
    • dp_ssh_key — абсолютный путь к публичному ключу для кластеров Yandex Data Processing. Подробнее см. в разделе SSH-подключение к хосту Yandex Data Processing.

  7. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  8. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Создайте тестовую таблицу

В кластере dataproc-source создайте тестовую таблицу countries:

  1. Перейдите на страницу каталога и выберите сервис Yandex Data Processing.

  2. Откройте страницу кластера dataproc-source.

  3. Перейдите по ссылке Zeppelin Web UI в разделе UI Proxy.

  4. Выберите Notebook, затем Create new note.

  5. В появившемся окне укажите название записи и нажмите кнопку Create.

  6. Чтобы выполнить PySpark-задание, вставьте скрипт Python в строку ввода:

    %pyspark

from pyspark.sql.types import *

schema = StructType([StructField('Name', StringType(), True),
StructField('Capital', StringType(), True),
StructField('Area', IntegerType(), True),
StructField('Population', IntegerType(), True)])

df = spark.createDataFrame([('Австралия', 'Канберра', 7686850, 19731984), ('Австрия', 'Вена', 83855, 7700000)], schema)
df.write.mode("overwrite").option("path","s3a://dataproc-bucket/countries").saveAsTable("countries")

  7. Нажмите кнопку Run all paragraphs и дождитесь завершения задания.

  8. Замените в строке ввода Python-код на SQL-запрос:

    %sql

SELECT * FROM countries;

  9. Нажмите кнопку Run all paragraphs.

    Результат:

    |   Name    |  Capital |  Area   | Population |
| --------- | -------- | ------- | ---------- |
| Австралия | Канберра | 7686850 | 19731984   |
| Австрия   | Вена     | 83855   | 7700000    |

Экспортируйте данные

Чтобы перенести данные из одного кластера Yandex Data Processing в другой, создайте резервную копию данных в кластере dataproc-source с помощью утилиты pg_dump:

  1. Подключитесь по SSH к хосту-мастеру кластера dataproc-source:

    ssh ubuntu@<FQDN_хоста-мастера>

    Узнайте, как получить FQDN.

  2. Создайте резервную копию и сохраните ее в файле metastore_dump.sql:

    pg_dump --data-only --schema public postgres://hive:hive-p2ssw0rd@localhost/metastore > metastore_dump.sql

  3. Отключитесь от хоста-мастера.

  4. Скачайте файл metastore_dump.sql на локальную машину, в текущую директорию:

    scp ubuntu@<FQDN_хоста-мастера>:metastore_dump.sql .

  5. Загрузите файл metastore_dump.sql в бакет dataproc-bucket.

Подключите Yandex Data Processing к Metastore

  1. Создайте кластер Metastore с параметрами:

    • Сервисный аккаунт — dataproc-s3-sa.
    • Сеть — dataproc-network.
    • Подсеть — dataproc-subnet.
    • Группы безопасности — dataproc-security-group.

  2. Добавьте в настройки кластера dataproc-target свойство spark:spark.hive.metastore.uris со значением thrift://<IP-адрес_кластера_Metastore>:9083.

    Чтобы узнать IP-адрес кластера Metastore, в консоли управления выберите сервис Yandex Data Processing и на левой панели выберите страницу Metastore-сервер. IP-адрес кластера указан в блоке Общая информация.

Импортируйте данные

  1. Откройте страницу кластера Metastore.
  2. Нажмите кнопку Импорт.
  3. В открывшемся окне укажите бакет dataproc-bucket и файл metastore_dump.sql.
  4. Нажмите кнопку Импортировать.
  5. Дождитесь, когда импорт завершится. Статус импорта можно проверить на странице кластера Metastore, в разделе  Операции.

Проверьте результат

  1. Откройте страницу кластера dataproc-target.

  2. Перейдите по ссылке Zeppelin Web UI в разделе UI Proxy.

  3. Выберите Notebook, затем Create new note.

  4. В появившемся окне укажите название записи и нажмите кнопку Create.

  5. Отправьте SQL-запрос:

    %sql

SELECT * FROM countries;

  6. Нажмите кнопку Run all paragraphs.

    Результат:

    |   Name    |  Capital |  Area   | Population |
| --------- | -------- | ------- | ---------- |
| Австралия | Канберра | 7686850 | 19731984   |
| Австрия   | Вена     | 83855   | 7700000    |

В итоге в кластер dataproc-target были импортированы метаданные из кластера dataproc-source.

Удалите созданные ресурсы

Некоторые ресурсы платные. Удалите ресурсы, которые вы больше не будете использовать, чтобы не платить за них:

  1. Удалите кластер Metastore.

  2. Удалите объекты из бакета.

  3. Удалите остальные ресурсы в зависимости от способа их создания:

    1. В терминале перейдите в директорию с планом инфраструктуры.

      Важно

      Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

    2. Удалите ресурсы:

      1. Выполните команду:

        terraform destroy

      2. Подтвердите удаление ресурсов и дождитесь завершения операции.

      Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.

Предыдущая
Совместная работа с таблицами Yandex Data Processing с использованием Metastore
Следующая
Миграция коллекций из стороннего кластера MongoDB в Managed Service for MongoDB