Связаться с намиПодключиться

Переключение сетевого соединения при пересоздании кластера Yandex Data Processing

Статья создана
Обновлена 1 ноября 2024 г.

Пересоздание кластера может понадобиться для обновления программного обеспечения, переноса нагрузки между кластерами, перемещения кластеров между зонами доступности и других операций.

В примере описана настройка DNS для быстрого переключения сетевого трафика на новые FQDN хостов при пересоздании кластера Yandex Data Processing. Для актуального имени хоста-мастера кластера создается сетевой псевдоним (запись CNAME) в сервисе Yandex Cloud DNS. При пересоздании кластера CNAME-запись изменяется на новое имя хоста-мастера.

Чтобы настроить DNS для кластера Yandex Data Processing:

  1. Создайте DNS-зону и запись CNAME.
  2. Удалите кластер и создайте его заново.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Подготовьте инфраструктуру:

  1. Создайте сеть с именем data-proc-network, при создании выключив опцию Создать подсети.

  2. В сети data-proc-network создайте подсеть со следующими параметрами:

    • Имя — data-proc-subnet-a.
    • Зона — ru-central1-a.
    • CIDR — 192.168.1.0/24.

  3. Создайте NAT-шлюз и таблицу маршрутизации с именем data-proc-route-table в сети data-proc-network. Привяжите таблицу к подсети data-proc-subnet-a.

  4. В сети data-proc-network создайте группу безопасности с именем data-proc-security-group и следующими правилами:

    • По одному правилу для входящего и исходящего служебного трафика:

      • Диапазон портов — 0-65535.
      • Протокол — Любой.
      • Источник/Назначение — Группа безопасности.
      • Группа безопасности — Текущая.

    • Правило для исходящего HTTPS-трафика:

      • Диапазон портов — 443.
      • Протокол — TCP.
      • Назначение — CIDR.
      • CIDR блоки — 0.0.0.0/0.

  5. Создайте сервисный аккаунт data-proc-sa с ролями:

  6. Создайте бакет Yandex Object Storage с ограниченным доступом.

  7. Создайте кластер Yandex Data Processing любой подходящей конфигурации со следующими настройками:

    • Сервисный аккаунт — data-proc-sa.
    • Формат указания бакета — Список.
    • Имя бакета — выберите созданный ранее бакет.
    • Сеть — data-proc-network.
    • Группы безопасности — data-proc-security-group.

  1. Если у вас еще нет Terraform, установите и настройте его.

  2. Скачайте файл с настройками провайдера. Поместите его в отдельную рабочую директорию и укажите значения параметров.

  3. Скачайте в ту же рабочую директорию файл конфигурации data-proc-dns-connect.tf.

    В файле описаны:

    • сеть;
    • подсеть;
    • DNS-зона и запись CNAME для хоста-мастера кластера;
    • NAT-шлюз и таблица маршрутизации;
    • группы безопасности;
    • сервисный аккаунт для работы с ресурсами кластера;
    • бакет, в котором будут храниться зависимости заданий и результаты их выполнения;
    • кластер Yandex Data Processing.

  4. Укажите в файле data-proc-dns-connect.tf переменные:

    • folder_id — идентификатор каталога;
    • path_to_ssh_public_key — путь к публичному SSH-ключу;
    • bucket — имя бакета.

  5. Выполните команду terraform init в рабочей директории с конфигурационными файлами. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.

  6. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  7. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Создайте DNS-зону и запись CNAME

Создайте ресурсы:

  1. Создайте внутреннюю зону DNS с настройками:

    • Зона — data-proc-test-user.org..
    • Сети — выберите сеть data-proc-network.
    • Имя — dp-private-zone.

  2. Создайте DNS-запись с типом CNAME и настройками:

  1. Получите адрес FQDN хоста-мастера кластера Yandex Data Processing.

  2. Укажите в файле data-proc-dns-connect.tf переменную:

    • dataproc_fqdn — значение FQDN хоста-мастера кластера Yandex Data Processing.

  3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Проверьте сетевой доступ к кластеру по записи CNAME:

dig data-proc-test-user.org.
<...>
;; ANSWER SECTION:
data-proc-test-user.org. 600	IN	CNAME	rc1a-dataproc-m-6ijqng07vul2mu8j.mdb.yandexcloud.net.
rc1a-dataproc-m-6ijqng07vul2mu8j.mdb.yandexcloud.net. 600 IN A 192.168.1.8

Удалите кластер и создайте его заново

  1. Удалите кластер Yandex Data Processing и создайте новый с идентичными характеристиками.
  2. Измените DNS-запись, созданную ранее, и укажите в параметре Значение FQDN хоста-мастера вновь созданного кластера.

  1. Удалите секцию yandex_dataproc_cluster в файле data-proc-dns-connect.tf.

  2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  3. Примените изменения:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

  4. Добавьте секцию yandex_dataproc_cluster в файле data-proc-dns-connect.tf с тем же содержанием, что и в исходном файле, для создания нового кластера Yandex Data Processing.

  5. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  6. Создайте кластер:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

  7. Получите адрес FQDN хоста-мастера вновь созданного кластера Yandex Data Processing.

  8. Укажите в файле data-proc-dns-connect.tf переменную:

    • dataproc_fqdn — значение FQDN хоста-мастера кластера.

  9. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  10. Примените изменения:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Проверьте, что сетевой доступ к созданному кластеру по записи CNAME сохранился:

dig data-proc-test-user.org.
<...>
;; ANSWER SECTION:
data-proc-test-user.org. 600	IN	CNAME	rc1a-dataproc-m-lsqohjh53rfu659d.mdb.yandexcloud.net.
rc1a-dataproc-m-8kompl81232cdsu8j.mdb.yandexcloud.net. 600 IN A 192.168.1.8

Удалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

Чтобы удалить инфраструктуру, созданную с помощью Terraform:

  1. В терминале перейдите в директорию с планом инфраструктуры.

  2. Удалите конфигурационный файл data-proc-dns-connect.tf.

  3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Подтвердите изменение ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    Все ресурсы, которые были описаны в конфигурационном файле data-proc-dns-connect.tf, будут удалены.

Предыдущая
Миграция кластера с HDFS в другую зону доступности
Следующая
Обзор