Связаться с экспертомПопробовать бесплатно
Создавайте контент и получайте гранты!Готовы написать своё руководство? Участвуйте в контент-программе и получайте гранты на работу с облачными сервисами!
Подробнее о программе
Проект Яндекса
© 2026 ТОО «Облачные Сервисы Казахстан»

Переключение сетевого соединения при пересоздании кластера Yandex Data Processing

Статья создана
Обновлена 25 июня 2026 г.

Пересоздание кластера может понадобиться для обновления программного обеспечения, переноса нагрузки между кластерами, перемещения кластеров между зонами доступности и других операций.

В примере описана настройка DNS для быстрого переключения сетевого трафика на новые FQDN хостов при пересоздании кластера Yandex Data Processing. Для актуального имени хоста-мастера кластера создается сетевой псевдоним (запись CNAME) в сервисе Yandex Cloud DNS. При пересоздании кластера CNAME-запись изменяется на новое имя хоста-мастера.

Чтобы настроить DNS для кластера Yandex Data Processing:

  1. Подготовьте инфраструктуру.
  2. Создайте DNS-зону и запись CNAME.
  3. Удалите кластер и создайте его заново.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
  2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

  • Кластер Yandex Data Processing: использование вычислительных ресурсов с наценкой за сервис Yandex Data Processing, использование сетевых дисков, получение и хранение логов, объем исходящего трафика (тарифы Yandex Data Processing).
  • Публичные IP-адреса, если для хостов кластера включен публичный доступ (тарифы Yandex Virtual Private Cloud).
  • NAT-шлюз: почасовое использование шлюза и исходящий через него трафик (тарифы Virtual Private Cloud).
  • Бакет Yandex Object Storage: использование хранилища и выполнение операций с данными (тарифы Object Storage).

Подготовьте инфраструктуру

  1. Создайте сеть с именем data-proc-network, при создании выключив опцию Создать подсети.

  2. В сети data-proc-network создайте подсеть со следующими параметрами:

    • Имя — data-proc-subnet-a.
    • Зона доступности — kz1-a.
    • CIDR — 192.168.1.0/24.

  3. Создайте NAT-шлюз и таблицу маршрутизации с именем data-proc-route-table в сети data-proc-network. Привяжите таблицу к подсети data-proc-subnet-a.

  4. В сети data-proc-network создайте группу безопасности с именем data-proc-security-group и следующими правилами:

    • По одному правилу для входящего и исходящего служебного трафика:

      • Диапазон портов — 0-65535.
      • Протокол — Любой.
      • Источник/Назначение — Группа безопасности.
      • Группа безопасности — Текущая.

    • Правило для исходящего HTTPS-трафика:

      • Диапазон портов — 443.
      • Протокол — TCP.
      • Назначение — CIDR.
      • CIDR блоки — 0.0.0.0/0.

  5. Создайте сервисный аккаунт data-proc-sa с ролями:

  6. Создайте бакет Yandex Object Storage с ограниченным доступом.

  7. Создайте кластер Yandex Data Processing любой подходящей конфигурации со следующими настройками:

    • Окружение — PRODUCTION.
    • Сервисный аккаунт — data-proc-sa.
    • Формат указания бакета — Список.
    • Имя бакета — выберите созданный ранее бакет.
    • Сеть — data-proc-network.
    • Группы безопасности — data-proc-security-group.

  1. Если у вас еще нет Terraform, установите и настройте его.

  2. Скачайте файл с настройками провайдера. Поместите его в отдельную рабочую директорию и укажите значения параметров.

  3. Скачайте в ту же рабочую директорию файл конфигурации data-proc-dns-connect.tf.

    В файле описаны:

    • сеть;
    • подсеть;
    • DNS-зона и запись CNAME для хоста-мастера кластера;
    • NAT-шлюз и таблица маршрутизации;
    • группы безопасности;
    • сервисный аккаунт для работы с ресурсами кластера;
    • сервисный аккаунт для управления бакетом;
    • статический ключ доступа, необходимый для выдачи сервисному аккаунту нужных разрешений на бакет;
    • бакет, в котором будут храниться зависимости заданий и результаты их выполнения;
    • кластер Yandex Data Processing.

  4. Укажите в файле data-proc-dns-connect.tf переменные:

    • folder_id — идентификатор каталога;
    • path_to_ssh_public_key — путь к публичному SSH-ключу;
    • os_sa_name – имя сервисного аккаунта для управления бакетом;
    • bucket — имя бакета.

  5. Выполните команду terraform init в рабочей директории с конфигурационными файлами. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.

  6. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  7. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Создайте DNS-зону и запись CNAME

Создайте ресурсы:

  1. Создайте внутреннюю зону DNS с настройками:

    • Зона — data-proc-test-user.org..
    • Сети — выберите сеть data-proc-network.
    • Имя — dp-private-zone.

  2. Создайте DNS-запись с типом CNAME и настройками:

  1. Получите адрес FQDN хоста-мастера кластера Yandex Data Processing.

  2. Укажите в файле data-proc-dns-connect.tf переменную:

    • dataproc_fqdn — значение FQDN хоста-мастера кластера Yandex Data Processing.

  3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Проверьте сетевой доступ к кластеру по записи CNAME:

dig data-proc-test-user.org.
<...>
;; ANSWER SECTION:
data-proc-test-user.org. 600	IN	CNAME	rc1a-dataproc-m-6ijqng07vul2mu8j.mdb.yandexcloud.net.
rc1a-dataproc-m-6ijqng07vul2mu8j.mdb.yandexcloud.net. 600 IN A 192.168.1.8

Удалите кластер и создайте его заново

  1. Удалите кластер Yandex Data Processing и создайте новый с идентичными характеристиками.
  2. Измените DNS-запись, созданную ранее, и укажите в параметре Значение FQDN хоста-мастера вновь созданного кластера.

  1. Удалите секцию yandex_dataproc_cluster в файле data-proc-dns-connect.tf.

  2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  3. Примените изменения:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

  4. Добавьте секцию yandex_dataproc_cluster в файле data-proc-dns-connect.tf с тем же содержанием, что и в исходном файле, для создания нового кластера Yandex Data Processing.

  5. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  6. Создайте кластер:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

  7. Получите адрес FQDN хоста-мастера вновь созданного кластера Yandex Data Processing.

  8. Укажите в файле data-proc-dns-connect.tf переменную:

    • dataproc_fqdn — значение FQDN хоста-мастера кластера.

  9. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  10. Примените изменения:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Проверьте, что сетевой доступ к созданному кластеру по записи CNAME сохранился:

dig data-proc-test-user.org.
<...>
;; ANSWER SECTION:
data-proc-test-user.org. 600	IN	CNAME	rc1a-dataproc-m-lsqohjh53rfu659d.mdb.yandexcloud.net.
rc1a-dataproc-m-8kompl81232cdsu8j.mdb.yandexcloud.net. 600 IN A 192.168.1.8

Удалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

  1. В терминале перейдите в директорию с планом инфраструктуры.

    Важно

    Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

  2. Удалите ресурсы:

    1. Выполните команду:

      terraform destroy

    2. Подтвердите удаление ресурсов и дождитесь завершения операции.

    Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.

Предыдущая
Подключение к Container Registry из Virtual Private Cloud
Следующая
Управление доступом