Связаться с намиПодключиться

Настройка сети для Yandex Data Processing

Статья создана
Обновлена 8 апреля 2025 г.

В этом руководстве описано создание кластера Yandex Data Processing с настройкой подсетей и NAT-шлюза.

В стоимость поддержки описываемого решения входят:

  • Плата за кластер Yandex Data Processing: использование вычислительных ресурсов ВМ и сетевых дисков Compute Cloud, а также сервиса Cloud Logging для работы с логами (см. тарифы Yandex Data Processing).
  • Плата за NAT-шлюз (см. тарифы Virtual Private Cloud).
  • Плата за бакет Object Storage: хранение данных и выполнение операций с ними (см. тарифы Object Storage).

Создайте ресурсы

  1. Создайте сеть с именем data-proc-network, при создании выключив опцию Создать подсети.

  2. В сети data-proc-network создайте подсеть со следующими параметрами:

    • Имя — data-proc-subnet-a.
    • Зона — ru-central1-a.
    • CIDR — 192.168.1.0/24.

  3. Создайте NAT-шлюз и таблицу маршрутизации с именем data-proc-route-table в сети data-proc-network. Привяжите таблицу к подсети data-proc-subnet-a.

  4. В сети data-proc-network создайте группу безопасности с именем data-proc-security-group и следующими правилами:

    • По одному правилу для входящего и исходящего служебного трафика:

      • Диапазон портов — 0-65535.
      • Протокол — Любой.
      • Источник/Назначение — Группа безопасности.
      • Группа безопасности — Текущая.

    • Правило для исходящего HTTPS-трафика:

      • Диапазон портов — 443.
      • Протокол — TCP.
      • Назначение — CIDR.
      • CIDR блоки — 0.0.0.0/0.

    • Правило, разрешающее доступ к NTP-серверам для синхронизации времени:

      • Диапазон портов — 123.
      • Протокол — UDP.
      • Назначение — CIDR.
      • CIDR блоки — 0.0.0.0/0.

    Примечание

    Вы можете добавить дополнительные правила в группу безопасности, чтобы подключиться к хостам кластера.

  5. Создайте сервисный аккаунт data-proc-sa с ролями:

  6. Создайте бакет Yandex Object Storage с ограниченным доступом.

  7. Создайте кластер Yandex Data Processing любой подходящей конфигурации со следующими настройками:

    • Сервисный аккаунт — data-proc-sa.
    • Формат указания бакета — Список.
    • Имя бакета — выберите созданный ранее бакет.
    • Сеть — data-proc-network.
    • Группы безопасности — data-proc-security-group.

  1. Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

  2. Скачайте файл с настройками провайдера. Поместите его в отдельную рабочую директорию и укажите значения параметров.

  3. Скачайте файл конфигурации кластера в ту же рабочую директорию.

    В файле описаны:

    • сеть;
    • подсеть;
    • NAT-шлюз и таблица маршрутизации;
    • группа безопасности;
    • сервисный аккаунт для работы с ресурсами кластера;
    • сервисный аккаунт для управления бакетом;
    • статический ключ доступа, необходимый для выдачи сервисному аккаунту нужных разрешений на бакет;
    • бакет, в котором будут храниться зависимости заданий и результаты их выполнения;
    • кластер Yandex Data Processing.

    Примечание

    Вы можете добавить дополнительные правила в группу безопасности, чтобы подключиться к хостам кластера.

  4. Укажите в файле конфигурации все необходимые параметры.

  5. Выполните команду terraform init в рабочей директории с конфигурационными файлами. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.

  6. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  7. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Удалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

  1. Удалите кластер Yandex Data Processing.
  2. Если вы зарезервировали публичные статические IP-адреса, освободите и удалите их.
  3. Удалите подсеть.
  4. Удалите таблицу маршрутизации.
  5. Удалите NAT-шлюз.
  6. Удалите сеть.

  1. В терминале перейдите в директорию с планом инфраструктуры.

    Важно

    Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

  2. Удалите ресурсы:

    1. Выполните команду:

      terraform destroy

    2. Подтвердите удаление ресурсов и дождитесь завершения операции.

    Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.

Предыдущая
Все руководства
Следующая
Миграция кластера с HDFS в другую зону доступности