Yandex Cloud
Поиск
Связаться с намиПодключиться
  • Документация
  • Блог
  • Все сервисы
  • Статус работы сервисов
    • Популярные
    • Инфраструктура и сеть
    • Платформа данных
    • Контейнеры
    • Инструменты разработчика
    • Бессерверные вычисления
    • Безопасность
    • Мониторинг и управление ресурсами
    • Машинное обучение
    • Бизнес-инструменты
  • Все решения
    • По отраслям
    • По типу задач
    • Экономика платформы
    • Безопасность
    • Техническая поддержка
    • Каталог партнёров
    • Обучение и сертификация
    • Облако для стартапов
    • Облако для крупного бизнеса
    • Центр технологий для общества
    • Облако для интеграторов
    • Поддержка IT-бизнеса
    • Облако для фрилансеров
    • Обучение и сертификация
    • Блог
    • Документация
    • Контент-программа
    • Мероприятия и вебинары
    • Контакты, чаты и сообщества
    • Идеи
    • Истории успеха
    • Тарифы Yandex Cloud
    • Промоакции и free tier
    • Правила тарификации
  • Документация
  • Блог
Проект Яндекса
© 2025 ООО «Яндекс.Облако»
Yandex Data Processing
  • Начало работы
    • Все руководства
      • Настройка сети для Yandex Data Processing
      • Миграция кластера с HDFS в другую зону доступности
      • Переключение сетевого соединения при пересоздании кластера Yandex Data Processing
  • Управление доступом
  • Правила тарификации
  • Справочник Terraform
  • Метрики Monitoring
  • Аудитные логи Audit Trails
  • Публичные материалы
  • Вопросы и ответы
  • Обучающие курсы

В этой статье:

  • Необходимые платные ресурсы
  • Создайте ресурсы
  • Удалите созданные ресурсы
  1. Практические руководства
  2. Сетевые настройки и обслуживание кластера
  3. Настройка сети для Yandex Data Processing

Настройка сети для Yandex Data Processing

Статья создана
Yandex Cloud
Обновлена 28 апреля 2025 г.
  • Необходимые платные ресурсы
  • Создайте ресурсы
  • Удалите созданные ресурсы

В этом руководстве описано создание кластера Yandex Data Processing с настройкой подсетей и NAT-шлюза.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

  • Плата за кластер Yandex Data Processing: использование вычислительных ресурсов ВМ и сетевых дисков Compute Cloud, а также сервиса Cloud Logging для работы с логами (см. тарифы Yandex Data Processing).
  • Плата за NAT-шлюз (см. тарифы Virtual Private Cloud).
  • Плата за бакет Object Storage: хранение данных и выполнение операций с ними (см. тарифы Object Storage).

Создайте ресурсыСоздайте ресурсы

Вручную
Terraform
  1. Создайте сеть с именем data-proc-network, при создании выключив опцию Создать подсети.

  2. В сети data-proc-network создайте подсеть со следующими параметрами:

    • Имя — data-proc-subnet-a.
    • Зона — ru-central1-a.
    • CIDR — 192.168.1.0/24.
  3. Создайте NAT-шлюз и таблицу маршрутизации с именем data-proc-route-table в сети data-proc-network. Привяжите таблицу к подсети data-proc-subnet-a.

  4. В сети data-proc-network создайте группу безопасности с именем data-proc-security-group и следующими правилами:

    • По одному правилу для входящего и исходящего служебного трафика:

      • Диапазон портов — 0-65535.
      • Протокол — Любой.
      • Источник/Назначение — Группа безопасности.
      • Группа безопасности — Текущая.
    • Правило для исходящего HTTPS-трафика:

      • Диапазон портов — 443.
      • Протокол — TCP.
      • Назначение — CIDR.
      • CIDR блоки — 0.0.0.0/0.
    • Правило, разрешающее доступ к NTP-серверам для синхронизации времени:

      • Диапазон портов — 123.
      • Протокол — UDP.
      • Назначение — CIDR.
      • CIDR блоки — 0.0.0.0/0.

    Примечание

    Вы можете добавить дополнительные правила в группу безопасности, чтобы подключиться к хостам кластера.

  5. Создайте сервисный аккаунт data-proc-sa с ролями:

    • dataproc.agent;
    • dataproc.provisioner;
    • storage.uploader;
    • storage.viewer.
  6. Создайте бакет Yandex Object Storage с ограниченным доступом.

  7. Создайте кластер Yandex Data Processing любой подходящей конфигурации со следующими настройками:

    • Сервисный аккаунт — data-proc-sa.
    • Формат указания бакета — Список.
    • Имя бакета — выберите созданный ранее бакет.
    • Сеть — data-proc-network.
    • Группы безопасности — data-proc-security-group.
  1. Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

  2. Скачайте файл с настройками провайдера. Поместите его в отдельную рабочую директорию и укажите значения параметров.

  3. Скачайте файл конфигурации кластера в ту же рабочую директорию.

    В файле описаны:

    • сеть;
    • подсеть;
    • NAT-шлюз и таблица маршрутизации;
    • группа безопасности;
    • сервисный аккаунт для работы с ресурсами кластера;
    • сервисный аккаунт для управления бакетом;
    • статический ключ доступа, необходимый для выдачи сервисному аккаунту нужных разрешений на бакет;
    • бакет, в котором будут храниться зависимости заданий и результаты их выполнения;
    • кластер Yandex Data Processing.

    Примечание

    Вы можете добавить дополнительные правила в группу безопасности, чтобы подключиться к хостам кластера.

  4. Укажите в файле конфигурации все необходимые параметры.

  5. Выполните команду terraform init в рабочей директории с конфигурационными файлами. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.

  6. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate
    

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  7. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply
        
      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

Вручную
Terraform
  1. Удалите кластер Yandex Data Processing.
  2. Если вы зарезервировали публичные статические IP-адреса, освободите и удалите их.
  3. Удалите подсеть.
  4. Удалите таблицу маршрутизации.
  5. Удалите NAT-шлюз.
  6. Удалите сеть.
  1. В терминале перейдите в директорию с планом инфраструктуры.

    Важно

    Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

  2. Удалите ресурсы:

    1. Выполните команду:

      terraform destroy
      
    2. Подтвердите удаление ресурсов и дождитесь завершения операции.

    Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.

Была ли статья полезна?

Предыдущая
Все руководства
Следующая
Миграция кластера с HDFS в другую зону доступности
Проект Яндекса
© 2025 ООО «Яндекс.Облако»