Настройка сети для Yandex Data Processing
В этом руководстве описано создание кластера Yandex Data Processing с настройкой подсетей и NAT-шлюза.
Создайте ресурсы
Вам необходимо создать:
- сеть;
- подсеть;
- NAT-шлюз и таблицу маршрутизации;
- группу безопасности для кластера;
- сервисный аккаунт для кластера;
- бакет, в котором будут храниться зависимости заданий и результаты их выполнения;
- кластер Yandex Data Processing.
-
Создайте сеть с именем
data-proc-network
, при создании выключив опцию Создать подсети. -
В сети
data-proc-network
создайте подсеть со следующими параметрами:- Имя —
data-proc-subnet-a
. - Зона —
ru-central1-a
. - CIDR —
192.168.1.0/24
.
- Имя —
-
Создайте NAT-шлюз и таблицу маршрутизации с именем
data-proc-route-table
в сетиdata-proc-network
. Привяжите таблицу к подсетиdata-proc-subnet-a
. -
В сети
data-proc-network
создайте группу безопасности с именемdata-proc-security-group
и следующими правилами:-
По одному правилу для входящего и исходящего служебного трафика:
- Диапазон портов —
0-65535
. - Протокол —
Любой
. - Источник/Назначение —
Группа безопасности
. - Группа безопасности —
Текущая
.
- Диапазон портов —
-
Правило для исходящего HTTPS-трафика:
- Диапазон портов —
443
. - Протокол —
TCP
. - Назначение —
CIDR
. - CIDR блоки —
0.0.0.0/0
.
- Диапазон портов —
-
Правило, разрешающее доступ к NTP-серверам для синхронизации времени:
- Диапазон портов —
123
. - Протокол —
UDP
. - Назначение —
CIDR
. - CIDR блоки —
0.0.0.0/0
.
- Диапазон портов —
Примечание
Вы можете добавить дополнительные правила в группу безопасности, чтобы подключиться к хостам кластера.
-
-
Создайте сервисный аккаунт
data-proc-sa
с ролями: -
Создайте бакет Yandex Object Storage с ограниченным доступом.
-
Создайте кластер Yandex Data Processing любой подходящей конфигурации со следующими настройками:
- Сервисный аккаунт —
data-proc-sa
. - Формат указания бакета —
Список
. - Имя бакета — выберите созданный ранее бакет.
- Сеть —
data-proc-network
. - Группы безопасности —
data-proc-security-group
.
- Сервисный аккаунт —
-
Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.
-
Скачайте файл с настройками провайдера
. Поместите его в отдельную рабочую директорию и укажите значения параметров. -
Скачайте файл конфигурации кластера
в ту же рабочую директорию.В файле описаны:
- сеть;
- подсеть;
- NAT-шлюз и таблица маршрутизации;
- группа безопасности;
- сервисный аккаунт для работы с ресурсами кластера;
- бакет, в котором будут храниться зависимости заданий и результаты их выполнения;
- кластер Yandex Data Processing.
Примечание
Вы можете добавить дополнительные правила в группу безопасности, чтобы подключиться к хостам кластера.
-
Укажите в файле конфигурации все необходимые параметры.
-
Выполните команду
terraform init
в рабочей директории с конфигурационными файлами. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера. -
Проверьте корректность файлов конфигурации Terraform с помощью команды:
terraform validate
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
-
Создайте необходимую инфраструктуру:
-
Выполните команду для просмотра планируемых изменений:
terraform plan
Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
-
Если вас устраивают планируемые изменения, внесите их:
-
Выполните команду:
terraform apply
-
Подтвердите изменение ресурсов.
-
Дождитесь завершения операции.
-
-
В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления
Удалите созданные ресурсы
Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:
- Удалите кластер Yandex Data Processing.
- Если вы зарезервировали публичные статические IP-адреса, освободите и удалите их.
- Удалите подсеть.
- Удалите таблицу маршрутизации.
- Удалите NAT-шлюз.
- Удалите сеть.
Чтобы удалить инфраструктуру, созданную с помощью Terraform:
-
В терминале перейдите в директорию с планом инфраструктуры.
-
Удалите конфигурационный файл
data-proc-nat-gateway.tf
. -
Проверьте корректность файлов конфигурации Terraform с помощью команды:
terraform validate
Если в конфигурационных файлах есть ошибки, Terraform на них укажет.
-
Подтвердите изменение ресурсов.
-
Выполните команду для просмотра планируемых изменений:
terraform plan
Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
-
-
Если вас устраивают планируемые изменения, внесите их:
-
Выполните команду:
terraform apply
-
Подтвердите изменение ресурсов.
-
Дождитесь завершения операции.
-
Все ресурсы, которые были описаны в конфигурационном файле, будут удалены.