Сеть в Managed Service for Apache Airflow™

При создании кластера вы можете задать следующие сетевые настройки:

• Зоны доступности, где могут размещаться компоненты кластера.

• Сеть и подсети в ее пределах. Подсети соответствуют выбранным зонам доступности.

  Для подсетей действуют определенные требования, так как кластер выделяет специальные сетевые адреса.

• Группы безопасности для разрешения строго определенного исходящего трафика.

Сетевые адреса кластераСетевые адреса кластера

Кластер Managed Service for Apache Airflow™ выделяет специальные сетевые адреса в своих подсетях. С них кластер устанавливает подключения к ресурсам Yandex Cloud (подключения указаны в направленных ациклических графах DAG). Например, можно настроить подключение к базе данных в кластере Yandex Managed Service for PostgreSQL.

Выделенные сетевые адреса внутренние: кластер подключается к ресурсам Yandex Cloud в пределах внутренней сети. Если нужно предоставить доступ кластеру к ресурсам в интернете, настройте NAT-шлюз. Во время настройки привяжите таблицу маршрутизации с NAT-шлюзом ко всем подсетям кластера Managed Service for Apache Airflow™.

Выделенные кластером сетевые адреса динамические. Они могут меняться, например, во время технического обслуживания. Поэтому вместо конкретных адресов используйте диапазоны подсетей кластера, например, в настройках межсетевого экрана в вашей собственной инфраструктуре.

Подключение кластера к ресурсам в вашей собственной инфраструктуреПодключение кластера к ресурсам в вашей собственной инфраструктуре

Вы можете организовать сетевую связность между кластером Managed Service for Apache Airflow™ в облаке и ресурсами в сети вашей собственной инфраструктуры (on-premise). Тогда кластер сможет подключаться к ресурсам в вашей инфраструктуре.

Ограничьте доступ к ресурсам в собственной инфраструктуре с помощью межсетевого экрана. Чтобы доступ был предоставлен трафику только из кластера Apache Airflow™, создайте для него отдельные подсети и укажите их диапазоны в настройках межсетевого экрана. Не размещайте в созданных подсетях какие-либо другие ресурсы.

Подробнее о настройке такой сетевой связности читайте в документации Yandex Cloud Interconnect.

Требования к подсетям кластераТребования к подсетям кластера

Для каждой подсети кластера Managed Service for Apache Airflow™ должны выполняться следующие условия:

• Диапазон сети кластера не пересекается с диапазоном адресов 10.248.0.0/13 служебной сети, в которой Yandex Cloud управляет компонентами кластера Managed Service for Apache Airflow™.

  Диапазон сети кластера объединяет диапазоны всех подсетей в этой сети. Учитываются в том числе подсети, не назначенные кластеру. Например, если кластер находится в подсети subnet-a и в сети также есть подсети subnet-b и subnet-d, то диапазон каждой из этих подсетей не должен пересекаться с 10.248.0.0/13.

  Если условие не выполняется, при создании кластера возникнет ошибка.

  Требование относится в том числе к сетям в вашей собственной инфраструктуре. Из кластера Apache Airflow™ не получится установить подключение к ресурсам с IP-адресами из диапазона 10.248.0.0/13.

• Диапазон подсети включает не менее 2 × N свободных IP-адресов, где N — это суммарное количество экземпляров всех компонентов. Допустим, кластер состоит из двух веб-серверов, трех планировщиков, пяти воркеров и одной службы Triggerer. Тогда N = 11, и в подсети должно быть не меньше 22 свободных адресов.

  Такое количество адресов понадобится для специальных сетевых адресов кластера. Если свободных адресов в подсети не хватает, кластер не сможет работать корректно.

  Чтобы определить количество свободных IP-адресов в подсети, рассчитайте ее размер по маске и затем узнайте, сколько адресов занято. Но так как количество использованных адресов может меняться, лучше выбрать подсеть с достаточно большим размером.

Группы безопасностиГруппы безопасности

Настройки групп безопасности не влияют на функции кластера Managed Service for Apache Airflow™ и нужны только для подключений из кластера.

Группы безопасности позволяют ограничить только исходящий трафик для кластера Managed Service for Apache Airflow™, задавать правила для входящего трафика не нужно. Правила для исходящего трафика разрешают кластеру подключаться строго к определенным ресурсам. Но настройки групп безопасности не влияют на доступ к веб-интерфейсу Apache Airflow™ и входящий трафик, который поступает только на веб-сервер кластера.

Если кластеру Managed Service for Apache Airflow™ не назначить ни одну группу безопасности, ему автоматически назначается группа, используемая по умолчанию в сети кластера. При создании этой сети разрешен весь трафик в группе безопасности по умолчанию.

Примеры использованияПримеры использования

• Автоматизация задач Yandex Query с помощью Yandex Managed Service for Apache Airflow™