Сеть в Yandex Managed Service for Apache Spark™

При создании кластера вы можете задать следующие сетевые настройки:

• Сеть и подсеть в ее пределах.

  Для подсети действуют определенные требования, так как кластер выделяет специальные сетевые адреса.

• Группы безопасности для разрешения только определенного исходящего трафика.

Сетевые адреса кластераСетевые адреса кластера

Кластер Yandex Managed Service for Apache Spark™ выделяет специальные сетевые адреса в своей подсети. С них кластер устанавливает подключения к ресурсам Yandex Cloud. Например, можно настроить подключение к базе данных в кластере Yandex Managed Service for PostgreSQL.

Кластер Yandex Managed Service for Apache Spark™ подключается к ресурсам Yandex Cloud в пределах внутренней сети, поэтому выделяются только внутренние сетевые адреса. Если нужно предоставить кластеру доступ к ресурсам в интернете, настройте NAT-шлюз. При настройке привяжите таблицу маршрутизации с NAT-шлюзом к подсети кластера Yandex Managed Service for Apache Spark™.

Кластер Yandex Managed Service for Apache Spark™ выделяет только динамические сетевые адреса. Они могут меняться, например во время технического обслуживания.

Подключение кластера к ресурсам в вашей собственной инфраструктуреПодключение кластера к ресурсам в вашей собственной инфраструктуре

Вы можете организовать сетевую связность между кластером Yandex Managed Service for Apache Spark™ в облаке и ресурсами в сети вашей собственной инфраструктуры (on-premise). Тогда кластер сможет подключаться к ресурсам в вашей инфраструктуре.

Ограничьте доступ к ресурсам в собственной инфраструктуре с помощью межсетевого экрана. Чтобы разрешить трафик только из кластера Yandex Managed Service for Apache Spark™, создайте для него отдельную подсеть и укажите ее диапазон в настройках межсетевого экрана. При настройке не используйте конкретные сетевые адреса и не размещайте в созданной подсети другие ресурсы.

Подробнее о настройке такой сетевой связности читайте в документации Yandex Cloud Interconnect.

Требования к подсети кластераТребования к подсети кластера

Для подсети кластера Yandex Managed Service for Apache Spark™ должны выполняться следующие условия:

• Диапазон сети кластера не пересекается с диапазоном адресов 10.248.0.0/13. Этот диапазон используется служебной сетью, в которой Yandex Cloud управляет компонентами кластера Yandex Managed Service for Apache Spark™.

  Диапазон сети кластера объединяет диапазоны всех подсетей в этой сети. Учитываются в том числе подсети, не назначенные кластеру. Например, если кластер находится в подсети subnet-a и в сети также есть подсети subnet-b и subnet-d, то диапазон каждой из этих подсетей не должен пересекаться с 10.248.0.0/13.

  Если условие не выполняется, при создании кластера возникнет ошибка.

  Требование относится в том числе к сетям в вашей собственной инфраструктуре. Из кластера Yandex Managed Service for Apache Spark™ не получится установить подключение к ресурсам с IP-адресами из диапазона 10.248.0.0/13.

• Диапазон подсети включает не менее 2 × N + 2 свободных IP-адресов, где N — это суммарное количество нод с учетом максимального автоматического масштабирования. Допустим, кластер состоит из двух хостов под драйверы и от 1 до 8 хостов под исполнители. Тогда N = 10, и в подсети должно быть не меньше 22 свободных адресов.

  Такое количество адресов понадобится для специальных сетевых адресов кластера. Если свободных адресов в подсети не хватает, кластер будет работать некорректно.

  Количество использованных адресов может меняться, поэтому рекомендуется выбирать подсеть с достаточно большим количеством адресов. Чтобы определить количество свободных IP-адресов в подсети, рассчитайте ее размер по маске и затем узнайте, сколько адресов занято.

Группы безопасностиГруппы безопасности

Настройки групп безопасности применяются только к исходящим подключениям из кластера Yandex Managed Service for Apache Spark™. Поэтому нужно настроить правила только для исходящего трафика для доступа к определенным ресурсам.

Настройки групп безопасности не влияют на функции кластера и доступ к веб-интерфейсам Apache Spark™ (Spark History, Spark UI).

Если вы не назначили кластеру Yandex Managed Service for Apache Spark™ ни одной группы безопасности, ему автоматически назначается группа, используемая по умолчанию в сети кластера. В такой группе безопасности по умолчанию разрешен весь трафик.

Убедитесь, что настройки групп безопасности ресурса Yandex Cloud позволяют подключаться к нему из облачной сети кластера Yandex Managed Service for Apache Spark™.

Примеры использованияПримеры использования

Автоматизация работы с помощью Yandex Managed Service for Apache Airflow™