Сеть в Yandex Data Processing
Все подкластеры кластера находятся в одной облачной сети, все хосты каждого подкластера — в определенной подсети этой сети.
Для любого подкластера при создании кластера может быть включен публичный доступ, чтобы подключаться к его хостам через интернет. Подключение к хостам подкластеров без публичного доступа производится только с виртуальных машин Yandex Cloud, расположенных в той же облачной сети, что и кластер.
Адреса хостов в кластере
При создании хоста в подкластере Yandex Data Processing генерирует для него FQDN и IP-адрес. Их можно использовать для доступа к хосту в рамках одной облачной сети.
IP-адрес хоста может меняться в ходе эксплуатации, но FQDN хоста не меняется.
Как получить FQDN хоста, смотрите в инструкции.
Важно
Когда вы уменьшаете количество хостов в подкластере, сервис самостоятельно выбирает хосты, которые будут удалены. FQDN удаленных хостов перестают работать.
Назначение сетевых псевдонимов хостов
Чтобы поддерживать внешний сетевой доступ к сервисам Yandex Data Processing, создайте сетевой псевдоним (запись CNAME) в сервисе Yandex Cloud DNS, указывающий на актуальное имя хоста-мастера кластера Yandex Data Processing.
Для перенастройки внешних подключений при повторном создании кластера или переключении рабочей нагрузки на другой кластер достаточно изменить созданную CNAME-запись.
Пример настройки в разделе Переключение сетевого соединения при пересоздании кластера.
Группы безопасности
Для групп безопасности действует принцип «весь трафик, который не разрешен, запрещен». Если в настройках групп безопасности нет необходимых правил, то подключиться к кластеру будет невозможно. Также не будет работать обмен данными между подкластерами, кластером и промежуточной виртуальной машиной, используемой для перенаправления портов.
Например, пусть для подключения к кластеру используется ВМ, находящаяся в подсети 10.128.0.0/16. Если в правилах группы безопасности указана только подсеть 10.133.0.0/24, подключиться к кластеру не удастся. Также не получится подключиться к кластеру с ВМ, находящейся в подсети 10.128.0.0/16, для которой не указаны разрешения для нужных портов.
Перед созданием кластера необходимо создать и настроить группы безопасности таким образом, чтобы был разрешен служебный трафик между хостами кластера. Подробнее в разделе Создание кластера.