Подключение к интерфейсам компонентов
Вы можете подключиться к интерфейсам компонентов Yandex Data Processing либо с помощью UI Proxy, либо с помощью промежуточной виртуальной машины. Подробнее см. в разделе Интерфейсы и порты компонентов.
UI Proxy
Важно
Для использования UI Proxy может потребоваться дополнительная настройка групп безопасности.
Включить веб-интерфейсы компонентов
- Перейдите на страницу каталога и выберите сервис Yandex Data Processing.
- Выберите кластер и нажмите кнопку Редактировать на панели сверху.
- В блоке Настройки включите опцию UI Proxy.
- Нажмите кнопку Сохранить изменения.
Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.
По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.
Чтобы включить доступ к веб-интерфейсам компонентов кластера, задайте значение true для параметра --ui-proxy:
yc dataproc cluster update <имя_или_идентификатор_кластера> \
--ui-proxy=true
Идентификатор и имя кластера можно получить со списком кластеров в каталоге.
Воспользуйтесь методом update и передайте в запросе:
- Идентификатор кластера в параметре
clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге. - Значение
trueв параметреuiProxy. - Список изменяемых полей конфигурации кластера в параметре
updateMask(в данном случае —uiProxy).
Важно
Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре updateMask (одной строкой через запятую).
Получить список URL для подключения
- Перейдите на страницу каталога и выберите сервис Yandex Data Processing.
- Нажмите на имя нужного кластера.
- Ссылки для подключения к веб-интерфейсам компонентов находятся в блоке UI Proxy.
Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.
По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.
Чтобы получить список URL для подключения к веб-интерфейсам компонентов кластера Yandex Data Processing, выполните команду:
yc dataproc cluster list-ui-links <имя_или_идентификатор_кластера>
Идентификатор и имя кластера можно получить со списком кластеров в каталоге.
Воспользуйтесь методом API listUILinks и передайте в запросе идентификатор кластера в параметре clusterId.
Идентификатор кластера можно получить со списком кластеров в каталоге.
Перенаправление портов
Чтобы получить доступ к сетевому интерфейсу компонента из интернета, создайте промежуточную виртуальную машину в сервисе Yandex Compute Cloud.
Требования к промежуточной ВМ:
- Наличие публичного IP-адреса.
- Размещение в одной сети с нужным кластером Yandex Data Processing.
- Настройки групп безопасности должны разрешать обмен трафиком с кластером через порты соответствующих компонентов.
Пошаговые инструкции по настройке групп безопасности для перенаправления портов приведены в разделе Настройка групп безопасности.
Чтобы соединиться с нужным портом хоста Yandex Data Processing, выполните команду:
ssh -A \
-J <имя_пользователя_ВМ>@<публичный_IP-адрес_ВМ> \
-L <номер_порта>:<FQDN_хоста_Yandex_Data_Processing>:<номер_порта> <имя_пользователя>@<FQDN_хоста_Yandex_Data_Processing>
Где:
-
-A— включает перенаправление соединения от агента аутентификации с промежуточной ВМ (jump host) на целевой хост кластера Yandex Data Processing. -
-J— подключение к целевому хосту через промежуточную ВМ. Устанавливает SSH-соединение с промежуточной ВМ, которая будет перенаправлять пакеты к целевому хосту в кластере Yandex Data Processing. -
-L— перенаправление локального порта на хост кластера Yandex Data Processing.Для подключения к хостам кластера с версией образа 1.x используйте имя пользователя
root, для версии 2.x —ubuntu.
Найти FQDN хоста Yandex Data Processing можно на странице кластера Yandex Data Processing, на вкладке Хосты, в столбце FQDN хоста.
Номера портов для компонентов Yandex Data Processing приведены в разделе Интерфейсы и порты компонентов.