Интерфейсы и порты компонентов Yandex Data Processing
Пользовательские веб-интерфейсы некоторых компонентов Yandex Data Processing, например Hadoop, Spark, Yarn и Zeppelin, доступны на хосте-мастере кластера. Эти интерфейсы могут быть использованы:
- для управления и мониторинга ресурсов кластеров — YARN Resource Manager и HDFS Name Node;
- для просмотра статуса и отладки заданий — Spark History и JobHistory;
- для совместной работы, экспериментов или ad-hoc операций — Apache Zeppelin.
Yandex Data Processing позволяет создавать кластеры с доступом из интернета или только из облачной сети, однако при любой конфигурации интерфейсы компонентов сервиса рекомендуется делать недоступными извне Yandex Cloud. Вы можете подключиться к интерфейсам компонентов Yandex Data Processing либо с помощью UI Proxy, либо с помощью промежуточной виртуальной машины.
UI Proxy — это механизм, который позволяет проксировать интерфейс компонентов кластера с шифрованием HTTP-трафика и аутентификацией через IAM Yandex Cloud. Чтобы получить доступ к интерфейсам, пользователь должен быть авторизован в Yandex Cloud, иметь права на просмотр кластера и обладать ролью dataproc.user
.
UI Proxy по умолчанию отключен. Чтобы воспользоваться UI Proxy, включите его при создании или настройке кластера и посмотрите список доступных веб-интерфейсов для подключения.
Важно
Для использования UI Proxy может потребоваться дополнительная настройка групп безопасности.
Компоненты и порты
Сервис | Порт |
---|---|
HBase Master | 16010 |
HBase REST | 8085 |
HDFS Name Node | 9870 |
Hive Server2 | 10002 |
Livy | 8998 |
MapReduce Application History | 19888 |
Oozie | 11000 |
Spark History | 18080 |
YARN Application History | 8188 |
YARN Resource Manager | 8088 |
Zeppelin | 8890 |