Подключение к кластеру Yandex Data Processing

После создания кластера Yandex Data Processing вы можете подключиться к хостам подкластеров:

• Через интернет, если вы настроили публичный доступ для подкластера.
• С виртуальной машины Yandex Cloud, расположенной в той же облачной сети.

Настройка групп безопасностиНастройка групп безопасности

Группы безопасности могут препятствовать подключению к кластеру — в этом случае внесите изменения в правила групп.

Настройки правил будут различаться в зависимости от выбранного способа подключения:

Подробнее о группах безопасности см. в разделе Группы безопасности.

FQDN хоста Yandex Data ProcessingFQDN хоста Yandex Data Processing

Для подключения к хосту потребуется его FQDN — доменное имя. Его можно посмотреть в консоли управления:

1. Перейдите на страницу кластера.
2. Перейдите в раздел Хосты.
3. Скопируйте значение в столбце FQDN хоста.

SSH-подключение к хосту Yandex Data ProcessingSSH-подключение к хосту Yandex Data Processing

Чтобы подключиться к хосту Yandex Data Processing, на локальной машине или промежуточной ВМ должен быть доступен SSH-ключ, который вы указали при создании кластера Yandex Data Processing. Вы можете скопировать ключ на машину, с которой будет производиться подключение к кластеру, или подключаться к ней с запущенным SSH-агентом.

1. Подключитесь к промежуточной виртуальной машине по протоколу SSH, если вы не настраивали публичный доступ для подкластера.

2. Запустите SSH-агент:

   eval `ssh-agent -s`
   

3. Добавьте нужный ключ в список доступных агенту:

   ssh-add ~/.ssh/example-key
   

4. Откройте SSH-соединение с хостом Yandex Data Processing, указав его FQDN или IP-адрес, если для хоста включен публичный доступ. Для образа 2.0 укажите пользователя ubuntu, для образа 1.4 — root, например:

   ssh ubuntu@rc1b-dataproc-m-fh4y4nur********.mdb.yandexcloud.kz
   

   Результат:

   ubuntu@rc1b-dataproc-m-fh4y4nur********:~#
   

5. Проверьте, что команды Hadoop выполняются, например:

   hadoop version
   

   Результат:

   Hadoop 2.8.5
   Subversion https://github.yandex-team.ru/mdb/bigtop.git -r 78508f2a4b4f3dc8b3d295ccb50a45a4********
   Compiled by robot-pgaas-ci on 2019-04-16T10:35Z
   Compiled with protoc 2.5.0
   From source with checksum 9942ca5c745417c14e31883********
   This command was run using /usr/lib/hadoop/hadoop-common-2.8.5.jar
   

Подключение по OS LoginПодключение по OS Login

OS Login используется вместо SSH-ключей для доступа к виртуальным машинам Yandex Cloud через SSH. С помощью OS Login вы можете подключиться к хостам кластера Yandex Data Processing.

Включить доступ к хостам по OS Login можно только при создании кластера.

Подключиться к хосту по OS Login можно с помощью стандартного SSH-клиента или Yandex Cloud CLI. Пользователю или сервисному аккаунту, от имени которого выполняется подключение, должна быть назначена роль compute.osLogin или compute.osAdminLogin. При подключении с помощью Yandex Cloud CLI дополнительно необходима роль compute.operator.

Перед подключением установите и инициализируйте Yandex Cloud CLI.

Подключение с помощью SSHПодключение с помощью SSH

1. Экспортируйте сертификат OS Login.

   Примечание

   Сертификат действителен один час. По истечении часа экспортируйте новый сертификат.

2. Узнайте IP-адрес хоста Yandex Data Processing:

   1. Получите список хостов:

      yc dataproc cluster list-hosts <имя_или_идентификатор_кластера>
      

      Идентификатор и имя кластера можно получить со списком кластеров в каталоге.

      Результат:

      +------------------------------------------------------+----------------------+------------+----------------------+--------+
      |                         NAME                         | COMPUTE INSTANCE ID  |    ROLE    |    SUBCLUSTER ID     | HEALTH |
      +------------------------------------------------------+----------------------+------------+----------------------+--------+
      | rc1a-dataproc-d-q8659net********.mdb.yandexcloud.net | fhmr7sd33fl8******** | DATANODE   | c9qaps7qjj2d******** | ALIVE  |
      | rc1a-dataproc-m-hhhifdgl********.mdb.yandexcloud.net | fhmg686pspri******** | MASTERNODE | c9q7aen26lid******** | ALIVE  |
      +------------------------------------------------------+----------------------+------------+----------------------+--------+
      

      Сохраните идентификатор ВМ, соответствующей хосту, к которому вы будете подключаться.

   2. Получите информацию о ВМ:

      yc compute instance get <идентификатор_ВМ>
      

      Результат:

      ...
      primary_v4_address:
        address: <внутренний_IP-адрес>
        one_to_one_nat:
          address: <внешний_IP-адрес>
          ip_version: IPV4
      ...
      

      Если подключаетесь к хосту из интернета, сохраните внешний IP-адрес, а если с промежуточной ВМ — внутренний IP-адрес.

3. Подключитесь к хосту:

   ssh -i <путь_к_файлу_сертификата> <логин_пользователя>@<IP-адрес_хоста>
   

   Где:

   • <путь_к_файлу_сертификата> — путь к сохраненному ранее файлу Identity сертификата. Например: /home/user1/.ssh/yc-cloud-id-b1gia87mbaom********-orgusername.
   • <логин_пользователя> — логин, заданный для этого пользователя в профиле OS Login. Логин также указывается в конце имени экспортированного сертификата OS Login. В примере выше это orgusername.
   • <IP-адрес_хоста> — полученный ранее адрес хоста.

   При первом подключении к хосту появится предупреждение о неизвестном хосте:

   The authenticity of host '158.160.**.** (158.160.**.**)' can't be established.
   ECDSA key fingerprint is SHA256:PoaSwqxRc8g6iOXtiH7ayGHpSN0MXwUfWHk********.
   Are you sure you want to continue connecting (yes/no)?
   

   Введите в терминале слово yes и нажмите Enter.

Подключение с помощью CLIПодключение с помощью CLI

1. Получите список хостов Yandex Data Processing:

   yc dataproc cluster list-hosts <имя_или_идентификатор_кластера>
   

   Идентификатор и имя кластера можно получить со списком кластеров в каталоге.

   Результат:

   +------------------------------------------------------+----------------------+------------+----------------------+--------+
   |                         NAME                         | COMPUTE INSTANCE ID  |    ROLE    |    SUBCLUSTER ID     | HEALTH |
   +------------------------------------------------------+----------------------+------------+----------------------+--------+
   | rc1a-dataproc-d-q8659net********.mdb.yandexcloud.net | fhmr7sd33fl8******** | DATANODE   | c9qaps7qjj2d******** | ALIVE  |
   | rc1a-dataproc-m-hhhifdgl********.mdb.yandexcloud.net | fhmg686pspri******** | MASTERNODE | c9q7aen26lid******** | ALIVE  |
   +------------------------------------------------------+----------------------+------------+----------------------+--------+
   

   Сохраните идентификатор ВМ, соответствующей хосту, к которому вы будете подключаться.

2. Подключитесь к хосту:

   yc compute ssh --id <идентификатор_ВМ>
   

Подключение из графических IDEПодключение из графических IDE

Подключения проверялись в следующем окружении:

• Ubuntu 20.04, DBeaver: 22.2.4;
• MacOS Monterey 12.7:
  • JetBrains DataGrip: 2023.3.4;
  • DBeaver Community: 24.0.0.

Для использования графических IDE сохраните сертификат в локальную папку и укажите путь к нему в настройках подключения.