Подключение к хосту Yandex Data Processing по SSH

Вы можете подключиться к кластеру Yandex Data Processing по SSH.

Перед подключением:

1. Настройте группы безопасности.
2. Получите FQDN хоста.

Подключитесь с помощью стандартного SSH-клиентаПодключитесь с помощью стандартного SSH-клиента

Чтобы подключиться к хосту Yandex Data Processing, на локальной машине или промежуточной ВМ должен быть доступен SSH-ключ, который вы указали при создании кластера Yandex Data Processing. Вы можете скопировать ключ на машину, с которой будет производиться подключение к кластеру, или подключаться к ней с запущенным SSH-агентом.

1. Если вы не настраивали публичный доступ для подкластера, подключитесь к промежуточной виртуальной машине по протоколу SSH.

2. Запустите SSH-агент:

   eval `ssh-agent -s`
   

3. Добавьте нужный ключ в список доступных агенту:

   ssh-add ~/.ssh/example-key
   

4. Откройте SSH-соединение с хостом Yandex Data Processing, указав его FQDN или IP-адрес, если для хоста включен публичный доступ. Для образа 2.0 укажите пользователя ubuntu, для образа 1.4 — root, например:

   ssh ubuntu@rc1b-dataproc-m-fh4y4nur********.mdb.yandexcloud.net
   

   Результат:

   ubuntu@rc1b-dataproc-m-fh4y4nur********:~#
   

5. Проверьте, что команды Hadoop выполняются, например:

   hadoop version
   

   Результат:

   Hadoop 2.8.5
   Subversion https://github.yandex-team.ru/mdb/bigtop.git -r 78508f2a4b4f3dc8b3d295ccb50a45a4********
   Compiled by robot-pgaas-ci on 2019-04-16T10:35Z
   Compiled with protoc 2.5.0
   From source with checksum 9942ca5c745417c14e31883********
   This command was run using /usr/lib/hadoop/hadoop-common-2.8.5.jar