Интеграция сервиса Yandex DataSphere с сервисом Yandex Data Processing

Вы можете использовать кластеры Apache Spark™, развернутые в сервисе Yandex Data Processing, в проектах Yandex DataSphere. Чтобы в DataSphere настроить интеграцию с сервисом Yandex Data Processing:

1. Подготовьте инфраструктуру.
2. Создайте бакет.
3. Создайте кластер Yandex Data Processing.
4. Настройте проект DataSphere.
5. Запустите вычисления.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за кластер Yandex Data Processing (см. тарифы Yandex Data Processing).
• Плата за NAT-шлюз (см. тарифы Virtual Private Cloud).
• Плата за бакет Object Storage: хранение данных и выполнение операций с ними (см. тарифы Object Storage).

Перед началом работы

Перед началом работы нужно зарегистрироваться в Yandex Cloud, настроить сообщество и привязать к нему платежный аккаунт:

1. На главной странице DataSphere нажмите Попробовать бесплатно и выберите аккаунт для входа — Яндекс ID или рабочий аккаунт в федерации (SSO).
2. Выберите организацию Yandex Cloud Organization, в которой вы будете работать в Yandex Cloud.
3. Создайте сообщество.
4. Привяжите платежный аккаунт к сообществу DataSphere, в котором вы будете работать. Убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его в интерфейсе DataSphere.

Подготовьте инфраструктуру

Войдите в консоль управления Yandex Cloud и выберите организацию, в которой вы работаете с DataSphere. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт.

Если у вас есть активный платежный аккаунт, на странице облака вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура.

Создайте каталог и сеть

Создайте каталог, в котором будет работать ваш кластер Yandex Data Processing.

Подробнее об облаках и каталогах.

Создайте NAT-шлюз для доступа в интернет

Создайте сервисный аккаунт кластера

Сгенерируйте пару ключей SSH

Для безопасного подключения к хостам кластера Yandex Data Processing потребуются SSH-ключи. Если у вас уже есть сгенерированные SSH-ключи, вы можете пропустить этот шаг.

Как сгенерировать пару ключей SSH

Linux/macOS

Windows 10/11

Windows 7/8

1. Откройте терминал.

2. Создайте новый ключ с помощью команды ssh-keygen:

   ssh-keygen -t ed25519 -C "<опциональный_комментарий>"
   

   Вы можете передать в параметре -C пустую строку, чтобы не добавлять комментарий, или не указывать параметр -C вообще — в таком случае будет добавлен комментарий по умолчанию.

   После выполнения команды вам будет предложено указать имя и путь к файлам с ключами, а также ввести пароль для закрытого ключа. Если задать только имя, пара ключей будет создана в текущей директории. Открытый ключ будет сохранен в файле с расширением .pub, закрытый ключ — в файле без расширения.

   По умолчанию команда предлагает сохранить ключ под именем id_ed25519 в директории /home/<имя_пользователя>/.ssh. Если в этой директории уже есть SSH-ключ с именем id_ed25519, вы можете случайно перезаписать его и потерять доступ к ресурсам, в которых он используется. Поэтому рекомендуется использовать уникальные имена для всех SSH-ключей.

Если у вас еще не установлен OpenSSH, установите его по инструкции.

1. Запустите cmd.exe или powershell.exe (предварительно обновите PowerShell).

2. Создайте новый ключ с помощью команды ssh-keygen:

   ssh-keygen -t ed25519 -C "<опциональный_комментарий>"
   

   Вы можете передать в параметре -C пустую строку, чтобы не добавлять комментарий, или не указывать параметр -C вообще — в таком случае будет добавлен комментарий по умолчанию.

   После выполнения команды вам будет предложено указать имя и путь к файлам с ключами, а также ввести пароль для закрытого ключа. Если задать только имя, пара ключей будет создана в текущей директории. Открытый ключ будет сохранен в файле с расширением .pub, закрытый ключ — в файле без расширения.

   По умолчанию команда предлагает сохранить ключ под именем id_ed25519 в папку C:\Users\<имя_пользователя>/.ssh. Если в этой директории уже есть SSH-ключ с именем id_ed25519, вы можете случайно перезаписать его и потерять доступ к ресурсам, в которых он используется. Поэтому рекомендуется использовать уникальные имена для всех SSH-ключей.

Создайте ключи с помощью приложения PuTTY:

1. Скачайте и установите PuTTY.

2. Добавьте папку с PuTTY в переменную PATH:

   1. Нажмите кнопку Пуск и в строке поиска Windows введите Изменение системных переменных среды.
   2. Справа снизу нажмите кнопку Переменные среды....
   3. В открывшемся окне найдите параметр PATH и нажмите Изменить.
   4. Добавьте путь к папке в список.
   5. Нажмите кнопку ОК.

3. Запустите приложение PuTTYgen.

4. В качестве типа генерируемой пары выберите EdDSA. Нажмите Generate и поводите курсором в поле выше до тех пор, пока не закончится создание ключа.

   

5. В поле Key passphrase введите надежный пароль. Повторно введите его в поле ниже.

6. Нажмите кнопку Save private key и сохраните закрытый ключ. Никому не сообщайте ключевую фразу от него.

7. Нажмите кнопку Save public key и сохраните открытый ключ в файле <имя_ключа>.pub.

Важно

Надежно сохраните закрытый ключ: без него подключиться к ВМ будет невозможно.

Настройте DataSphere

Чтобы работать с кластерами Yandex Data Processing в DataSphere, создайте и настройте проект.

Создайте проект

1. Откройте главную страницу DataSphere.
2. На панели слева выберите Сообщества.
3. Выберите сообщество, в котором вы хотите создать проект.
4. На странице сообщества нажмите кнопку Создать проект.
5. В открывшемся окне укажите имя и (опционально) описание проекта.
6. Нажмите кнопку Создать.

Измените настройки проекта

1. Перейдите на вкладку Настройки.

2. В блоке Расширенные настройки нажмите кнопку Редактировать.

3. Укажите параметры:

   • Каталог по умолчанию — data-folder.

   • Сервисный аккаунт — sa-for-data-proc.

   • Подсеть — подсеть зоны доступности ru-central1-a в каталоге data-folder.

     Примечание

     Если вы указали подсеть в настройках проекта, время выделения вычислительных ресурсов может быть увеличено.

   • Группу безопасности, если они используются в вашей организации.

4. Нажмите Сохранить.

Создайте бакет

Создайте кластер Yandex Data Processing

Перед созданием кластера убедитесь, что в вашем облаке имеется достаточный суммарный объем SSD-дисков (по умолчанию для нового облака выделяется 200 ГБ).

Посмотреть имеющиеся у вас ресурсы можно в консоли управления в разделе Квоты.

Yandex Data Processing запустит операцию создания кластера. После того как кластер перейдет в статус Running, вы можете подключиться к любому активному подкластеру с помощью указанного SSH-ключа.

Созданный кластер Yandex Data Processing появится в проекте DataSphere в разделе Ресурсы проекта ⟶ Yandex Data Processing ⟶ Доступные кластеры.

Запустите вычисления на кластере

1. Откройте проект DataSphere:

   1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

   2. Нажмите кнопку Открыть проект в JupyterLab и дождитесь окончания загрузки.
   3. Откройте вкладку с ноутбуком.

2. В ячейку вставьте код для вычисления, например:

   #!spark --cluster <имя_кластера>
   import random
   
   def inside(p):
       x, y = random.random(), random.random()
       return x*x + y*y < 1
   
   NUM_SAMPLES = 1_000_000
   
   count = sc.parallelize(range(0, NUM_SAMPLES)) \
       .filter(inside).count()
   print("Pi is roughly %f" % (4.0 * count / NUM_SAMPLES))
   

   Где #!spark --cluster <имя_кластера> — обязательная системная команда для запуска вычислений на кластере.

   Дождитесь запуска вычисления. Под ячейкой в процессе вычисления будут отображаться логи.

3. Запишите данные в S3, указав имя бакета:

   #!spark 
   data = [[1, "tiger"], [2, "lion"], [3, "snow leopard"]]
   df = spark.createDataFrame(df, schema="id LONG, name STRING")
   df.repartition(1).write.option("header", True).csv("s3://<имя_бакета>/")
   

4. Запустите ячейки, выбрав в меню Run ⟶ Run Selected Cells (также можно использовать сочетание клавиш Shift + Enter).

После этого файл появится в бакете. Чтобы просматривать содержимое бакета в интерфейсе JupyterLab, создайте и активируйте в проекте коннектор S3.

Подробнее о запуске вычислений на кластерах Yandex Data Processing в DataSphere см. в концепции.

Удалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

• объекты из бакета;
• бакет;
• кластер;
• проект;
• подсеть;
• таблицу маршрутизации;
• NAT-шлюз;
• сеть;
• сервисный аккаунт.

См. также

Временные кластеры Yandex Data Processing, развернутые в DataSphere