Интеграция с сервисом Yandex DataSphere

Вы можете использовать кластеры Apache Spark™, развернутые в сервисе Yandex Data Processing, в проектах Yandex DataSphere. Чтобы в DataSphere настроить интеграцию с сервисом Yandex Data Processing:

1. Подготовьте инфраструктуру.
2. Создайте бакет.
3. Создайте кластер Yandex Data Processing.
4. Настройте проект DataSphere.
5. Запустите вычисления.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за кластер Yandex Data Processing (см. тарифы Yandex Data Processing).
• Плата за NAT-шлюз (см. тарифы Virtual Private Cloud).
• Плата за бакет Object Storage: хранение данных и выполнение операций с ними (см. тарифы Object Storage).

Перед началом работыПеред началом работы

Перед началом работы нужно зарегистрироваться в Yandex Cloud, настроить сообщество и привязать к нему платежный аккаунт:

1. На главной странице DataSphere нажмите Попробовать бесплатно и выберите аккаунт для входа — Яндекс ID или рабочий аккаунт в федерации (SSO).
2. Выберите организацию Yandex Cloud Organization, в которой вы будете работать в Yandex Cloud.
3. Создайте сообщество.
4. Привяжите платежный аккаунт к сообществу DataSphere, в котором вы будете работать. Убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его в интерфейсе DataSphere.

Подготовьте инфраструктуруПодготовьте инфраструктуру

Войдите в консоль управления Yandex Cloud и выберите организацию, в которой вы работаете с DataSphere. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт.

Если у вас есть активный платежный аккаунт, на странице облака вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура.

Создайте каталог и сетьСоздайте каталог и сеть

Создайте каталог, в котором будет работать ваш кластер Yandex Data Processing.

Подробнее об облаках и каталогах.

Создайте NAT-шлюз для доступа в интернетСоздайте NAT-шлюз для доступа в интернет

Создайте сервисный аккаунт кластераСоздайте сервисный аккаунт кластера

Сгенерируйте пару ключей SSHСгенерируйте пару ключей SSH

Для безопасного подключения к хостам кластера Yandex Data Processing потребуются SSH-ключи. Если у вас уже есть сгенерированные SSH-ключи, вы можете пропустить этот шаг.

Как сгенерировать пару ключей SSH

Linux/macOS

Windows 10/11

Windows 7/8

1. Откройте терминал.

2. Создайте новый ключ с помощью команды ssh-keygen:

   ssh-keygen -t ed25519 -C "<опциональный_комментарий>"
   

   Вы можете передать в параметре -C пустую строку, чтобы не добавлять комментарий, или не указывать параметр -C вообще — в таком случае будет добавлен комментарий по умолчанию.

   После выполнения команды вам будет предложено указать имя и путь к файлам с ключами, а также ввести пароль для закрытого ключа. Если задать только имя, пара ключей будет создана в текущей директории. Открытый ключ будет сохранен в файле с расширением .pub, закрытый ключ — в файле без расширения.

   По умолчанию команда предлагает сохранить ключ под именем id_ed25519 в директории /home/<имя_пользователя>/.ssh. Если в этой директории уже есть SSH-ключ с именем id_ed25519, вы можете случайно перезаписать его и потерять доступ к ресурсам, в которых он используется. Поэтому рекомендуется использовать уникальные имена для всех SSH-ключей.

Если у вас еще не установлен OpenSSH, установите его по инструкции.

1. Запустите cmd.exe или powershell.exe (предварительно обновите PowerShell).

2. Создайте новый ключ с помощью команды ssh-keygen:

   ssh-keygen -t ed25519 -C "<опциональный_комментарий>"
   

   Вы можете передать в параметре -C пустую строку, чтобы не добавлять комментарий, или не указывать параметр -C вообще — в таком случае будет добавлен комментарий по умолчанию.

   После выполнения команды вам будет предложено указать имя и путь к файлам с ключами, а также ввести пароль для закрытого ключа. Если задать только имя, пара ключей будет создана в текущей директории. Открытый ключ будет сохранен в файле с расширением .pub, закрытый ключ — в файле без расширения.

   По умолчанию команда предлагает сохранить ключ под именем id_ed25519 в папку C:\Users\<имя_пользователя>/.ssh. Если в этой директории уже есть SSH-ключ с именем id_ed25519, вы можете случайно перезаписать его и потерять доступ к ресурсам, в которых он используется. Поэтому рекомендуется использовать уникальные имена для всех SSH-ключей.

Создайте ключи с помощью приложения PuTTY:

1. Скачайте и установите PuTTY.

2. Добавьте папку с PuTTY в переменную PATH:

   1. Нажмите кнопку Пуск и в строке поиска Windows введите Изменение системных переменных среды.
   2. Справа снизу нажмите кнопку Переменные среды....
   3. В открывшемся окне найдите параметр PATH и нажмите Изменить.
   4. Добавьте путь к папке в список.
   5. Нажмите кнопку ОК.

3. Запустите приложение PuTTYgen.

4. В качестве типа генерируемой пары выберите EdDSA. Нажмите Generate и поводите курсором в поле выше до тех пор, пока не закончится создание ключа.

   

5. В поле Key passphrase введите надежный пароль. Повторно введите его в поле ниже.

6. Нажмите кнопку Save private key и сохраните закрытый ключ. Никому не сообщайте ключевую фразу от него.

7. Нажмите кнопку Save public key и сохраните открытый ключ в файле <имя_ключа>.pub.

Важно

Надежно сохраните закрытый ключ: без него подключиться к ВМ будет невозможно.

Настройте DataSphereНастройте DataSphere

Чтобы работать с кластерами Yandex Data Processing в DataSphere, создайте и настройте проект.

Создайте проектСоздайте проект

1. Откройте главную страницу DataSphere.
2. На панели слева выберите Сообщества.
3. Выберите сообщество, в котором вы хотите создать проект.
4. На странице сообщества нажмите кнопку Создать проект.
5. В открывшемся окне укажите имя и (опционально) описание проекта.
6. Нажмите кнопку Создать.

Измените настройки проектаИзмените настройки проекта

1. Перейдите на вкладку Настройки.

2. В блоке Расширенные настройки нажмите кнопку Редактировать.

3. Укажите параметры:

   • Каталог по умолчанию — data-folder.

   • Сервисный аккаунт — sa-for-data-proc.

   • Подсеть — подсеть зоны доступности ru-central1-a в каталоге data-folder.

     Примечание

     Если вы указали подсеть в настройках проекта, время выделения вычислительных ресурсов может быть увеличено.

   • Группу безопасности, если они используются в вашей организации.

4. Нажмите Сохранить.

Создайте бакетСоздайте бакет

Создайте кластер Yandex Data ProcessingСоздайте кластер Yandex Data Processing

Перед созданием кластера убедитесь, что в вашем облаке имеется достаточный суммарный объем SSD-дисков (по умолчанию для нового облака выделяется 200 ГБ).

Посмотреть имеющиеся у вас ресурсы можно в консоли управления в разделе Квоты.

Yandex Data Processing запустит операцию создания кластера. После того как кластер перейдет в статус Running, вы можете подключиться к любому активному подкластеру с помощью указанного SSH-ключа.

Созданный кластер Yandex Data Processing появится в проекте DataSphere в разделе Ресурсы проекта ⟶ Yandex Data Processing ⟶ Доступные кластеры.

Запустите вычисления на кластереЗапустите вычисления на кластере

1. Откройте проект DataSphere:

   1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

   2. Нажмите кнопку Открыть проект в JupyterLab и дождитесь окончания загрузки.
   3. Откройте вкладку с ноутбуком.

2. В ячейку вставьте код для вычисления, например:

   #!spark --cluster <имя_кластера>
   import random
   
   def inside(p):
       x, y = random.random(), random.random()
       return x*x + y*y < 1
   
   NUM_SAMPLES = 1_000_000
   
   count = sc.parallelize(range(0, NUM_SAMPLES)) \
       .filter(inside).count()
   print("Pi is roughly %f" % (4.0 * count / NUM_SAMPLES))
   

   Где #!spark --cluster <имя_кластера> — обязательная системная команда для запуска вычислений на кластере.

   Дождитесь запуска вычисления. Под ячейкой в процессе вычисления будут отображаться логи.

3. Запишите данные в S3, указав имя бакета:

   #!spark 
   data = [[1, "tiger"], [2, "lion"], [3, "snow leopard"]]
   df = spark.createDataFrame(df, schema="id LONG, name STRING")
   df.repartition(1).write.option("header", True).csv("s3://<имя_бакета>/")
   

4. Запустите ячейки, выбрав в меню Run ⟶ Run Selected Cells (также можно использовать сочетание клавиш Shift + Enter).

После этого файл появится в бакете. Чтобы просматривать содержимое бакета в интерфейсе JupyterLab, создайте и активируйте в проекте коннектор S3.

Подробнее о запуске вычислений на кластерах Yandex Data Processing в DataSphere см. в концепции.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

• объекты из бакета;
• бакет;
• кластер;
• проект;
• подсеть;
• таблицу маршрутизации;
• NAT-шлюз;
• сеть;
• сервисный аккаунт.