Использование сервиса Yandex Managed Service for Apache Spark™ в Yandex DataSphere

В DataSphere вы можете использовать кластеры Apache Spark™, развернутые в сервисе Yandex Managed Service for Apache Spark™. Подключение кластеров Apache Spark™ выполняется с помощью коннекторов Spark. Для выполнения вычислений в кластере запускается задание с типом SparkConnect.

Чтобы в DataSphere настроить интеграцию с сервисом Managed Service for Apache Spark™:

1. Подготовьте инфраструктуру.
2. Настройте проект DataSphere.
3. Создайте кластер Managed Service for Apache Spark™ и коннектор Spark.
4. Запустите вычисления.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Перед началом работы нужно зарегистрироваться в Yandex Cloud, настроить сообщество и привязать к нему платежный аккаунт:

1. На главной странице DataSphere нажмите Попробовать бесплатно и выберите аккаунт для входа — Яндекс ID или рабочий аккаунт в федерации (SSO).
2. Выберите организацию Yandex Identity Hub, в которой вы будете работать в Yandex Cloud.
3. Создайте сообщество.
4. Привяжите платежный аккаунт к сообществу DataSphere, в котором вы будете работать. Убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его в интерфейсе DataSphere.

Необходимые платные ресурсыНеобходимые платные ресурсы

• Кластер Managed Service for Apache Spark™: вычислительные ресурсы компонентов кластера (см. тарифы Managed Service for Apache Spark™).
• NAT-шлюз: почасовое использование шлюза и исходящий через него трафик (см. тарифы Virtual Private Cloud).

Подготовьте инфраструктуруПодготовьте инфраструктуру

Создайте каталогСоздайте каталог

Создайте каталог, в котором будет работать ваш кластер Apache Spark™.

Подробнее об облаках и каталогах.

Создайте сетьСоздайте сеть

Создайте сеть, в которой будет работать кластер Apache Spark™.

Создайте и настройте NAT-шлюз для доступа в интернетСоздайте и настройте NAT-шлюз для доступа в интернет

Создайте сервисный аккаунт кластераСоздайте сервисный аккаунт кластера

Настройте DataSphereНастройте DataSphere

Чтобы работать с кластерами Apache Spark™ в DataSphere, создайте и настройте проект.

Создайте проектСоздайте проект

1. Откройте главную страницу DataSphere.
2. На панели слева выберите Сообщества.
3. Выберите сообщество, в котором вы хотите создать проект.
4. На странице сообщества нажмите кнопку Создать проект.
5. В открывшемся окне укажите имя и (опционально) описание проекта.
6. Нажмите кнопку Создать.

Измените настройки проектаИзмените настройки проекта

1. Перейдите на вкладку Настройки.

2. В блоке Расширенные настройки нажмите кнопку Редактировать.

3. Укажите параметры:

   • Каталог по умолчанию — data-folder.

   • Сервисный аккаунт — sa-for-spark.

   • Подсеть — подсеть data-network-kz1-a.

     Примечание

     Если вы указали подсеть в настройках проекта, подготовка ВМ при первом запуске вычислений может занять больше времени.

   • Группы безопасности, если они используются в вашей организации.

4. Нажмите Сохранить.

Создайте кластер Managed Service for Apache Spark™ и коннектор SparkСоздайте кластер Managed Service for Apache Spark™ и коннектор Spark

1. Создайте кластер Managed Service for Apache Spark™ любой подходящей конфигурации с параметрами:

   • Сервисный аккаунт — sa-for-spark.
   • Сеть — data-network.
   • Подсеть — data-network-kz1-a.

2. Перейдите в рабочее пространство DataSphere.

3. На панели слева выберите Сообщества.

4. Откройте сообщество, в котором вы создали проект, и выберите нужный проект.

5. В блоке Ресурсы проекта нажмите Коннектор Spark.

6. Нажмите Создать коннектор.

7. В поле Имя задайте имя коннектора. Формат имени:

   • Длина — от 3 до 63 символов.
   • Может содержать строчные и заглавные буквы латинского и русского алфавита, цифры, дефисы, подчеркивания и пробелы.
   • Первый символ должен быть буквой. Последний символ не может быть дефисом, подчеркиванием или пробелом.

8. В блоке Кластер Yandex Data Processing:

   1. Нажмите на плитку Выберите кластер.
   2. Выберите из списка созданный ранее кластер Managed Service for Apache Spark™.

9. (Опционально) Чтобы использовать бакет Object Storage в вычислениях, в блоке Настройки S3 укажите идентификатор статического ключа доступа и секрет, в котором хранится секретная часть статического ключа.

10. В блоке Настройки Spark укажите параметры задания SparkConnect:

    • Чтобы использовать стандартные настройки кластера Apache Spark™ при выполнении вычислений, выберите опцию Использовать настройки по умолчанию.
    • Чтобы вручную дополнить или изменить параметры задания, укажите один или несколько параметров Ключ и Значение.

11. Нажмите Создать. Откроется страница с информацией о созданном коннекторе.

Запустите вычисленияЗапустите вычисления

1. Откройте проект DataSphere:

   1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

   2. Нажмите кнопку Открыть проект в JupyterLab и дождитесь окончания загрузки.
   3. Откройте вкладку с ноутбуком.

2. В ячейку вставьте код для вычисления, например:

   df = spark.createDataFrame([(1, "Sarah"), (2, "Maria")]).toDF(*["id", "name"])
   df.show()
   

3. Выберите в меню Run → Run Selected Cells или используйте сочетание клавиш Shift + Enter.

4. В открывшемся окне Конфигурации ВМ ноутбука перейдите на вкладку Для кластера Yandex Data Processing.

5. Выберите необходимую конфигурацию и коннектор.

6. Нажмите Выбрать.

   В ноутбуке через переменную spark станет доступна локальная сессия PySpark. В кластере Apache Spark™ будет создано и запущено задание SparkConnect для выполнения кода ячеек ноутбука.

Чтобы завершить задание в кластере Apache Spark™, остановите ВМ ноутбука.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

1. Кластер Managed Service for Apache Spark™.
2. NAT-шлюз.