Запуск PySpark-задания в Yandex Managed Service for YTsaurus

В кластере YTsaurus вы можете запускать Spark- и PySpark-задания с помощью скрипта spark-submit. Он сохраняет результаты расчета в HDFS. Подробнее о spark-submit читайте в документации Spark. Задания запускаются в кластере Apache Spark™, работающем на вычислительных ресурсах кластера YTsaurus, с помощью инструмента SPYT.

Ниже рассматривается пример запуска приложения на языке программирования Python.

Чтобы запустить PySpark-задание:

1. Подготовьте инфраструктуру.
2. Подготовьте ВМ к работе.
3. Подготовьте тестовые данные.
4. Создайте и запустите PySpark-задание.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

• Кластер YTsaurus: использование вычислительных ресурсов компонентов кластера и объем хранилища (см. тарифы YTsaurus).
• Виртуальная машина: использование вычислительных ресурсов, хранилища, публичного IP-адреса и операционной системы (см. тарифы Compute Cloud).

Перед началом работыПеред началом работы

Подготовьте инфраструктуру:

Подготовьте ВМ к работеПодготовьте ВМ к работе

1. Подключитесь к виртуальной машине по SSH.

2. Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

3. Установите зависимости:

   sudo apt update && sudo apt install -y python3 python3-pip python3-venv
   

4. Создайте и активируйте виртуальное окружение для выполнения Python-скрипта:

   python3 -m venv .venv/yt312 && \
   source .venv/yt312/bin/activate
   

5. Установите Java:

   sudo apt install -y openjdk-11-jdk
   

6. Установите YTsaurus CLI:

   pip install ytsaurus-client
   

7. Создайте IAM-токен:

   yc iam create-token
   

8. Получите идентификатор сервисного аккаунта:

   yc iam whoami
   

9. Задайте переменные окружения:

   export YT_PROXY=http://hp.<идентификатор_кластера_YTsaurus>.ytsaurus.mdb.yandexcloud.net:32100 ; \
   export YT_TOKEN=<IAM-токен> ; \
   export YT_USER=<идентификатор_сервисного_аккаунта>
   

10. Получите версию SPYT:

    yt list //home/spark/conf/releases
    

    Результат:

    2.7.0
    

11. Установите пакет ytsaurus-spyt той же версии, что и SPYT:

    pip install ytsaurus-spyt==2.7.0
    

12. Получите версию Spark из названия tgz-файла:

    yt find //home/spark/distrib --name *tgz
    

    Результат:

    //home/spark/distrib/3/5/6/spark-3.5.6-bin-hadoop3.tgz
    

13. Установите pyspark той же версии, что и дистрибутив spark:

    pip install pyspark==3.5.6
    

14. Активируйте конфигурацию SPYT:

    source spyt-env
    

    Результат:

    SPYT environment has been successfully activated
    

15. Проверьте значение переменной $SPARK_CONF_DIR:

    echo $SPARK_CONF_DIR
    

    Результат:

    /home/<домашняя_директория>/.venv/yt312/lib/python3.12/site-packages/spyt/conf
    

Подготовьте тестовые данныеПодготовьте тестовые данные

На виртуальной машине выполните команды:

1. Создайте таблицу table1 в YTsaurus:

   yt create table //tmp/table1 \
     --attributes '{schema = [{name = id; type = int64}; {name = text; type = string}]}'
   

2. Запишите данные в таблицу:

   echo '{ "id": 0, "text": "Hello" } { "id": 1, "text": "World!" }' | yt write-table //tmp/table1 --format json
   

Создайте и запустите PySpark-заданиеСоздайте и запустите PySpark-задание

На виртуальной машине выполните действия:

1. Создайте файл spark-job.py с PySpark-заданием.

   import spyt
   from pyspark import SparkConf
   
   conf = SparkConf()
   conf.set("spark.app.name","Show table")
   with spyt.direct_spark_session("http-proxies-lb.yt.svc.cluster.local", conf) as spark:
        spark.read.yt('//tmp/table1').show()
   

2. Запустите задание:

   spark-submit --master "ytsaurus://${YT_PROXY}" \
     --deploy-mode cluster \
     --num-executors 1 \
     --conf spark.hadoop.yt.proxyNetworkName=external \
     --queue research \
     ./spark-job.py
   

   Результат:

   ...
   25/12/09 23:29:49 INFO YTsaurusClusterApplication: Operation: fdff4aa2-d11767f6-e03e8-6affdd7c, State: running
   25/12/09 23:30:23 INFO YTsaurusClusterApplication: Operation: fdff4aa2-d11767f6-e03e8-6affdd7c, State: completed
   

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать: