Yandex Cloud
КейсыДокументация
ПрезентацияСвязаться с намиНачать бесплатно
Создавайте контент и получайте гранты!Готовы написать своё руководство? Участвуйте в контент-программе и получайте гранты на работу с облачными сервисами!
Подробнее о программе
Сделано на Gravity UI
Проект Яндекса
© 2026 ООО «Яндекс.Облако»
Yandex Data Processing
  • Начало работы
    • Все руководства
      • Обзор
      • Работа с заданиями Hive
      • Работа с заданиями MapReduce
      • Работа с заданиями PySpark
      • Работа с заданиями Spark
      • Запуск заданий Apache Hive
      • Запуск Spark-приложений
      • Запуск заданий с удаленного хоста
  • Управление доступом
  • Правила тарификации
  • Справочник Terraform
  • Метрики Monitoring
  • Аудитные логи Audit Trails
  • Публичные материалы
  • Вопросы и ответы
  • Обучающие курсы

В этой статье:

  • Перед началом работы
  • Необходимые платные ресурсы
  • Подготовьте инфраструктуру
  • Запуск задания
  • Удалите созданные ресурсы
  1. Практические руководства
  2. Работа с заданиями
  3. Запуск заданий с удаленного хоста

Запуск заданий с удаленных хостов, не входящих в кластер Yandex Data Processing

Статья создана
Yandex Cloud
Улучшена
Dmitry A.
Обновлена 17 ноября 2026 г.
Открыть в Markdown
  • Перед началом работы
    • Необходимые платные ресурсы
  • Подготовьте инфраструктуру
  • Запуск задания
  • Удалите созданные ресурсы

В этом руководстве показывается, как с помощью утилиты spark-submit запускать Spark-задания в кластере Yandex Data Processing с хостов, не входящих в кластер Yandex Data Processing.

Примечание

Задания в кластере Yandex Data Processing также можно запускать из Yandex DataSphere. Подробнее в концепции.

Чтобы выполнить задания с удаленных хостов, не входящих в кластер:

  1. Подготовьте инфраструктуру.
  2. Запустите задания.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
  2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

  • Кластер Yandex Data Processing: использование вычислительных ресурсов с наценкой за сервис Yandex Data Processing, использование сетевых дисков, получение и хранение логов, объем исходящего трафика (тарифы Yandex Data Processing).
  • Публичные IP-адреса, если для хостов кластера включен публичный доступ (тарифы Yandex Virtual Private Cloud).
  • Виртуальная машина: использование вычислительных ресурсов, хранилища, публичного IP-адреса и операционной системы (тарифы Yandex Compute Cloud).

Подготовьте инфраструктуруПодготовьте инфраструктуру

Создайте и настройте хост для удаленного запуска заданий на кластере Yandex Data Processing:

Версия образа 2.1
Версия образа 2.2
  1. Создайте сервисный аккаунт dataproc-sa с ролями dataproc.agent и dataproc.provisioner.

  2. Создайте кластер Yandex Data Processing. При создании кластера укажите сервисный аккаунт dataproc-sa.

  3. Создайте виртуальную машину с операционной системой Ubuntu 22.04.

  4. Чтобы обеспечить сетевой доступ к кластеру Yandex Data Processing с созданной ВМ, настройте группы безопасности кластера.

  5. Подключитесь к ВМ по SSH:

    ssh -A <имя_пользователя>@<FQDN_ВМ>
    
  6. Скопируйте настройки репозитория с любого из хостов кластера Yandex Data Processing. Для этого выполните последовательность команд на созданной виртуальной машине.

    1. Скопируйте адрес репозитория:

      ssh ubuntu@<FQDN_хоста_кластера> \
      "cat /etc/apt/sources.list.d/yandex-dataproc.list" | \
      sudo tee /etc/apt/sources.list.d/yandex-dataproc.list
      
    2. Скопируйте gpg-ключ для верификации подписей deb-пакетов:

      ssh ubuntu@<FQDN_хоста_кластера> \
      "cat /srv/dataproc.gpg" | \
      gpg --dearmor | sudo tee /etc/apt/trusted.gpg.d/yandex-dataproc.gpg > /dev/null
      
    3. Обновите кеш репозиториев:

      sudo apt update
      
  7. Установите необходимые пакеты:

    sudo apt install default-jre-headless hadoop-client hadoop-hdfs spark-core
    
  8. Для запуска заданий PySpark скопируйте Python-библиотеки Apache Spark™ с хоста кластера:

    sudo -E scp -r \
        ubuntu@<FQDN_хоста_кластера>:/usr/lib/spark/python \
        /usr/lib/spark/
    
  9. Скопируйте конфигурационные файлы Hadoop и Apache Spark™:

    sudo -E scp -r \
        ubuntu@<FQDN_хоста_кластера>:/etc/hadoop/conf/* \
        /etc/hadoop/conf/ && \
    sudo -E scp -r \
        ubuntu@<FQDN_хоста_кластера>:/etc/spark/conf/* \
        /etc/spark/conf/
    
  10. В скопированном файле /etc/hadoop/conf/hadoop-env.sh укажите путь к Java, установленной на клиентской ВМ:

    export JAVA_HOME=/usr/lib/jvm/default-java
    
  11. Создайте пользователя sparkuser, от имени которого будут запускаться задания:

    sudo useradd sparkuser && \
    ssh ubuntu@<FQDN_хоста_кластера> "
      hadoop fs -mkdir /user/sparkuser
      sudo -u hdfs hdfs dfs -chown sparkuser:sparkuser /user/sparkuser
      sudo -u hdfs hdfs dfs -ls /user/sparkuser
    "
    
  1. Создайте сервисный аккаунт dataproc-sa с ролями dataproc.agent и dataproc.provisioner.

  2. Создайте кластер Yandex Data Processing. При создании кластера укажите сервисный аккаунт dataproc-sa.

  3. Создайте виртуальную машину с операционной системой Ubuntu 22.04.

  4. Чтобы обеспечить сетевой доступ к кластеру Yandex Data Processing с созданной ВМ, настройте группы безопасности кластера.

  5. Подключитесь к ВМ по SSH:

    ssh -A <имя_пользователя>@<FQDN_ВМ>
    
  6. Скопируйте настройки репозитория с любого из хостов кластера Yandex Data Processing. Для этого выполните последовательность команд на созданной виртуальной машине.

    1. Скопируйте адрес репозитория:

      ssh ubuntu@<FQDN_хоста_кластера> \
      "cat /etc/apt/sources.list.d/yandex-dataproc.list" | \
      sudo tee /etc/apt/sources.list.d/yandex-dataproc.list
      
    2. Скопируйте gpg-ключ для верификации подписей deb-пакетов:

      ssh ubuntu@<FQDN_хоста_кластера> \
      "cat /srv/dataproc.gpg" | \
      gpg --dearmor | sudo tee /etc/apt/trusted.gpg.d/yandex-dataproc.gpg > /dev/null
      
    3. Обновите кеш репозиториев:

      sudo apt update
      
  7. Установите необходимые пакеты:

    sudo apt install default-jre-headless hadoop-client hadoop-hdfs spark-core spark-python
    

    Примечание

    Пакет spark-python необходим только для запуска заданий PySpark.

  8. Скопируйте конфигурационные файлы Hadoop и Apache Spark™:

    sudo -E scp -r \
        ubuntu@<FQDN_хоста_кластера>:/etc/hadoop/conf/* \
        /etc/hadoop/conf/ && \
    sudo -E scp -r \
        ubuntu@<FQDN_хоста_кластера>:/etc/spark/conf/* \
        /etc/spark/conf/
    
  9. Создайте пользователя sparkuser, от имени которого будут запускаться задания:

    sudo useradd sparkuser && \
    ssh ubuntu@<FQDN_хоста_кластера> "
      hadoop fs -mkdir /user/sparkuser
      sudo -u hdfs hdfs dfs -chown sparkuser:sparkuser /user/sparkuser
      sudo -u hdfs hdfs dfs -ls /user/sparkuser
    "
    

Запуск заданияЗапуск задания

Spark-задание
PySpark-задание
  1. Запустите задание с помощью команды:

    sudo -u sparkuser spark-submit \
         --master yarn \
         --deploy-mode cluster \
         --class org.apache.spark.examples.SparkPi \
             /usr/lib/spark/examples/jars/spark-examples.jar 1000
    

    Результат:

    20/04/19 16:43:58 INFO client.RMProxy: Connecting to ResourceManager at rc1b-dataproc-m-ds7lj5gnnnqggbqd.mdb.yandexcloud.net/  10.13.13.18:8032
    20/04/19 16:43:58 INFO client.AHSProxy: Connecting to Application History server at rc1b-dataproc-m-ds7lj5gnnnqggbqd.mdb.yandexcloud.net/10.13.13.18:10200
    20/04/19 16:43:58 INFO yarn.Client: Requesting a new application from cluster with 4 NodeManagers
    ...
    20/04/19 16:43:58 INFO yarn.Client: Preparing resources for our AM container
    20/04/19 16:43:58 INFO yarn.Client: Uploading resource file:/usr/lib/spark/examples/jars/spark-examples.jar -> hdfs://  rc1b-dataproc-m-ds7lj5gnnnqggbqd.mdb.yandexcloud.net/user/sparkuser/.sparkStaging/application_1586176069782_0003/  spark-examples.jar
    20/04/19 16:43:58 INFO yarn.Client: Uploading resource file:/etc/spark/conf/hive-site.xml -> hdfs://  rc1b-dataproc-m-ds7lj5gnnnqggbqd.mdb.yandexcloud.net/user/sparkuser/.sparkStaging/application_1586176069782_0003/hive-site.  xml
    20/04/19 16:43:58 INFO yarn.Client: Uploading resource file:/tmp/spark-6dff3163-089b-4634-8f74-c8301d424567/  __spark_conf__8717606866210190000.zip -> hdfs://rc1b-dataproc-m-ds7lj5gnnnqggbqd.mdb.yandexcloud.net/user/sparkuser/.  sparkStaging/application_1586176069782_0003/__spark_conf__.zip
    20/04/19 16:44:00 INFO yarn.Client: Submitting application application_1586176069782_0003 to ResourceManager
    20/04/19 16:44:00 INFO impl.YarnClientImpl: Submitted application application_1586176069782_0003
    20/04/19 16:44:01 INFO yarn.Client: Application report for application_1586176069782_0003 (state: ACCEPTED)
    20/04/19 16:44:01 INFO yarn.Client:
       client token: N/A
       diagnostics: AM container is launched, waiting for AM container to Register with RM
       ApplicationMaster host: N/A
       ApplicationMaster RPC port: -1
       queue: default
       start time: 1587314639386
       final status: UNDEFINED
       tracking URL: http://rc1b-dataproc-m-ds7lj5gnnnqggbqd.mdb.yandexcloud.net:8088/proxy/application_1586176069782_0003/
       user: sparkuser
    20/04/19 16:44:05 INFO yarn.Client: Application report for application_1586176069782_0003 (state: RUNNING)
    20/04/19 16:44:05 INFO yarn.Client:
       client token: N/A
       diagnostics: N/A
       ApplicationMaster host: rc1b-dataproc-d-9cd9yoenm4npsznt.mdb.yandexcloud.net
       ApplicationMaster RPC port: 41648
       queue: default
       start time: 1587314639386
       final status: UNDEFINED
       tracking URL: http://rc1b-dataproc-m-ds7lj5gnnnqggbqd.mdb.yandexcloud.net:8088/proxy/application_1586176069782_0003/
       user: sparkuser
    20/04/19 16:44:06 INFO yarn.Client: Application report for application_1586176069782_0003 (state: RUNNING)
    20/04/19 16:44:07 INFO yarn.Client: Application report for application_1586176069782_0003 (state: RUNNING)
    20/04/19 16:44:08 INFO yarn.Client: Application report for application_1586176069782_0003 (state: RUNNING)
    20/04/19 16:44:09 INFO yarn.Client: Application report for application_1586176069782_0003 (state: FINISHED)
    20/04/19 16:44:09 INFO yarn.Client:
       client token: N/A
       diagnostics: N/A
       ApplicationMaster host: rc1b-dataproc-d-9cd9yoenm4npsznt.mdb.yandexcloud.net
       ApplicationMaster RPC port: 41648
       queue: default
       start time: 1587314639386
       final status: SUCCEEDED
       tracking URL: http://rc1b-dataproc-m-ds7lj5gnnnqggbqd.mdb.yandexcloud.net:8088/proxy/application_1586176069782_0003/
       user: sparkuser
    20/04/19 16:44:09 INFO util.ShutdownHookManager: Shutdown hook called
    20/04/19 16:44:09 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-6dff3163-089b-4634-8f74-c8301d424567
    20/04/19 16:44:09 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-826498b1-8dec-4229-905e-921203b7b1d0
    
  2. Проверьте статус выполнения с помощью утилиты yarn application:

    yarn application -status application_1586176069782_0003
    

    Результат:

    20/04/19 16:47:03 INFO client.RMProxy: Connecting to ResourceManager at rc1b-dataproc-m-ds7lj5gn********.mdb.yandexcloud.net/10.13.13.18:8032
    20/04/19 16:47:03 INFO client.AHSProxy: Connecting to Application History server at rc1b-dataproc-m-ds7lj5gn********.mdb.yandexcloud.net/10.13.13.18:10200
    Application Report :
        Application-Id : application_1586176069782_0003
        Application-Name : org.apache.spark.examples.SparkPi
        Application-Type : SPARK
        User : sparkuser
        Queue : default
        Application Priority : 0
        Start-Time : 1587314639386
        Finish-Time : 1587314647621
        Progress : 100%
        State : FINISHED
        Final-State : SUCCEEDED
        Tracking-URL : rc1b-dataproc-m-ds7lj5gn********.mdb.yandexcloud.net:18080/history/application_1586176069782_0003/1
        RPC Port : 41648
        AM Host : rc1b-dataproc-d-9cd9yoen********.mdb.yandexcloud.net
        Aggregate Resource Allocation : 141510 MB-seconds, 11 vcore-seconds
        Aggregate Resource Preempted : 0 MB-seconds, 0 vcore-seconds
        Log Aggregation Status : SUCCEEDED
        Diagnostics :
        Unmanaged Application : false
        Application Node Label Expression : <Not set>
        AM container Node Label Expression : <DEFAULT_PARTITION>
        TimeoutType : LIFETIME    ExpiryTime : UNLIMITED    RemainingTime : -1seconds
    
  3. Просмотрите журналы со всех запущенных контейнеров с помощью утилиты yarn logs:

    sudo -u sparkuser yarn logs \
         -applicationId application_1586176069782_0003 | grep "Pi is"
    

    Результат:

    Pi is roughly 3.14164599141646
    
  1. На виртуальной машине создайте файл /tmp/month_stat.py со следующим кодом:

    import sys
    
    from pyspark import SparkContext, SparkConf
    from pyspark.sql import SQLContext
    
    def main():
        conf = SparkConf().setAppName("Month Stat - Python")
        conf.set("fs.s3a.aws.credentials.provider", "org.apache.hadoop.fs.s3a.AnonymousAWSCredentialsProvider")
        sc = SparkContext(conf=conf)
    
        sql = SQLContext(sc)
        df = sql.read.parquet("s3a://yc-mdb-examples/dataproc/example01/set01")
        defaultFS = sc._jsc.hadoopConfiguration().get("fs.defaultFS")
        month_stat = df.groupBy("Month").count()
        month_stat.repartition(1).write.format("csv").save(defaultFS+"/tmp/month_stat")
    
    if __name__ == "__main__":
            main()
    
  2. Разрешите пользователю sparkuser читать файл:

    chmod 644 /tmp/month_stat.py
    
  3. Запустите приложение:

    sudo -u sparkuser spark-submit \
         --master yarn \
         --deploy-mode cluster \
         /tmp/month_stat.py
    
  4. Результат работы приложения будет выгружен в HDFS на кластере. Список получившихся файлов можно вывести командой:

    ssh <имя_пользователя>@<FQDN_хоста_кластера> "hdfs dfs -ls /tmp/month_stat"
    

    Для образов 2.0 (deprecated), 2.1 и 2.2 укажите пользователя ubuntu.

Примечание

Вы можете просматривать логи выполнения заданий и искать в них информацию с помощью сервиса Yandex Cloud Logging. Подробнее в разделе Работа с логами.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

  1. Удалите кластер Yandex Data Processing.
  2. Удалите виртуальную машину.
  3. Удалите сервисный аккаунт dataproc-sa.

Была ли статья полезна?

Предыдущая
Запуск Spark-приложений
Следующая
Использование Object Storage в Yandex Data Processing
Создавайте контент и получайте гранты!Готовы написать своё руководство? Участвуйте в контент-программе и получайте гранты на работу с облачными сервисами!
Подробнее о программе
Сделано на Gravity UI
Проект Яндекса
© 2026 ООО «Яндекс.Облако»