Yandex Cloud
Документация
ПрезентацияСвязаться с намиНачать бесплатно
Создавайте контент и получайте гранты!Готовы написать своё руководство? Участвуйте в контент-программе и получайте гранты на работу с облачными сервисами!
Подробнее о программе
Проект Яндекса
© 2026 ТОО «Облачные Сервисы Казахстан»
Yandex Data Processing
RU
  • Начало работы
    • Все руководства
      • Обзор
      • Работа с заданиями Hive
      • Работа с заданиями MapReduce
      • Работа с заданиями PySpark
      • Работа с заданиями Spark
      • Запуск заданий Apache Hive
      • Запуск Spark-приложений
      • Запуск заданий с удаленного хоста
  • Управление доступом
  • Правила тарификации
  • Справочник Terraform
  • Метрики Monitoring
  • Аудитные логи Audit Trails
  • Публичные материалы
  • Вопросы и ответы
  • Обучающие курсы

В этой статье:

  • Перед началом работы
  • Необходимые платные ресурсы
  • Подготовьте инфраструктуру
  • Создайте задание MapReduce
  • Удалите созданные ресурсы
  1. Практические руководства
  2. Работа с заданиями
  3. Работа с заданиями MapReduce

Работа с заданиями MapReduce

Статья создана
Yandex Cloud
Обновлена 17 ноября 2026 г.
Открыть в Markdown
  • Перед началом работы
    • Необходимые платные ресурсы
  • Подготовьте инфраструктуру
  • Создайте задание MapReduce
  • Удалите созданные ресурсы

MapReduce — инструмент параллельной обработки больших (порядка нескольких десятков ТБ) наборов данных на кластерах в экосистеме Hadoop. Позволяет работать с данными в разных форматах. Ввод и вывод задания хранятся в Yandex Object Storage. MapReduce использует ряд библиотек, путь к которым определяется сборщиком Apache Bigtop.

В этой статье на простом примере показывается, как в Yandex Data Processing использовать MapReduce. При помощи MapReduce подсчитывается количество жителей 500 самых населенных городов мира из набора данных о городах.

Чтобы запустить MapReduce на Hadoop, используется интерфейс Streaming. При этом для этапов предобработки данных (map) и вычисления финальных данных (reduce) используются программы, читающие из стандартного программного ввода (stdin) и выдающие результат в стандартный вывод (stdout).

Чтобы выполнить задание MapReduce:

  1. Подготовьте инфраструктуру.
  2. Создайте задание MapReduce.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
  2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

  • Кластер Yandex Data Processing: использование вычислительных ресурсов с наценкой за сервис Yandex Data Processing, использование сетевых дисков, получение и хранение логов, объем исходящего трафика (тарифы Yandex Data Processing).
  • Публичные IP-адреса, если для хостов кластера включен публичный доступ (тарифы Yandex Virtual Private Cloud).
  • Бакеты Yandex Object Storage: использование хранилища и выполнение операций с данными (тарифы Object Storage).

Подготовьте инфраструктуруПодготовьте инфраструктуру

  1. Создайте сервисный аккаунт с ролями dataproc.agent и dataproc.provisioner. Если вы будете подключаться к кластеру по OS Login, также назначьте сервисному аккаунту роль resource-manager.auditor на каталог, в котором будет создан кластер.

  2. В Object Storage создайте бакеты и настройте доступ к ним:

    1. Создайте бакет для исходных данных и предоставьте сервисному аккаунту кластера разрешение READ для этого бакета.
    2. Создайте бакет для результатов обработки и предоставьте сервисному аккаунту кластера разрешение READ и WRITE для этого бакета.
  3. Создайте кластер Yandex Data Processing со следующими настройками:

    • Окружение — PRODUCTION.

    • Сервисы:

      • HDFS
      • MAPREDUCE
      • YARN
    • Сервисный аккаунт: выберите созданный ранее сервисный аккаунт.

    • Имя бакета: выберите бакет для результатов обработки.

Создайте задание MapReduceСоздайте задание MapReduce

  1. Скачайте и загрузите в бакет для исходных данных архив CSV-файла с набором данных о городах.

  2. Загрузите в бакет для исходных данных файлы на языке Python с кодом программ предобработки данных (этап map) mapper.py и вычисления финальных данных (этап reduce) reducer.py:

    mapper.py

    #!/usr/bin/env python3
    import sys
    
    population = sum(int(line.split('\t')[14]) for line in sys.stdin)
    print(population)
    

    reducer.py

    #!/usr/bin/env python3
    import sys
    
    population = sum(int(value) for value in sys.stdin)
    print(population)
    
  3. Создайте задание MapReduce с параметрами:

    • Основной класс: org.apache.hadoop.streaming.HadoopStreaming

    • Аргументы:

      • -mapper
      • mapper.py
      • -reducer
      • reducer.py
      • -numReduceTasks
      • 1
      • -input
      • s3a://<имя_бакета_для_исходных_данных>/cities500.txt
      • -output
      • s3a://<имя_бакета_для_результатов_обработки>/<папка_для_результатов>
    • Файлы:

      • s3a://<имя_бакета_для_исходных_данных>/mapper.py
      • s3a://<имя_бакета_для_исходных_данных>/reducer.py
    • Настройки:

      • mapreduce.job.maps: 6
      • yarn.app.mapreduce.am.resource.mb: 2048
      • yarn.app.mapreduce.am.command-opts: -Xmx2048m
  4. Подождите, пока статус задания изменится на Done.

  5. Скачайте из бакета и просмотрите файл с результатом обработки:

    part-00000

    3157107417
    

Примечание

Вы можете просматривать логи выполнения заданий и искать в них информацию с помощью сервиса Yandex Cloud Logging. Подробнее в разделе Работа с логами.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

  1. Удалите кластер.
  2. Удалите бакеты.
  3. Удалите сервисный аккаунт.

Была ли статья полезна?

Предыдущая
Работа с заданиями Hive
Следующая
Работа с заданиями PySpark
Создавайте контент и получайте гранты!Готовы написать своё руководство? Участвуйте в контент-программе и получайте гранты на работу с облачными сервисами!
Подробнее о программе
Проект Яндекса
© 2026 ТОО «Облачные Сервисы Казахстан»