Yandex Cloud
КейсыДокументация
ПрезентацияСвязаться с намиНачать бесплатно
Создавайте контент и получайте гранты!Готовы написать своё руководство? Участвуйте в контент-программе и получайте гранты на работу с облачными сервисами!
Подробнее о программе
Сделано на Gravity UI
Проект Яндекса
© 2026 ООО «Яндекс.Облако»
Yandex Data Processing
  • Начало работы
    • Все руководства
      • Обзор
      • Работа с заданиями Hive
      • Работа с заданиями MapReduce
      • Работа с заданиями PySpark
      • Работа с заданиями Spark
      • Запуск заданий Apache Hive
      • Запуск Spark-приложений
      • Запуск заданий с удаленного хоста
  • Управление доступом
  • Правила тарификации
  • Справочник Terraform
  • Метрики Monitoring
  • Аудитные логи Audit Trails
  • Публичные материалы
  • Вопросы и ответы
  • Обучающие курсы

В этой статье:

  • Перед началом работы
  • Необходимые платные ресурсы
  • Подготовьте инфраструктуру
  • Создайте задание Hive
  • Удалите созданные ресурсы
  1. Практические руководства
  2. Работа с заданиями
  3. Работа с заданиями Hive

Работа с заданиями Hive

Статья создана
Yandex Cloud
Обновлена 17 ноября 2026 г.
Открыть в Markdown
  • Перед началом работы
    • Необходимые платные ресурсы
  • Подготовьте инфраструктуру
  • Создайте задание Hive
  • Удалите созданные ресурсы

Apache Hive — это система управления большими распределенными наборами данных на основе платформы Hadoop, использующая язык запросов SQL.

В этой статье на простом примере показывается, как в Yandex Data Processing использовать Hive для анализа данных. При помощи Hive в приведенном примере анализируется численность населения крупнейших городов России.

Чтобы выполнить задание Hive:

  1. Подготовьте инфраструктуру.
  2. Создайте задание Hive.

Если созданные ресурсы вам больше не нужны, удалите их.

Примечание

Для выполнения руководства используйте образ Yandex Data Processing версии 2.0. Этот образ имеет статус deprecated, но создание кластеров с ним доступно. В образах 2.1 и 2.2 компонент Hive недоступен.

Перед началом работыПеред началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
  2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

  • Кластер Yandex Data Processing: использование вычислительных ресурсов с наценкой за сервис Yandex Data Processing, использование сетевых дисков, получение и хранение логов, объем исходящего трафика (тарифы Yandex Data Processing).
  • Публичные IP-адреса, если для хостов кластера включен публичный доступ (тарифы Yandex Virtual Private Cloud).
  • Бакеты Yandex Object Storage: использование хранилища и выполнение операций с данными (тарифы Object Storage).

Подготовьте инфраструктуруПодготовьте инфраструктуру

  1. Создайте сервисный аккаунт с ролями dataproc.agent и dataproc.provisioner. Если вы будете подключаться к кластеру по OS Login, также назначьте сервисному аккаунту роль resource-manager.auditor на каталог, в котором будет создан кластер.

  2. В Object Storage создайте бакеты и настройте доступ к ним:

    1. Создайте бакет для исходных данных и предоставьте сервисному аккаунту кластера разрешение READ для этого бакета.
    2. Создайте бакет для результатов обработки и предоставьте сервисному аккаунту кластера разрешение READ и WRITE для этого бакета.
  3. Создайте кластер Yandex Data Processing с образом версии 2.0 и следующими настройками:

    • Окружение — PRODUCTION.

    • Сервисы:

      • HDFS
      • SPARK
      • HIVE
    • Сервисный аккаунт: выберите созданный ранее сервисный аккаунт.

    • Имя бакета: выберите бакет для результатов обработки.

Создайте задание HiveСоздайте задание Hive

  1. В бакете для исходных данных создайте папку cities и загрузите в нее файл для обработки cities.csv:

    cities.csv
    Moscow,12655000
    Saint Petersburg,5384000
    Novosibirsk,1620000
    Yekaterinburg,1495000
    Kazan,1257000
    Nizhny Novgorod,1244000
    Chelyabinsk,1188000
    Samara,1145000
    Omsk,1140000
    Rostov-on-Don,1138000
    Ufa,1126000
    Krasnoyarsk,1093000
    Voronezh,1051000
    Perm,1049000
    Volgograd,1005000
    

    В файле показана численность населения крупнейших городов России, с населением более одного миллиона человек, по оценке на 2021 год (округленно).

  2. Создайте и загрузите в бакет для исходных данных файл c SQL-запросами cities.sql:

    cities.sql
    /* Создать внешнюю таблицу с данными, которые содержатся в CSV-файлах: */
    CREATE EXTERNAL TABLE IF NOT EXISTS cities
    (city_name string, population decimal)
    ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
    STORED AS TEXTFILE
    LOCATION 's3a://<бакет_для_исходных_данных>/cities';
    
    /* Показать количество городов и суммарную численность населения в них: */
    SELECT COUNT(*) num_cities, SUM(population) sum_population FROM cities;
    
    /* Показать минимальную и максимальную численность населения: */
    SELECT MIN(population) min_population, MAX(population) max_population FROM cities;
    
  3. Создайте задание Hive с параметрами:

    • Драйвер: Файл
    • Файл с запросами: s3a://<имя_бакета_для_исходных_данных>/cities.sql
  4. Подождите, пока статус задания изменится на Done.

  5. Откройте логи задания и просмотрите результаты обработки:

    Логи
    ...
    OK
    15  33590000
    Time taken: 21.104 seconds, Fetched: 1 row(s)
    ...
    OK
    1005000 12655000
    Time taken: 3.393 seconds, Fetched: 1 row(s)
    

Примечание

Вы можете просматривать логи выполнения заданий и искать в них информацию с помощью сервиса Yandex Cloud Logging. Подробнее в разделе Работа с логами.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

  1. Удалите кластер.
  2. Удалите бакеты.
  3. Удалите сервисный аккаунт.

Была ли статья полезна?

Предыдущая
Обзор
Следующая
Работа с заданиями MapReduce
Создавайте контент и получайте гранты!Готовы написать своё руководство? Участвуйте в контент-программе и получайте гранты на работу с облачными сервисами!
Подробнее о программе
Сделано на Gravity UI
Проект Яндекса
© 2026 ООО «Яндекс.Облако»