Мониторинг состояния Spark-приложений

Чтобы оценить работу Spark-приложений в кластере Yandex Data Processing, вы можете проверить:

• список приложений;
• логи приложения;
• очередь выполнения приложений;
• подробную информацию о приложении;
• выделенные для приложения ресурсы;
• кешируемые таблицы;
• список и планы SQL-запросов.

Проверить список приложенийПроверить список приложений

1. Перейдите на страницу каталога и выберите сервис Yandex Data Processing.
2. Нажмите на имя нужного кластера.
3. В блоке UI Proxy выберите интерфейс YARN Resource Manager Web UI.

Здесь представлена информация обо всех работающих и завершенных приложениях.

Проверить логи приложенияПроверить логи приложения

1. Перейдите на страницу каталога и выберите сервис Yandex Data Processing.

2. Нажмите на имя нужного кластера.

3. В блоке UI Proxy выберите интерфейс YARN Resource Manager Web UI.

4. Найдите нужное приложение и нажмите на его идентификатор в столбце ID.

   Откроется окно с информацией о работе приложения и таблицей со списком попыток запуска приложения.

5. Нажмите на ссылку в столбце Logs напротив нужной попытки.

Проверить очередь выполнения приложенийПроверить очередь выполнения приложений

1. Перейдите на страницу каталога и выберите сервис Yandex Data Processing.
2. Нажмите на имя нужного кластера.
3. В блоке UI Proxy выберите интерфейс YARN Resource Manager Web UI.
4. В левом меню перейдите в раздел Scheduler.

В разделе Application Queues графически представлена очередь выполнения приложений и занимаемые ими ресурсы.

Проверить подробную информацию о приложенииПроверить подробную информацию о приложении

Откроется окно интерфейса Spark History Server Web UI с подробной информацией о выбранном приложении:

• Event Timeline — история выполнения заданий с отметками о выделении и освобождении исполнителей (executors).
• Active Jobs — список заданий, которые выполняются, либо ожидают начала выполнения.
• Completed Jobs — список завершенных заданий.

Для каждого задания в таблице указаны:

• время запуска (Submitted);
• продолжительность выполнения (Duration);
• количество стадий — завершенных/всего (Stages: Succeeded/Total);
• количество операций — завершенных/всего (Tasks: Succeeded/Total).

Проверить выделенные для приложения ресурсыПроверить выделенные для приложения ресурсы

1. Перейдите на страницу каталога и выберите сервис Yandex Data Processing.
2. Нажмите на имя нужного кластера.
3. В блоке UI Proxy выберите интерфейс Spark History Server Web UI.
4. В верхнем меню перейдите в раздел Executors.

В интерфейсе представлено две таблицы:

• Summary — обобщенная информация о количестве и состоянии исполнителей и используемых ресурсах.
• Executors — информация по каждому исполнителю.

В таблицах приведено:

• количество доступных для каждого исполнителя ресурсов;
• количество выполняемых и завершенных операций (tasks);
• продолжительность выполнения задачи (Task Time) с указанием времени, затраченного на сборку мусора (GC Time).

Проверить кешируемые таблицыПроверить кешируемые таблицы

1. Перейдите на страницу каталога и выберите сервис Yandex Data Processing.
2. Нажмите на имя нужного кластера.
3. В блоке UI Proxy выберите интерфейс Spark History Server Web UI.
4. В верхнем меню перейдите в раздел Storage.

В интерфейсе представлен список кешируемых таблиц (RDDs). Для каждой таблицы приведена информация об используемой оперативной памяти и занимаемом дисковом пространстве, а также прогресс кеширования.

Чтобы посмотреть детальную статистику, нажмите на имя таблицы.

Проверить список и планы SQL-запросовПроверить список и планы SQL-запросов

1. Перейдите на страницу каталога и выберите сервис Yandex Data Processing.
2. Нажмите на имя нужного кластера.
3. В блоке UI Proxy выберите интерфейс Spark History Server Web UI.
4. В верхнем меню перейдите в раздел SQL.

В таблице представлен список выполненных SQL-запросов с информацией о времени запуска и продолжительности их выполнения.

Чтобы получить план выполнения запроса, нажмите на текст запроса в столбце Description. План выполнения представлен в виде схемы. Чтобы увидеть текстовый вариант плана, нажмите Details в нижней части рисунка.

На плане запроса приведена статистика для каждого оператора, которая отражает количество завершенных операций (tasks) и продолжительность их выполнения. Если запрос еще выполняется, отобразится статистика на текущий момент.