Пошаговые инструкции для Yandex Data Proc
Статья создана
Обновлена 23 апреля 2024 г.
Кластеры Yandex Data Proc
- Информация об имеющихся кластерах
- Создание кластера
- Подключение к кластеру
- Изменение кластера
- Миграция легковесного кластера в другую зону доступности
- Удаление кластера
Подкластеры Yandex Data Proc
Сервисы Apache и другие сторонние сервисы
Delta Lake
- Настройка Delta Lake в однокластерном режиме
- Настройка Delta Lake в мультикластерном режиме
- Советы по настройке и применению Delta Lake
Задания (jobs)
- Управление заданиями
- Запуск заданий
- Управление заданиями Spark
- Управление заданиями PySpark
- Управление заданиями Hive
- Управление заданиями MapReduce
Кластеры Hive Metastore
- Создание кластера Hive Metastore
- Подключение Yandex Data Proc к Metastore
- Экспорт и импорт метаданных Hive в кластере Metastore
- Удаление кластера Hive Metastore
Логи и мониторинг
- Работа с логами
- Мониторинг состояния кластера и хостов Yandex Data Proc
- Мониторинг состояния Spark-приложений
- Диагностика и устранение проблем производительности Spark-приложений