Практические руководства Yandex Data Processing
Статья создана
Обновлена 16 декабря 2024 г.
Сетевые настройки и обслуживание кластера
- Настройка сети для Yandex Data Processing
- Миграция кластера Yandex Data Processing с файловой системой HDFS в другую зону доступности
- Переключение сетевого соединения при пересоздании кластера Yandex Data Processing
Работа с заданиями
Базовые примеры работы с заданиями
- Работа с заданиями Hive
- Работа с заданиями MapReduce
- Работа с заданиями PySpark
- Работа с заданиями Spark
Продвинутые примеры работы с заданиями
- Запуск заданий Apache Hive
- Запуск и управление приложениями для Spark и PySpark
- Запуск заданий с удаленных хостов, не входящих в кластер Yandex Data Processing
Интеграция Yandex Data Processing с другими сервисами
- Использование Yandex Object Storage в Yandex Data Processing
- Импорт данных из Yandex Object Storage, обработка и экспорт в Yandex Managed Service for ClickHouse®
- Монтирование бакетов Yandex Object Storage к файловой системе хостов Yandex Data Processing
- Совместная работа с таблицами с использованием Metastore
- Перенос метаданных между кластерами Yandex Data Processing с помощью Metastore
- Обмен данными с Yandex Managed Service for ClickHouse®
- Импорт данных из кластера Yandex Managed Service for MySQL® с помощью Sqoop
- Импорт данных из кластера Yandex Managed Service for PostgreSQL с помощью Sqoop
- Интеграция с сервисом Yandex DataSphere
- Работа с топиками Apache Kafka® с помощью PySpark-заданий в Yandex Data Processing
- Автоматизация работы с помощью Yandex Managed Service for Apache Airflow™