Построение Data Platform на базе Yandex Cloud
Статья создана
Обновлена 13 ноября 2025 г.
Apache Kafka®
- Самостоятельное развертывание веб-интерфейса Apache Kafka®
- Обновление кластера Managed Service for Apache Kafka® с ZooKeeper на кластер с поддержкой KRaft
- Миграция базы данных из стороннего кластера Apache Kafka® в Yandex Managed Service for Apache Kafka®
- Перенос данных между кластерами Managed Service for Apache Kafka® с помощью Data Transfer
- Поставка данных из Yandex Managed Service for MySQL® в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for MySQL® в Yandex Managed Service for Apache Kafka® с помощью Debezium
- Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Debezium
- Поставка данных из Yandex Managed Service for YDB в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for ClickHouse® с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex MPP Analytics for PostgreSQL с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex StoreDoc с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for MySQL® с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for OpenSearch с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for PostgreSQL с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for YDB с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Data Streams с помощью Yandex Data Transfer
- Поставка данных из очереди Data Streams в Managed Service for Apache Kafka® с помощью Yandex Data Transfer
- Настройка Kafka Connect для работы с кластером Yandex Managed Service for Apache Kafka®
- Синхронизация данных из топиков Apache Kafka® в бакет Object Storage без использования интернета
- Использование реестра схем форматов данных с Yandex Managed Service for Apache Kafka®:
- Управление схемами данных в Managed Service for Apache Kafka®
- Использование Managed Schema Registry с Yandex Managed Service for Apache Kafka®
- Использование Managed Schema Registry с Yandex Managed Service for Apache Kafka® с помощью REST API
- Использование Confluent Schema Registry с Yandex Managed Service for Apache Kafka®
- Отслеживание потери сообщений в топике Apache Kafka®
Apache Airflow™
- Автоматизация задач Yandex Query с помощью Yandex Managed Service for Apache Airflow™
- Отправка запросов к API Yandex Cloud через Yandex Cloud Python SDK
- Настройка SMTP-сервера для отправки уведомлений по электронной почте
- Запуск PySpark-задания с помощью Yandex Managed Service for Apache Airflow™
ClickHouse®
- Добавление данных в ClickHouse®
- Миграция данных в Managed Service for ClickHouse® средствами ClickHouse®
- Миграция данных в Yandex Managed Service for ClickHouse® при помощи Yandex Data Transfer
- Миграция базы данных из MySQL® в ClickHouse® с помощью Yandex Data Transfer
- Асинхронная репликация данных из PostgreSQL в ClickHouse®
- Обмен данными между Yandex Managed Service for ClickHouse® и Yandex Data Processing
- Настройка Yandex Managed Service for ClickHouse® для Graphite
- Получение данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for ClickHouse®
- Поставка данных в ksqlDB
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for ClickHouse® с помощью Yandex Data Transfer
- Получение данных из RabbitMQ в Yandex Managed Service for ClickHouse®
- Сохранение потока данных Yandex Data Streams в Yandex Managed Service for ClickHouse®
- Использование гибридного хранилища в Yandex Managed Service for ClickHouse®
- Шардирование таблиц Yandex Managed Service for ClickHouse®
- Загрузка данных из Яндекс Директ в витрину Yandex Managed Service for ClickHouse® с использованием Yandex Cloud Functions, Yandex Object Storage и Yandex Data Transfer
- Загрузка данных из Yandex Object Storage в Yandex Managed Service for ClickHouse® с помощью Yandex Data Transfer
- Копирование данных из Managed Service for OpenSearch в Managed Service for ClickHouse® с помощью Yandex Data Transfer
- Загрузка данных из Yandex Managed Service for YDB в Yandex Managed Service for ClickHouse® с помощью Yandex Data Transfer
- Миграция базы данных из Google BigQuery в Yandex Managed Service for ClickHouse®
- Интеграция Yandex Managed Service for ClickHouse® с внешней базой данных Microsoft SQL Server через ClickHouse® JDBC Bridge
- Интеграция Yandex Managed Service for ClickHouse® с Oracle через ClickHouse® JDBC Bridge
Greenplum®
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex MPP Analytics for PostgreSQL с помощью Yandex Data Transfer
- Миграция данных из Yandex Managed Service for MySQL® в Yandex MPP Analytics for PostgreSQL с помощью Yandex Data Transfer
- Миграция базы данных из Greenplum® в ClickHouse®
- Миграция базы данных из Greenplum® в PostgreSQL
- Выгрузка данных Greenplum® в холодное хранилище Yandex Object Storage
- Загрузка данных из Yandex Object Storage в Yandex MPP Analytics for PostgreSQL с помощью Yandex Data Transfer
- Копирование данных из Managed Service for OpenSearch в Yandex MPP Analytics for PostgreSQL с помощью Yandex Data Transfer
- Создание внешней таблицы на базе таблицы из бакета Yandex Object Storage с помощью конфигурационного файла
- Получение данных из внешних источников с помощью именованных запросов
MongoDB/Yandex StoreDoc
- Перенос коллекций из MongoDB в Yandex StoreDoc
- Миграция данных в Yandex StoreDoc
- Миграция кластера Yandex StoreDoc с версии 4.4 на 6.0 c помощью Yandex Data Transfer
- Шардирование коллекций Yandex StoreDoc
- Анализ производительности и оптимизация MongoDB
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex StoreDoc с помощью Yandex Data Transfer
MySQL®
- Миграция базы данных из стороннего кластера MySQL® в кластер Yandex Managed Service for MySQL®
- Анализ производительности и оптимизация Managed Service for MySQL®
- Синхронизация данных из стороннего кластера MySQL® в Yandex Managed Service for MySQL® с помощью Yandex Data Transfer
- Миграция базы данных из Yandex Managed Service for MySQL® в сторонний кластер MySQL®
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for MySQL® с помощью Yandex Data Transfer
- Миграция базы данных из MySQL® в ClickHouse® с помощью Yandex Data Transfer
- Миграция базы данных из Yandex Managed Service for MySQL® в Yandex Object Storage
- Миграция данных из Yandex Object Storage в Yandex Managed Service for MySQL® с помощью Yandex Data Transfer
- Захват изменений MySQL® и поставка в YDS
- Миграция данных из Managed Service for MySQL® в Managed Service for PostgreSQL с помощью Data Transfer
- Миграция данных из Yandex Managed Service for MySQL® в Yandex MPP Analytics for PostgreSQL с помощью Yandex Data Transfer
- Импорт данных из Yandex Managed Service for MySQL® в Yandex Data Processing с помощью Sqoop
- Поставка данных из Yandex Managed Service for MySQL® в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for MySQL® в Yandex Managed Service for Apache Kafka® с помощью Debezium
- Миграция базы данных из Yandex Managed Service for MySQL® в Yandex Managed Service for YDB с помощью Yandex Data Transfer
OpenSearch
- Настройка политики индексов в Yandex Managed Service for OpenSearch
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for OpenSearch с помощью Yandex Data Transfer
- Миграция данных в Yandex Managed Service for OpenSearch из стороннего кластера OpenSearch с помощью Yandex Data Transfer
- Загрузка данных из Yandex Managed Service for OpenSearch в Yandex Object Storage с помощью Yandex Data Transfer
- Миграция данных из Yandex Managed Service for OpenSearch в Yandex Managed Service for YDB с помощью Yandex Data Transfer
- Копирование данных из Managed Service for OpenSearch в Yandex MPP Analytics for PostgreSQL с помощью Yandex Data Transfer
- Копирование данных из Managed Service for OpenSearch в Managed Service for ClickHouse® с помощью Yandex Data Transfer
- Миграция данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for OpenSearch с помощью Yandex Data Transfer
- Аутентификация в OpenSearch Dashboards кластера Yandex Managed Service for OpenSearch с помощью Keycloak
- Использование плагина yandex-lemmer в Yandex Managed Service for OpenSearch
PostgreSQL
- Создание кластера PostgreSQL для «1С:Предприятия»
- Поиск проблем с производительностью кластера Managed Service for PostgreSQL
- Анализ производительности и оптимизация Managed Service for PostgreSQL
- Логическая репликация PostgreSQL
- Миграция базы данных из стороннего кластера PostgreSQL в Managed Service for PostgreSQL
- Миграция базы данных из Managed Service for PostgreSQL
- Асинхронная репликация данных из PostgreSQL в ClickHouse®
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for PostgreSQL с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Debezium
- Импорт данных из Yandex Managed Service for PostgreSQL в Yandex Data Processing с помощью Sqoop
- Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for YDB с помощью Yandex Data Transfer
- Миграция базы данных из Managed Service for PostgreSQL в Object Storage
- Перенос данных из Yandex Object Storage в Yandex Managed Service for PostgreSQL с использованием Yandex Data Transfer
- Миграция данных из Managed Service for PostgreSQL в Managed Service for MySQL® с помощью Data Transfer
- Захват изменений PostgreSQL и поставка в YDS
- Миграция данных из AWS RDS for PostgreSQL в Yandex Managed Service for PostgreSQL с помощью Yandex Data Transfer
- Миграция данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for OpenSearch с помощью Yandex Data Transfer
- Решение проблем с сортировкой строк в PostgreSQL после обновления glibc
Valkey™
- Миграция базы данных из стороннего кластера Valkey™ в Yandex Managed Service for Valkey™
- Использование кластера Yandex Managed Service for Valkey™ в качестве хранилища сессий PHP
YDB
- Поставка данных из Yandex Managed Service for YDB в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for YDB с помощью Yandex Data Transfer
- Миграция базы данных из Yandex Managed Service for MySQL® в Yandex Managed Service for YDB с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for YDB с помощью Yandex Data Transfer
- Загрузка данных из Yandex Object Storage в Yandex Managed Service for YDB с помощью Yandex Data Transfer
- Загрузка данных из Yandex Managed Service for YDB в Yandex Object Storage с помощью Yandex Data Transfer
- Загрузка данных из Yandex Managed Service for YDB в Yandex Managed Service for ClickHouse® с помощью Yandex Data Transfer
- Миграция данных из Yandex Managed Service for OpenSearch в Yandex Managed Service for YDB с помощью Yandex Data Transfer
- Поставка данных из очереди Data Streams в Managed Service for YDB с помощью Yandex Data Transfer
- Захват изменений Yandex Managed Service for YDB и поставка в Yandex Data Streams
Yandex Cloud DNS
Yandex Data Processing
- Миграция кластера Yandex Data Processing с файловой системой HDFS в другую зону доступности
- Обмен данными между Yandex Managed Service for ClickHouse® и Yandex Data Processing
- Импорт данных из Yandex Managed Service for MySQL® в Yandex Data Processing с помощью Sqoop
- Импорт данных из Yandex Managed Service for PostgreSQL в Yandex Data Processing с помощью Sqoop
- Монтирование бакетов Yandex Object Storage к файловой системе хостов Yandex Data Processing
- Работа с топиками Apache Kafka® с помощью PySpark-заданий в Yandex Data Processing
- Автоматизация работы с Yandex Data Processing с помощью Yandex Managed Service for Apache Airflow™
- Совместная работа с таблицами Yandex Data Processing с использованием Apache Hive™ Metastore
- Перенос метаданных между кластерами Yandex Data Processing с помощью Apache Hive™ Metastore
- Импорт данных из Yandex Object Storage, обработка и экспорт в Yandex Managed Service for ClickHouse®
Базовые примеры работы с заданиями
- Работа с заданиями Hive
- Работа с заданиями MapReduce
- Работа с заданиями PySpark
- Работа с заданиями Spark
Продвинутые примеры работы с заданиями
- Запуск заданий Apache Hive
- Запуск и управление приложениями для Spark и PySpark
- Запуск заданий с удаленных хостов, не входящих в кластер Yandex Data Processing
Yandex Query
- Обработка аудитных логов Yandex Audit Trails
- Обработка логов Yandex Cloud Logging
- Обработка потока изменений Debezium
- Анализ данных с помощью Jupyter
- Обработка файлов детализации в сервисе Yandex Cloud Billing
Yandex Data Streams
- Ввод данных в системы хранения
- Умная обработка логов
- Передача данных в микросервисных архитектурах
- Миграция данных в Yandex Object Storage с помощью Yandex Data Transfer
Yandex Data Transfer
- Миграция данных из стороннего кластера Greenplum® или PostgreSQL в Yandex MPP Analytics for PostgreSQL с помощью Yandex Data Transfer
- Миграция кластера MongoDB
- Миграция кластера MySQL®
- Миграция на сторонний кластер MySQL®
- Миграция кластера PostgreSQL
- Создание реестра схем для поставки данных в формате Debezium CDC из Apache Kafka®
Yandex Managed Service for Apache Spark™
- Автоматизация работы с помощью Yandex Managed Service for Apache Airflow™
- Работа с таблицей в Object Storage из PySpark-задания с использованием Apache Hive™ Metastore и Apache Iceberg™
- Интеграция Yandex Managed Service for Apache Spark™ и Apache Hive™ Metastore
- Запуск PySpark-задания с помощью Yandex Managed Service for Apache Airflow™
- Использование Yandex Object Storage в сервисе Yandex Managed Service for Apache Spark™
ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.