Построение Data Platform на базе Yandex Cloud

Миграция данных и обновление версий СУБДМиграция данных и обновление версий СУБД

Миграция — задача, в рамках которой требуется перенести данные из одного хранилища в другое: из локальных баз в управляемые облачные, между кластерами или со сменой типа СУБД. Практические руководства в этой группе описывают сценарии переноса для MySQL®, PostgreSQL, ClickHouse®, Greenplum®, MongoDB, YDB, OpenSearch и других систем, а также обновление версий баз данных с минимальным простоем.

Репликация и потоковый захват изменений данныхРепликация и потоковый захват изменений данных

Репликация и CDC (Change Data Capture) — процессы непрерывного отслеживания изменений в источнике и их доставки в приемник в режиме реального времени. Практические руководства этой группы описывают настройку репликации между кластерами, а также захват изменений с помощью Debezium и поставку потоков данных в системы-приемники.

Загрузка и поставка данныхЗагрузка и поставка данных

Практические руководства описывают архитектурные шаблоны для построения потоков данных: от источников (внешние базы, файлы, логи, брокеры) к хранилищам и обратно. Рассмотрены сценарии потоковой передачи через YDS, доставки событий из Apache Kafka® и RabbitMQ, пакетной загрузки и сквозного трансфера с помощью Data Transfer.

Интеграция и обмен между системами хранения и обработки данныхИнтеграция и обмен между системами хранения и обработки данных

Руководства этой группы описывают двусторонний обмен данными между разнородными хранилищами и вычислительными системами: ClickHouse®, Greenplum®, PostgreSQL, YDB, OpenSearch, Object Storage и внешними СУБД через JDBC. Сценарии включают поставку данных из аналитических кластеров в реляционные базы данных, обмен между Object Storage и сервисами управляемых баз данных, а также интеграцию OpenSearch с другими хранилищами.

Аналитические вычисленияАналитические вычисления

Руководства по запуску аналитических задач: Apache Spark™, PySpark, Apache Hive™ Metastore, MapReduce. Сюда входят сценарии удаленного запуска задач, чтения и записи данных, интеграции Apache Spark™ с Apache Hive™ Metastore и DataSphere, а также загрузки данных из реляционных источников через Sqoop.

Оркестрация пайплайновОркестрация пайплайнов

Руководства по описанию автоматизации и планированию выполнения задач обработки данных с помощью Apache Airflow™. Сценарии включают автоматический запуск задач, использование Python SDK внутри DAG, совместный запуск Apache Airflow™ и Apache Spark™, а также настройку уведомлений по почте при сбоях в пайплайнах.

Хранение, архивация, жизненный цикл данныхХранение, архивация, жизненный цикл данных

Руководства по управлению жизненным циклом данных в хранилищах: гибридное хранение, шардирование, политики холодного хранения и ротации индексов в OpenSearch, настройка retention-политик, архивация данных.

Производительность и диагностикаПроизводительность и диагностика

Диагностика узких мест, профилирование и устранение проблем производительности в СУБД и сервисах обработки. Сценарии помогут быстро локализовать и исправить проблемы с нагрузкой и скоростью выполнения запросов.

Мониторинг, логи, аудит, биллингМониторинг, логи, аудит, биллинг

Руководства по обработке и анализу различных видов телеметрии: аудитных логов, логов Cloud Logging, детализированных файлов биллинга, а также настройки уведомлений из OpenSearch и работы с Jupyter Notebook в связке с Yandex Query.

Безопасность и доступыБезопасность и доступы

Сценарии настройки безопасного доступа к ресурсам платформы данных: аутентификация в OpenSearch через SAML и Keycloak, управление секретами при запуске PySpark‑задач и через Connection Manager, а также настройка DNS-peering для частной сети ClickHouse®.

Управление схемами данныхУправление схемами данных

Schema Registry — сервис для хранения и управления схемами сообщений в форматах Avro, JSON Schema и Protobuf. Сценарии включают создание и настройку управляемого Schema Registry, работу с REST API, а также интеграцию с Confluent Schema Registry для обеспечения совместимости данных в потоковой обработке.

Развертывание и настройка кластеровРазвертывание и настройка кластеров

Специализированные сценарии конфигурации и развертывания кластеров управляемых баз данных: установка веб-интерфейса Apache Kafka®, настройка веб-сервера с файлом конфигурации для работы с протоколом s3, инициализация в Yandex Data Processing через init-скрипты, использование кластера PostgreSQL для 1С, хранение PHP-сессий в кластере Yandex Managed Service for Valkey™, настройка Managed Service for ClickHouse® для Graphite, именованные запросы PXF и подключение лемматизатора к OpenSearch.