Практические руководства Data Transfer
C помощью Data Transfer вы можете реализовать различные сценарии миграции данных, захвата изменений, поставок данных из очередей, загрузки в витрины, зеркалирования и загрузки данных в масштабируемое хранилище.
Миграция данных
Миграция — задача, в рамках которой требуется перенести данные из одного хранилища в другое. В Data Transfer миграция часто означает перенос базы в облако из устаревших локальных баз в управляемые облачные.
- Миграция кластера PostgreSQL
- Миграция кластера MySQL®
- Миграция кластера ClickHouse®
- Перешардирование данных в кластере Managed Service for ClickHouse®
- Миграция кластера Greenplum®
- Миграция кластера MongoDB
- Миграция кластера MongoDB с версии 4.4 на 6.0
- Миграция из AWS RDS for PostgreSQL
- Миграция кластера OpenSearch
Отдельной задачей миграции является зеркалирование данных между очередями.
Синхронизация данных из стороннего кластера.
Миграция со сменой типа хранения данных.
- MySQL® в YDB
- PostgreSQL в YDB
- MySQL® в PostgreSQL
- PostgreSQL в MySQL®
- MySQL® в Greenplum®
- Elasticsearch в OpenSearch
- OpenSearch в YDB
- PostgreSQL в OpenSearch
Захват изменений данных
Change Data Capture (СDC) — это процесс отслеживания изменений в базе данных и поставка этих изменений потребителям, поддерживающий публичный формат сериализации при записи в очередь Debezium.
СDC используется для создания приложений, которые чувствительны к изменению данных в реальном времени, обмена данными между различными сервисами, в том числе, с разным уровнем доступности, сбора и поставки данных из продакшен-окружения во внутренние хранилища данных для обработки и анализа.
- Захват изменений MySQL® и поставка в:
- Захват изменений PostgreSQL и поставка в:
- Захват изменений YDB и поставка в:
Поставка данных из очередей
Поставка данных — процесс доставки произвольных данных в целевые хранилища. Процесс поставки включает извлечение данных из очереди и их десериализацию с последующей трансформацией данных в формат целевого хранилища.
- Apache Kafka® в ClickHouse®
- Apache Kafka® в PostgreSQL
- Apache Kafka® в Greenplum®
- Apache Kafka® в MongoDB
- Apache Kafka® в MySQL®
- Apache Kafka® в OpenSearch
- Apache Kafka® в YDB
- Apache Kafka® в YDS
- YDS в ClickHouse®
- YDS в Object Storage
- YDS в OpenSearch
- Ввод данных в системы хранения
Загрузка данных в витрины
Загрузка данных в витрины — процесс трансфера подготовленных данных в хранилища с целью последующей визуализации. Источники — хранилища, используемые для массивно-параллельной обработки данных. Приемники — хранилища, способные быстро отдать данные.
- Greenplum® в ClickHouse®
- MySQL® в ClickHouse®
- Яндекс Метрика в ClickHouse®
- PostgreSQL в ClickHouse®
- Greenplum® в PostgreSQL
- Яндекс Директ в ClickHouse®
- Object Storage в PostgreSQL
- Object Storage в Greenplum®
- Object Storage в MySQL®
- Object Storage в ClickHouse®
- Object Storage в YDB
- YDB в ClickHouse®
- OpenSearch в ClickHouse®
Загрузка данных в Object Storage
Загрузка данных в масштабируемое хранилище Object Storage позволяет удешевить хранение и облегчает обмен данных с контрагентами.
- MySQL® в Object Storage
- PostgreSQL в Object Storage
- OpenSearch в Object Storage
- YDB в Object Storage
Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками VMware, Inc в США и/или других странах.
ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc