Практические руководства Data Transfer

C помощью Data Transfer вы можете реализовать различные сценарии миграции данных, захвата изменений, поставок данных из очередей, загрузки в витрины, зеркалирования и загрузки данных в масштабируемое хранилище.

Миграция данныхМиграция данных

Миграция — задача, в рамках которой требуется перенести данные из одного хранилища в другое. В Data Transfer миграция часто означает перенос базы в облако из устаревших локальных баз в управляемые облачные.

• Миграция кластера PostgreSQL
• Миграция кластера MySQL®
• Миграция кластера ClickHouse®
• Миграция кластера Greenplum®
• Миграция кластера MongoDB
• Миграция кластера Yandex StoreDoc (Managed Service for MongoDB) с версии 4.4 на 6.0
• Миграция из AWS RDS for PostgreSQL
• Миграция кластера OpenSearch

Отдельной задачей миграции является зеркалирование данных между очередями.

• Зеркалирование Apache Kafka®

Синхронизация данных из стороннего кластера.

• Синхронизация данных из MySQL®

Миграция со сменой типа хранения данных.

• MySQL® в YDB
• PostgreSQL в YDB
• MySQL® в PostgreSQL
• PostgreSQL в MySQL®
• MySQL® в Greenplum®
• OpenSearch в YDB
• OpenSearch в Greenplum®
• PostgreSQL в OpenSearch
• Elasticsearch в OpenSearch

Захват изменений данныхЗахват изменений данных

Change Data Capture (СDC) — это процесс отслеживания изменений в базе данных и поставка этих изменений потребителям, поддерживающий публичный формат сериализации при записи в очередь Debezium.
СDC используется для создания приложений, которые чувствительны к изменению данных в реальном времени, обмена данными между различными сервисами, в том числе, с разным уровнем доступности, сбора и поставки данных из продакшен-окружения во внутренние хранилища данных для обработки и анализа.

• Захват изменений MySQL® и поставка в:
  • Apache Kafka®
  • YDS
• Захват изменений PostgreSQL и поставка в:
  • Apache Kafka®
  • YDS
• Захват изменений YDB и поставка в:
  • Apache Kafka®
  • YDS

Поставка данных из очередейПоставка данных из очередей

Поставка данных — процесс доставки произвольных данных в целевые хранилища. Процесс поставки включает извлечение данных из очереди и их десериализацию с последующей трансформацией данных в формат целевого хранилища.

• Apache Kafka® в ClickHouse®

• Apache Kafka® в PostgreSQL

• Apache Kafka® в Greenplum®

• Apache Kafka® в Yandex StoreDoc

• Apache Kafka® в MySQL®

• Apache Kafka® в OpenSearch

• Apache Kafka® в YDB

• Apache Kafka® в YDS

• YDS в ClickHouse®

• YDS в Object Storage

• YDS в Managed Service for YDB

• YDS в Apache Kafka®

• Ввод данных в системы хранения

Загрузка данных в витриныЗагрузка данных в витрины

Загрузка данных в витрины — процесс трансфера подготовленных данных в хранилища с целью последующей визуализации. Источники — хранилища, используемые для массивно-параллельной обработки данных. Приемники — хранилища, способные быстро отдать данные.

• Greenplum® в ClickHouse®
• MySQL® в ClickHouse®
• Яндекс Метрика в ClickHouse®
• PostgreSQL в ClickHouse®
• Greenplum® в PostgreSQL
• Яндекс Директ в ClickHouse®
• Object Storage в PostgreSQL
• Object Storage в Greenplum®
• Object Storage в MySQL®
• Object Storage в ClickHouse®
• Object Storage в YDB
• YDB в ClickHouse®
• OpenSearch в ClickHouse®

Загрузка данных в Object StorageЗагрузка данных в Object Storage

Загрузка данных в масштабируемое хранилище Object Storage позволяет удешевить хранение и облегчает обмен данных с контрагентами.

• MySQL® в Object Storage
• PostgreSQL в Object Storage
• OpenSearch в Object Storage
• YDB в Object Storage
• Репликация логов в Object Storage с помощью Data Streams
• Репликация логов в Object Storage с помощью Fluent Bit

Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками Broadcom Inc в США и/или других странах.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.