Взаимосвязь ресурсов в Data Transfer

Yandex Data Transfer помогает переносить данные между СУБД, объектными хранилищами или брокерами сообщений. Сервис позволяет сократить время на процесс миграции и минимизировать простой при переключении на новую базу данных.

Yandex Data Transfer настраивается через стандартные интерфейсы Yandex Cloud.

Сервис подходит для создания постоянной реплики базы. Перенос схемы базы данных из источника на приемник автоматизирован.

ЭндпоинтЭндпоинт

Эндпоинт — это конфигурация для подключения к сервису-источнику или приемнику данных. Кроме настроек подключения, эндпоинт может содержать информацию о том, какие данные будут участвовать в трансфере и как они должны быть обработаны в процессе переноса.

В качестве источника или приемника данных могут выступать:

Сервис	Источник	Приемник
Топик Apache Kafka® — собственный или в составе сервиса Managed Service for Apache Kafka®
Поток сообщений AWS CloudTrail
Собственная база данных BigQuery
База данных ClickHouse® — собственная или в составе сервиса Managed Service for ClickHouse®
Собственная база данных Elasticsearch
База данных Greenplum® — собственная или в составе сервиса Managed Service for Greenplum®
База данных MongoDB — собственная или в составе сервиса Managed Service for MongoDB
База данных MySQL® — собственная или в составе сервиса Managed Service for MySQL®
Собственная база данных Oracle
База данных PostgreSQL — собственная или в составе сервиса Managed Service for PostgreSQL
База данных OpenSearch — собственная или в составе сервиса Managed Service for OpenSearch
S3-совместимый бакет
Поток данных Yandex Data Streams
База данных Managed Service for YDB — в составе сервиса Managed Service for YDB
Бакет Yandex Object Storage

ТрансферТрансфер

Трансфер — это процесс переноса данных между сервисом-источником и сервисом-приемником. Он должен находиться в одном каталоге с используемыми эндпоинтами.

Если для эндпоинтов заданы подсети, то эти подсети должны быть размещены в одной зоне доступности. Иначе активация трансфера с такими эндпоинтами завершится с ошибкой.

ВоркерВоркер

Воркер — это служебный процесс, который запускает перенос данных в рамках трансфера. Для каждого воркера выделяется отдельная виртуальная машина. Можно указать, какие вычислительные ресурсы использовать для этой виртуальной машины:

• 2 виртуальных процессора (vCPU) и 4 гигабайта оперативной памяти (RAM). Эта конфигурация используется по умолчанию.
• 4 vCPU и 8 ГБ RAM.
• 8 vCPU и 16 ГБ RAM.

При параллельном копировании или параллельной репликации (для источников YDS, YDB и Apache Kafka®) пользователь выбирает количество воркеров, работающих одновременно.

Количество vCPU и объем RAM влияют на стоимость ресурсов Data Transfer. Для экономного потребления и уменьшения стоимости передачи данных рекомендуется оптимизировать загрузку воркеров, уменьшая их количество и увеличивая загрузку каждого воркера. Вы также можете изменить конфигурацию воркера в настройках трансфера для пар источник-приемник, которые тарифицируются и находятся на стадии GA.

Типы трансферовТипы трансферов

Трансферы бывают следующих типов:

• Копирование — переносит снапшот источника на приемник. Помимо однократного переноса снапшота различают типы копирования: Периодическое и Периодическое инкрементальное.
• Репликация — непрерывно получает изменения из источника и применяет их на приемнике. При этом первоначальная синхронизация данных не выполняется.
• Копирование и репликация — переносит текущее состояние источника на приемник и поддерживает его актуальность.

Подробнее о различиях между типами трансферов читайте в разделе Типы и жизненные циклы трансферов.

Совместимость источников и приемниковСовместимость источников и приемников

Доступные комбинации источников и приемников:

Приемник Источник	PostgreSQL	MySQL®	MongoDB	ClickHouse®	Greenplum®	YDB	Object Storage	Apache Kafka	Data Streams	Elasticsearch	OpenSearch	Приемник Источник
PostgreSQL	КР	КР	-	КР	КР	КР	К	КР	КР	К	К	PostgreSQL
MySQL®	КР	КР	-	КР	КР	КР	К	КР	КР	-	-	MySQL®
Oracle	КР	-	-	КР	КР	-	-	-	-	-	-	Oracle
MongoDB	-	-	КР	-	-	-	К	-	-	-	-	MongoDB
ClickHouse®	-	-	-	К	-	-	-	-	-	-	-	ClickHouse®
Greenplum®	K	-	-	К	К	-	-	-	-	-	-	Greenplum®
YDB	-	-	-	КР	-	-	К	KP	KP	-	-	YDB
Object Storage	КР	КР	-	КР	КР	КР	-	-	-	-	-	Object Storage
Metrica	-	-	-	P	-	-	-	-	-	-	-	Metrica
Data Streams	P	P	Р	P	Р	Р	P	Р	P	P	Р	Yandex Data Streams
Apache Kafka®	P	P	P	P	P	P	P	P	Р	P	Р	Apache Kafka®
Airbyte®	К	К	К	К	К	К	-	К	К	-	-	Airbyte®
Elasticsearch	К	-	-	К	К	К	К	К	К	К	К	Elasticsearch
OpenSearch	К	-	-	К	К	К	К	К	К	К	К	OpenSearch

К — Копирование
Р — Репликация
КР — Копирование и репликация

— трансфер находится на стадии GA и тарифицируется в соответствии с правилами тарификации сервиса.
Остальные трансферы находятся на стадии Preview и активируются по запросу в техническую поддержку или к вашему аккаунт-менеджеру.

Эндпоинты Airbyte®Эндпоинты Airbyte®

С помощью Airbyte® можно настроить следующие эндпоинты-источники:

• AWS CloudTrail
• BigQuery
• Microsoft SQL Server
• S3

Airbyte® уже встроен в Data Transfer, поэтому вам не нужно создавать отдельную виртуальную машину и развертывать Airbyte®.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.