Взаимосвязь ресурсов в Data Transfer

Yandex Data Transfer помогает переносить данные между СУБД, объектными хранилищами или брокерами сообщений. Сервис позволяет сократить время на процесс миграции и минимизировать простой при переключении на новую базу данных.

Yandex Data Transfer настраивается через стандартные интерфейсы Yandex Cloud.

Сервис подходит для создания постоянной реплики базы. Перенос схемы базы данных из источника на приемник автоматизирован.

ЭндпоинтЭндпоинт

Эндпоинт — это конфигурация для подключения к сервису-источнику или приемнику данных. Кроме настроек подключения, эндпоинт может содержать информацию о том, какие данные будут участвовать в трансфере и как они должны быть обработаны в процессе переноса.

В качестве источника или приемника данных могут выступать:

ТрансферТрансфер

Трансфер — это процесс переноса данных между сервисом-источником и сервисом-приемником. Он должен находиться в одном каталоге с используемыми эндпоинтами.

Если для эндпоинтов заданы подсети, то эти подсети должны быть размещены в одной зоне доступности. Иначе активация трансфера с такими эндпоинтами завершится с ошибкой.

ВоркерВоркер

Воркер — это служебный процесс, который запускает перенос данных в рамках трансфера. Для каждого воркера выделяется отдельная виртуальная машина. По умолчанию один воркер использует 2 виртуальных процессора (vCPU) и 4 гигабайта оперативной памяти (RAM). При параллельном копировании или параллельной репликации (для источников YDS, YDB и Apache Kafka®) пользователь выбирает количество воркеров, работающих одновременно.

Количество vCPU и объем RAM влияют на стоимость ресурсов Data Transfer. Для экономного потребления и уменьшения стоимости передачи данных рекомендуется оптимизировать загрузку воркеров, уменьшая их количество и увеличивая загрузку каждого воркера. Вы также можете изменить конфигурацию воркера в настройках трансфера для пар источник-приемник, которые тарифицируются и находятся на стадии GA.

Типы трансферовТипы трансферов

Трансферы бывают следующих типов:

• Копирование — переносит снапшот источника на приемник. Помимо однократного переноса снапшота различают типы копирования: Периодическое и Периодическое инкрементальное.
• Репликация — непрерывно получает изменения из источника и применяет их на приемнике. При этом первоначальная синхронизация данных не выполняется.
• Копирование и репликация — переносит текущее состояние источника на приемник и поддерживает его актуальность.

Подробнее о различиях между типами трансферов читайте в разделе Типы и жизненные циклы трансферов.

Совместимость источников и приемниковСовместимость источников и приемников

Доступные комбинации источников и приемников:

Приемник Источник	PostgreSQL	MySQL®	MongoDB	ClickHouse®	Greenplum®	YDB	Object Storage	Apache Kafka	Data Streams	Elasticsearch	OpenSearch	Приемник Источник
PostgreSQL	КР	КР	-	КР	КР	КР	К	КР	КР	К	К	PostgreSQL
MySQL®	КР	КР	-	КР	КР	КР	К	КР	КР	-	-	MySQL®
Oracle	КР	-	-	КР	КР	-	-	-	-	-	-	Oracle
MongoDB	-	-	КР	-	-	-	К	-	-	-	-	MongoDB
ClickHouse®	-	-	-	К	-	-	-	-	-	-	-	ClickHouse®
Greenplum®	K	-	-	К	К	-	-	-	-	-	-	Greenplum®
YDB	-	-	-	КР	-	-	К	KP	KP	-	-	YDB
Object Storage	КР	КР	-	КР	КР	КР	-	-	-	-	-	Object Storage
Metrica	-	-	-	P	-	-	-	-	-	-	-	Metrica
Data Streams	P	P	Р	P	Р	Р	P	Р	P	P	Р	Yandex Data Streams
Apache Kafka®	P	P	P	P	P	P	P	P	Р	P	Р	Apache Kafka®
Airbyte®	К	К	К	К	К	К	-	К	К	-	-	Airbyte®
Elasticsearch	К	-	-	К	К	К	К	К	К	К	К	Elasticsearch
OpenSearch	К	-	-	К	К	К	К	К	К	К	К	OpenSearch

К — Копирование
Р — Репликация
КР — Копирование и репликация

— трансфер находится на стадии GA и тарифицируется в соответствии с правилами тарификации сервиса.
Остальные трансферы находятся на стадии Preview и активируются по запросу в техническую поддержку или к вашему аккаунт-менеджеру.

Эндпоинты Airbyte®Эндпоинты Airbyte®

С помощью Airbyte® можно настроить следующие эндпоинты-источники:

• AWS CloudTrail
• BigQuery
• Microsoft SQL Server
• S3

Airbyte® уже встроен в Data Transfer, поэтому вам не нужно создавать отдельную виртуальную машину и развертывать Airbyte®.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.