Как начать работать с Data Transfer

Копируйте или реплицируйте данные из источника в приемник, создав эндпоинты и настроив между ними трансферы.
См. полный список эндпоинтов и возможных трансферов между ними.

Перед началом работыПеред началом работы

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. Перейдите в сервис Yandex Cloud Billing и убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.
3. Перейдите в консоль Yandex Cloud и выберите каталог, в котором будете выполнять операции. Если такого каталога нет, создайте его.
4. На странице Управление доступом убедитесь, что у вас есть роль editor или выше на нужный каталог или облако, которому принадлежит этот каталог.

Если вы создаете эндпоинт управляемой базы данных для кластера, который находится в другом каталоге, вам потребуется сервисная или примитивная роль viewer, выданная на этот каталог.

Подробнее о том, какие роли нужны для пользования сервисом Data Transfer, см. в разделе Какие роли необходимы.

Настройте источник и приемникНастройте источник и приемник

В качестве источника и приемника могут выступать разные системы.

Совместимость источников и приемниковСовместимость источников и приемников

Доступные комбинации источников и приемников:

Приемник Источник	PostgreSQL	MySQL®	MongoDB	ClickHouse®	Greenplum®	YDB	Object Storage	Apache Kafka	Data Streams	Elasticsearch	OpenSearch	Приемник Источник
PostgreSQL	КР	КР	-	КР	КР	КР	К	КР	КР	К	К	PostgreSQL
MySQL®	КР	КР	-	КР	КР	КР	К	КР	КР	-	-	MySQL®
Oracle	КР	-	-	КР	КР	-	-	-	-	-	-	Oracle
MongoDB	-	-	КР	-	-	-	К	-	-	-	-	MongoDB
ClickHouse®	-	-	-	К	-	-	-	-	-	-	-	ClickHouse®
Greenplum®	K	-	-	К	К	-	-	-	-	-	-	Greenplum®
YDB	-	-	-	КР	-	-	К	KP	KP	-	-	YDB
Object Storage	КР	КР	-	КР	КР	КР	-	-	-	-	-	Object Storage
Metrica	-	-	-	P	-	-	-	-	-	-	-	Metrica
Data Streams	P	P	Р	P	Р	Р	P	Р	P	P	Р	Yandex Data Streams
Apache Kafka®	P	P	P	P	P	P	P	P	Р	P	Р	Apache Kafka®
Airbyte®	К	К	К	К	К	К	-	К	К	-	-	Airbyte®
Elasticsearch	К	-	-	К	К	К	К	К	К	К	К	Elasticsearch
OpenSearch	К	-	-	К	К	К	К	К	К	К	К	OpenSearch

К — Копирование
Р — Репликация
КР — Копирование и репликация

— трансфер находится на стадии GA и тарифицируется в соответствии с правилами тарификации сервиса.
Остальные трансферы находятся на стадии Preview и активируются по запросу в техническую поддержку или к вашему аккаунт-менеджеру.

Эндпоинты Airbyte®Эндпоинты Airbyte®

С помощью Airbyte® можно настроить следующие эндпоинты-источники:

• AWS CloudTrail
• BigQuery
• Microsoft SQL Server
• S3

Airbyte® уже встроен в Data Transfer, поэтому вам не нужно создавать отдельную виртуальную машину и развертывать Airbyte®.

Подготовка источников и приемниковПодготовка источников и приемников

Подготовьте источник к отправке данных:

• Airbyte®:

  • AWS CloudTrail
  • BigQuery
  • Microsoft SQL Server
  • S3

• Apache Kafka®

• ClickHouse®

• Elasticsearch

• Greenplum®

• MongoDB

• MySQL®

• OpenSearch

• Oracle

• PostgreSQL

• Yandex Data Streams

• Yandex Managed Service for YDB

Подготовьте приемник к получению данных:

• ClickHouse®

• Elasticsearch

• Greenplum®

• MongoDB

• MySQL®

• Object Storage

• OpenSearch

• PostgreSQL

• Managed Service for YDB

Создайте эндпоинт для источникаСоздайте эндпоинт для источника

1. Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
2. На панели слева выберите Эндпоинты.
3. Нажмите кнопку Создать эндпоинт.
4. Убедитесь, что в поле Направление указано Источник.
5. Укажите имя эндпоинта.
6. В поле Тип базы данных выберите тип СУБД, из которой вы хотите передавать данные.
7. Укажите параметры эндпоинта в соответствующем блоке настроек.
8. Нажмите кнопку Создать.

Подробнее см. в разделе Управление эндпоинтами.

Создайте эндпоинт для приемникаСоздайте эндпоинт для приемника

1. Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
2. На панели слева выберите Эндпоинты.
3. Нажмите кнопку Создать эндпоинт.
4. Убедитесь, что в поле Направление указано Приемник.
5. Укажите имя эндпоинта.
6. В поле Тип базы данных выберите тип СУБД, в которую вы хотите передавать данные.
7. Укажите параметры эндпоинта в соответствующем блоке настроек.
8. Нажмите кнопку Создать.

Подробнее см. в разделе Управление эндпоинтами.

Создайте трансферСоздайте трансфер

1. Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
2. На панели слева выберите Трансферы.
3. Нажмите кнопку Создать трансфер.
4. Укажите имя трансфера.
5. (Опционально) Добавьте описание трансфера.
6. Выберите эндпоинт для источника и эндпоинт для приемника.
7. Выберите тип трансфера:
   • Копирование — чтобы создать полную копию данных без дальнейшего получения обновлений из источника. Этот тип также можно использовать для репликации постоянно меняющихся таблиц.
     Если вам нужно создавать полную копию данных через определенные интервалы времени, включите настройку Периодическое копирование.
   • Репликация — чтобы непрерывно получать изменения данных от источника и применять их к приемнику (без создания полной копии данных источника).
   • Копирование и репликация — чтобы создать полную копию данных источника и поддерживать ее в актуальном состоянии.
8. Нажмите кнопку Создать.

Подробнее см. в разделе Типы трансферов.

Активируйте трансферАктивируйте трансфер

1. Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
2. На панели слева выберите Трансферы.
3. Нажмите значок рядом с именем нужного трансфера и выберите пункт Активировать.

Начнется процесс переноса данных.

Подробнее см. в разделе Управление трансфером.

Что дальшеЧто дальше

• Изучите концепции сервиса.
• Узнайте больше о подготовке баз данных для использования сервиса и настройке трансферов.
• Изучите роли, действующие в Data Transfer.
• Ознакомьтесь с практическими руководствами по работе с сервисом.

Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками VMware, Inc в США и/или других странах.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.