Как начать работать с Data Transfer

Копируйте или реплицируйте данные из источника в приемник, создав эндпоинты и настроив между ними трансферы.
См. полный список эндпоинтов и возможных трансферов между ними.

Перед началом работыПеред началом работы

1. Перейдите в консоль Yandex Cloud и выберите каталог, в котором будете выполнять операции. Если такого каталога нет, создайте его:

   Консоль управления

   CLI

   API

   1. В консоли управления в списке слева выберите нужное облако.

   2. Справа сверху нажмите кнопку Создать каталог.

   3. Введите имя каталога. Требования к имени:

      • длина — от 3 до 63 символов;
      • может содержать строчные буквы латинского алфавита, цифры и дефисы;
      • первый символ — буква, последний — не дефис.

   4. (Опционально) Введите описание каталога.

   5. Выберите опцию Создать сеть по умолчанию. Будет создана сеть с подсетями в каждой зоне доступности. Также в этой сети будет создана группа безопасности по умолчанию, внутри которой весь сетевой трафик разрешен.

   6. Нажмите кнопку Создать.

   Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

   1. Посмотрите описание команды создания каталога:

      yc resource-manager folder create --help
      

   2. Создайте новый каталог:

      • с именем и без описания:

        yc resource-manager folder create \
          --name new-folder
        

        Требования к имени каталога:

        • длина — от 3 до 63 символов;
        • может содержать строчные буквы латинского алфавита, цифры и дефисы;
        • первый символ — буква, последний — не дефис.

      • с именем и описанием:

        yc resource-manager folder create \
          --name new-folder \
          --description "my first folder with description"
        

   Воспользуйтесь методом create для ресурса Folder сервиса Yandex Resource Manager.

2. Перейдите в сервис Yandex Cloud Billing и убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его.

3. На странице Управление доступом убедитесь, что у вас есть роль editor или выше на нужный каталог или облако, которому принадлежит этот каталог.

Настройте источник и приемникНастройте источник и приемник

В качестве источника и приемника могут выступать разные системы.

Совместимость источников и приемниковСовместимость источников и приемников

Доступные комбинации источников и приемников:

Приемник Источник	PostgreSQL	MySQL®	MongoDB	ClickHouse®	Greenplum®	YDB	Object Storage	Apache Kafka	Data Streams	Elasticsearch	OpenSearch	Приемник Источник
PostgreSQL	КР	КР	-	КР	КР	КР	К	КР	КР	К	К	PostgreSQL
MySQL®	КР	КР	-	КР	КР	КР	К	КР	КР	-	-	MySQL®
Oracle	КР	-	-	КР	КР	-	-	-	-	-	-	Oracle
MongoDB	-	-	КР	-	-	-	К	-	-	-	-	MongoDB
ClickHouse®	-	-	-	К	-	-	-	-	-	-	-	ClickHouse®
Greenplum®	K	-	-	К	К	-	-	-	-	-	-	Greenplum®
YDB	-	-	-	КР	-	-	К	KP	KP	-	-	YDB
Object Storage	КР	КР	-	КР	КР	КР	-	-	-	-	-	Object Storage
Metrica	-	-	-	P	-	-	-	-	-	-	-	Metrica
Data Streams	P	P	Р	P	Р	Р	P	Р	P	P	Р	Yandex Data Streams
Apache Kafka®	P	P	P	P	P	P	P	P	Р	P	Р	Apache Kafka®
Airbyte®	К	К	К	К	К	К	-	К	К	-	-	Airbyte®
Elasticsearch	К	-	-	К	К	К	К	К	К	К	К	Elasticsearch
OpenSearch	К	-	-	К	К	К	К	К	К	К	К	OpenSearch

К — Копирование
Р — Репликация
КР — Копирование и репликация

— трансфер находится на стадии GA и тарифицируется в соответствии с правилами тарификации сервиса.
Остальные трансферы находятся на стадии Preview и активируются по запросу в техническую поддержку или к вашему аккаунт-менеджеру.

Эндпоинты Airbyte®Эндпоинты Airbyte®

С помощью Airbyte® можно настроить следующие эндпоинты-источники:

• AWS CloudTrail
• BigQuery
• Microsoft SQL Server
• S3

Airbyte® уже встроен в Data Transfer, поэтому вам не нужно создавать отдельную виртуальную машину и развертывать Airbyte®.

Подготовка источников и приемниковПодготовка источников и приемников

Подготовьте источник к отправке данных:

• Airbyte®:
  • AWS CloudTrail
  • BigQuery
  • Microsoft SQL Server
  • S3
• Apache Kafka®
• ClickHouse®
• Greenplum®
• MongoDB
• MySQL®
• PostgreSQL
• Yandex Data Streams

Подготовьте приемник к получению данных:

• ClickHouse®

• Greenplum®

• MongoDB

• MySQL®

• Object Storage

• PostgreSQL

• Yandex Managed Service for YDB

Создайте эндпоинт для источникаСоздайте эндпоинт для источника

1. Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
2. На панели слева выберите Эндпоинты.
3. Нажмите кнопку Создать эндпоинт.
4. Убедитесь, что в поле Направление указано Источник.
5. Укажите имя эндпоинта.
6. В поле Тип базы данных выберите тип СУБД, из которой вы хотите передавать данные.
7. Укажите параметры эндпоинта в соответствующем блоке настроек.
8. Нажмите кнопку Создать.

Подробнее см. в разделе Управление эндпоинтами.

Создайте эндпоинт для приемникаСоздайте эндпоинт для приемника

1. Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
2. На панели слева выберите Эндпоинты.
3. Нажмите кнопку Создать эндпоинт.
4. Убедитесь, что в поле Направление указано Приемник.
5. Укажите имя эндпоинта.
6. В поле Тип базы данных выберите тип СУБД, в которую вы хотите передавать данные.
7. Укажите параметры эндпоинта в соответствующем блоке настроек.
8. Нажмите кнопку Создать.

Подробнее см. в разделе Управление эндпоинтами.

Создайте трансферСоздайте трансфер

1. Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
2. На панели слева выберите Трансферы.
3. Нажмите кнопку Создать трансфер.
4. Выберите эндпоинт для источника и эндпоинт для приемника.
5. Укажите имя трансфера.
6. Выберите тип трансфера:
   • Копирование — чтобы создать полную копию данных без дальнейшего получения обновлений из источника. Этот тип также можно использовать для репликации постоянно меняющихся таблиц.
   • Периодическое копирование — чтобы создавать полную копию данных через определенные интервалы времени.
   • Репликация — чтобы непрерывно получать изменения данных от источника и применять их к приемнику (без создания полной копии данных источника).
   • Копирование и репликация — чтобы создать полную копию данных источника и поддерживать ее в актуальном состоянии.
7. (Опционально) Добавьте описание трансфера.
8. Нажмите кнопку Создать.

Подробнее см. в разделе Типы трансферов.

Активируйте трансферАктивируйте трансфер

1. Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
2. На панели слева выберите Трансферы.
3. Нажмите значок рядом с именем нужного трансфера и выберите пункт Активировать.

Начнется процесс переноса данных.

Подробнее см. в разделе Управление трансфером.

Что дальшеЧто дальше

• Изучите концепции сервиса.
• Узнайте больше о подготовке баз данных для использования сервиса и настройке трансферов.
• Ознакомьтесь с практическими руководствами по работе с сервисом.

Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками VMware, Inc в США и/или других странах.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.