Связаться с намиПодключиться

Как начать работать с Data Transfer

Статья создана
Улучшена
Обновлена 18 апреля 2025 г.

Копируйте или реплицируйте данные из источника в приемник, создав эндпоинты и настроив между ними трансферы.
См. полный список эндпоинтов и возможных трансферов между ними.

Перед началом работы

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.

  2. Перейдите в сервис Yandex Cloud Billing и убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

  3. Перейдите в консоль Yandex Cloud и выберите каталог, в котором будете выполнять операции. Если такого каталога нет, создайте его.

  4. На странице Управление доступом убедитесь, что у вас есть роль editor или выше на нужный каталог или облако, которому принадлежит этот каталог.

Если вы создаете эндпоинт управляемой базы данных для кластера, который находится в другом каталоге, вам потребуется сервисная или примитивная роль viewer, выданная на этот каталог.

Примечание

При создании эндпоинта выбрать кластер, который находится в другом каталоге, можно только в CLI Yandex Cloud, Terraform или API.

Подробнее о том, какие роли нужны для пользования сервисом Data Transfer, см. в разделе Какие роли необходимы.

Для работы с сервисом в консоли управления перейдите на страницу каталога и выберите сервис Data Transfer.

Настройте источник и приемник

В качестве источника и приемника могут выступать разные системы.

Проверьте совместимость источников и приемников

Доступные комбинации источников и приемников:


Приемник
Источник
PostgreSQL
MySQL®
MongoDB
ClickHouse®
Greenplum®
YDB
Object Storage
Apache Kafka
Data Streams
Elasticsearch
OpenSearch
Приемник
Источник

PostgreSQL		 КР
 КР - КР
 КР КР К КР
 КР К К
PostgreSQL

MySQL®		 КР КР
 - КР
 КР КР К КР
 КР - -
MySQL®

Oracle		 КР - - КР КР - - - - - -
Oracle

MongoDB		 - - КР
 - - - К - - - -
MongoDB

ClickHouse®		 - - - К
 - - - - - - -
ClickHouse®

Greenplum®		 K - - К
 К - - - - - -
Greenplum®

YDB		 - - - КР - - К KP KP - -
YDB

Object Storage		 КР КР - КР КР КР - - - - -
Object Storage
metrica
Metrica		 - - - P - - - - - - - metrica
Metrica

Data Streams		 P P Р P
 Р Р
 P Р
 P P Р
Yandex Data Streams

Apache Kafka®		 P P P P P P
 P P
 Р P Р
Apache Kafka®
airbyte
Airbyte®		 К К К К К К - К К - - airbyte
Airbyte®

Elasticsearch		 К - - К К К К К К К К
Elasticsearch

OpenSearch		 К - - К К К К К К К К
OpenSearch

Источник
Приемник
PostgreSQL
MySQL®
MongoDB
ClickHouse®
Greenplum®
YDB
Object Storage
Apache Kafka
Data Streams
Elasticsearch
OpenSearch
Источник
Приемник

К — Копирование
Р — Репликация
КР — Копирование и репликация

— трансфер находится на стадии GA и тарифицируется в соответствии с правилами тарификации сервиса.
Остальные трансферы находятся на стадии Preview и активируются по запросу в техническую поддержку или к вашему аккаунт-менеджеру.

Эндпоинты Airbyte®

С помощью Airbyte® можно настроить следующие эндпоинты-источники:

Airbyte® уже встроен в Data Transfer, поэтому вам не нужно создавать отдельную виртуальную машину и развертывать Airbyte®.

Подготовьте источники и приемники данных

Подготовьте источник к отправке данных:

Подготовьте приемник к получению данных:

Создайте эндпоинт для источника

  1. Перейдите на страницу каталога и выберите сервис Data Transfer.
  2. На панели слева выберите Эндпоинты.
  3. Нажмите кнопку Создать эндпоинт.
  4. Убедитесь, что в поле Направление указано Источник.
  5. Укажите имя эндпоинта.
  6. В поле Тип базы данных выберите тип СУБД, из которой вы хотите передавать данные.
  7. Укажите параметры эндпоинта в соответствующем блоке настроек.
  8. Нажмите кнопку Создать.

Подробнее см. в разделе Управление эндпоинтами.

Создайте эндпоинт для приемника

  1. Перейдите на страницу каталога и выберите сервис Data Transfer.
  2. На панели слева выберите Эндпоинты.
  3. Нажмите кнопку Создать эндпоинт.
  4. Убедитесь, что в поле Направление указано Приёмник.
  5. Укажите имя эндпоинта.
  6. В поле Тип базы данных выберите тип СУБД, в которую вы хотите передавать данные.
  7. Укажите параметры эндпоинта в соответствующем блоке настроек.
  8. Нажмите кнопку Создать.

Подробнее см. в разделе Управление эндпоинтами.

Создайте трансфер

  1. Перейдите на страницу каталога и выберите сервис Data Transfer.
  2. На панели слева выберите Трансферы.
  3. Нажмите кнопку Создать трансфер.
  4. Укажите имя трансфера.
  5. (Опционально) Добавьте описание трансфера.
  6. Выберите эндпоинт для источника и эндпоинт для приемника.
  7. Выберите тип трансфера:
    • Копирование — чтобы создать полную копию данных без дальнейшего получения обновлений из источника. Этот тип также можно использовать для репликации постоянно меняющихся таблиц.
      Если вам нужно создавать полную копию данных через определенные интервалы времени, включите настройку Периодическое копирование.
    • Репликация — чтобы непрерывно получать изменения данных от источника и применять их к приемнику (без создания полной копии данных источника).
    • Копирование и репликация — чтобы создать полную копию данных источника и поддерживать ее в актуальном состоянии.
  8. Нажмите кнопку Создать.

Подробнее см. в разделе Типы трансферов.

Активируйте трансфер

  1. Перейдите на страницу каталога и выберите сервис Data Transfer.
  2. На панели слева выберите Трансферы.
  3. Нажмите значок рядом с именем нужного трансфера и выберите пункт Активировать.

Начнется процесс переноса данных.

Подробнее см. в разделе Управление трансфером.

Что дальше

Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками VMware, Inc в США и/или других странах.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.

Предыдущая
Доступные трансферы
Следующая
Все инструкции