Yandex Cloud
Поиск
Связаться с намиПодключиться
  • Документация
  • Блог
  • Все сервисы
  • Статус работы сервисов
    • Популярные
    • Инфраструктура и сеть
    • Платформа данных
    • Контейнеры
    • Инструменты разработчика
    • Бессерверные вычисления
    • Безопасность
    • Мониторинг и управление ресурсами
    • Машинное обучение
    • Бизнес-инструменты
  • Все решения
    • По отраслям
    • По типу задач
    • Экономика платформы
    • Безопасность
    • Техническая поддержка
    • Каталог партнёров
    • Обучение и сертификация
    • Облако для стартапов
    • Облако для крупного бизнеса
    • Центр технологий для общества
    • Облако для интеграторов
    • Поддержка IT-бизнеса
    • Облако для фрилансеров
    • Обучение и сертификация
    • Блог
    • Документация
    • Контент-программа
    • Мероприятия и вебинары
    • Контакты, чаты и сообщества
    • Идеи
    • Истории успеха
    • Тарифы Yandex Cloud
    • Промоакции и free tier
    • Правила тарификации
  • Документация
  • Блог
Проект Яндекса
© 2025 ООО «Яндекс.Облако»
Yandex Data Transfer
  • Доступные трансферы
  • Начало работы
    • Взаимосвязь ресурсов сервиса
    • Типы и жизненные циклы трансферов
    • Объекты, переносимые трансфером
    • Периодическое инкрементальное копирование
    • Параллельное копирование
    • Трансформация данных
    • Сериализация
    • Работа Yandex Data Transfer с источниками и приемниками
    • Гарантии поставки
    • Операции над трансфером
    • Сеть в Yandex Data Transfer
    • Скорость копирования данных в Yandex Data Transfer
    • Захват изменения данных
    • Какие задачи решает сервис
    • Квоты и лимиты
  • Решение проблем
  • Управление доступом
  • Справочник Terraform
  • Метрики Monitoring
  • Аудитные логи Audit Trails
  • Публичные материалы
  • Обучающие курсы

В этой статье:

  • Эндпоинт
  • Статусы эндпоинтов
  • Трансфер
  • Воркер
  • Типы трансферов
  • Совместимость источников и приемников
  • Примеры использования
  1. Концепции
  2. Взаимосвязь ресурсов сервиса

Взаимосвязь ресурсов в Data Transfer

Статья создана
Yandex Cloud
Улучшена
Обновлена 29 апреля 2025 г.
  • Эндпоинт
    • Статусы эндпоинтов
  • Трансфер
    • Воркер
    • Типы трансферов
    • Совместимость источников и приемников
  • Примеры использования

Yandex Data Transfer помогает переносить данные между СУБД, объектными хранилищами или брокерами сообщений. Сервис позволяет сократить время на процесс миграции и минимизировать простой при переключении на новую базу данных.

Yandex Data Transfer настраивается через стандартные интерфейсы Yandex Cloud.

Сервис подходит для создания постоянной реплики базы. Перенос схемы базы данных из источника на приемник автоматизирован.

ЭндпоинтЭндпоинт

Эндпоинт — это конфигурация для подключения к сервису-источнику или приемнику данных. Кроме настроек подключения, эндпоинт может содержать информацию о том, какие данные будут участвовать в трансфере и как они должны быть обработаны в процессе переноса.

В качестве источника или приемника данных могут выступать:

Сервис Источник Приемник
Топик Apache Kafka® — собственный или в составе сервиса Managed Service for Apache Kafka®
Поток сообщений AWS CloudTrail
Собственная база данных BigQuery
База данных ClickHouse® — собственная или в составе сервиса Managed Service for ClickHouse®
Собственная база данных Elasticsearch
База данных Greenplum® — собственная или в составе сервиса Managed Service for Greenplum®
База данных MongoDB — собственная или в составе сервиса Managed Service for MongoDB
База данных MySQL® — собственная или в составе сервиса Managed Service for MySQL®
Собственная база данных Oracle
База данных PostgreSQL — собственная или в составе сервиса Managed Service for PostgreSQL
База данных OpenSearch — собственная или в составе сервиса Managed Service for OpenSearch
S3-совместимый бакет
Поток данных Yandex Data Streams
База данных Managed Service for YDB — в составе сервиса Managed Service for YDB
Бакет Yandex Object Storage

Статусы эндпоинтовСтатусы эндпоинтов

В связи с переходом сервиса Data Transfer на асинхронные операции с эндпоинтами, введены статусы эндпоинтов:

  • Создан — присваивается, когда эндпоинт готов к использованию.
  • Создаётся — присваивается в момент начала операции по созданию эндпоинта. По окончании операции эндпоинту присваивается статус Создан.
  • Обновляется — присваивается в момент начала операции по изменению эндпоинта. По окончании операции эндпоинту присваивается статус Создан.
  • Удаляется — присваивается в момент начала операции по удалению эндпоинта.

Примечание

Все новые эндпоинты создаются асинхронными. Старые эндпоинты остаются синхронными и могут иметь только статус Создан.

ТрансферТрансфер

Трансфер — это процесс переноса данных между сервисом-источником и сервисом-приемником. Он должен находиться в одном каталоге с используемыми эндпоинтами.

Если для эндпоинтов заданы подсети, то эти подсети должны быть размещены в одной зоне доступности. Иначе активация трансфера с такими эндпоинтами завершится с ошибкой.

ВоркерВоркер

Воркер — это служебный процесс, который запускает перенос данных в рамках трансфера. Для каждого воркера выделяется отдельная виртуальная машина. Можно указать, какие вычислительные ресурсы использовать для этой виртуальной машины:

  • 2 виртуальных процессора (vCPU) и 4 гигабайта оперативной памяти (RAM). Эта конфигурация используется по умолчанию.
  • 4 vCPU и 8 ГБ RAM.
  • 8 vCPU и 16 ГБ RAM.

При параллельном копировании или параллельной репликации (для источников YDS, YDB и Apache Kafka®) пользователь выбирает количество воркеров, работающих одновременно.

Количество vCPU и объем RAM влияют на стоимость ресурсов Data Transfer. Для экономного потребления и уменьшения стоимости передачи данных рекомендуется оптимизировать загрузку воркеров, уменьшая их количество и увеличивая загрузку каждого воркера. Вы также можете изменить конфигурацию воркера в настройках трансфера для пар источник-приемник, которые тарифицируются и находятся на стадии GA.

Типы трансферовТипы трансферов

Трансферы бывают следующих типов:

  • Копирование — переносит снапшот источника на приемник. Помимо однократного переноса снапшота различают типы копирования: Периодическое и Периодическое инкрементальное.
  • Репликация — непрерывно получает изменения из источника и применяет их на приемнике. При этом первоначальная синхронизация данных не выполняется.
  • Копирование и репликация — переносит текущее состояние источника на приемник и поддерживает его актуальность.

Подробнее о различиях между типами трансферов читайте в разделе Типы и жизненные циклы трансферов.

Совместимость источников и приемниковСовместимость источников и приемников

Доступные комбинации источников и приемников:


Приемник
Источник

PostgreSQL

MySQL®

MongoDB

ClickHouse®

Greenplum®

YDB

Object Storage

Apache Kafka

Data Streams

Elasticsearch

OpenSearch

Приемник
Источник

PostgreSQL
КР
КР - КР
КР КР К КР
КР К К
PostgreSQL

MySQL®
КР КР
- КР
КР КР К КР
КР - -
MySQL®

Oracle
КР - - КР КР - - - - - -
Oracle

MongoDB
- - КР
- - - К - - - -
MongoDB

ClickHouse®
- - - К
- - - - - - -
ClickHouse®

Greenplum®
K - - К
К - - - - - -
Greenplum®

YDB
- - - КР - - К KP KP - -
YDB

Object Storage
КР КР - КР КР КР - - - - -
Object Storage
metrica
Metrica
- - - P - - - - - - - metrica
Metrica

Data Streams
P P Р P
Р Р
P Р
P P Р
Yandex Data Streams

Apache Kafka®
P P P P P P
P P
Р P Р
Apache Kafka®
airbyte
Airbyte®
К К К К К К - К К - - airbyte
Airbyte®

Elasticsearch
К - - К К К К К К К К
Elasticsearch

OpenSearch
К - - К К К К К К К К
OpenSearch

Источник
Приемник

PostgreSQL

MySQL®

MongoDB

ClickHouse®

Greenplum®

YDB

Object Storage

Apache Kafka

Data Streams

Elasticsearch

OpenSearch

Источник
Приемник

К — Копирование
Р — Репликация
КР — Копирование и репликация

— трансфер находится на стадии GA и тарифицируется в соответствии с правилами тарификации сервиса.
Остальные трансферы находятся на стадии Preview и активируются по запросу в техническую поддержку или к вашему аккаунт-менеджеру.

Эндпоинты Airbyte®Эндпоинты Airbyte®

С помощью Airbyte® можно настроить следующие эндпоинты-источники:

  • AWS CloudTrail
  • BigQuery
  • Microsoft SQL Server
  • S3

Airbyte® уже встроен в Data Transfer, поэтому вам не нужно создавать отдельную виртуальную машину и развертывать Airbyte®.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.

Примеры использованияПримеры использования

  • Практические руководства Data Transfer
  • Пошаговые инструкции для Data Transfer

Была ли статья полезна?

Предыдущая
Репликация логов в Object Storage с помощью Fluent Bit
Следующая
Типы и жизненные циклы трансферов
Проект Яндекса
© 2025 ООО «Яндекс.Облако»