Управление трансфером

Статья создана

Yandex Cloud

Улучшена

kvendingoldo

Обновлена 6 ноября 2024 г.

Получить список трансферов
Получить детальную информацию о трансфере
Создать трансфер
Изменить трансфер
Активировать трансфер
Деактивировать трансфер
Удалить трансфер

Вы можете:

Подробнее о состояниях трансфера, возможных действиях с ним и имеющихся ограничениях см. в разделе Типы и жизненные циклы трансферов.

Если вы хотите перенести трансфер и эндпоинты в другую зону доступности, обратитесь к инструкции.

Получить детальную информацию о трансфере

Консоль управления

CLI

API

Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
На панели слева выберите Трансферы.
Нажмите на имя нужного трансфера.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

Чтобы получить информацию о трансфере, выполните команду:

yc datatransfer transfer get <идентификатор_трансфера>

Идентификатор трансфера можно получить со списком трансферов в каталоге.

Воспользуйтесь методом API get и передайте значение идентификатора трансфера в параметре transferId запроса.

Чтобы узнать идентификатор трансфера, получите список трансферов в каталоге.

Создать трансфер

Консоль управления

CLI

Terraform

API

Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
На панели слева выберите Трансферы.
Нажмите кнопку Создать трансфер.
Выберите эндпоинт для источника или создайте новый.
Выберите эндпоинт для приемника или создайте новый. Убедитесь, что подсеть, указанная для эндпоинта приемника, принадлежит той же зоне доступности, что и подсеть эндпоинта источника.
Укажите параметры трансфера:
- Имя.
- (Опционально) Описание.
- Тип трансфера:
  - Копирование — создает полную копию данных без дальнейшего получения обновлений из источника.
    - Периодическое копирование — включите для создания полной копии данных через определенные интервалы времени.
      - Период — выберите интервал копирования из списка. Трансфер будет регулярно запускаться с указанным интервалом. Первый запуск произойдет сразу после сохранения настроек. Если вы запустите трансфер вручную, то следующий запуск произойдет после указанного интервала.
      - Cron выражение — укажите расписание запусков копирования в формате cron. Время указывается в часовом поясе UTC±00:00.
      - Время ожидания завершения транзакций в секундах — укажите временную задержку для завершения текущих транзакций.
      - Инкрементальные таблицы — укажите таблицы, копирование данных которых осуществляется не полностью, а с места, где копирование завершилось в прошлый раз: укажите значения полей Схема, Таблица, Ключевая колонка и (опционально) Начальное значение. Подробнее см. в разделе Периодическое инкрементальное копирование.
        
        Примечание
        
        Это эффективнее, чем копировать таблицы целиком, но менее эффективно, чем использовать тип трансфера Копирование и репликация. Настройка доступна для источников PostgreSQL, ClickHouse® и Airbyte®.
      - Настройки копирования → Настройки параллельного копирования — укажите количество воркеров и потоков в каждом воркере для организации параллельного копирования.
    - Репликация — позволяет получать изменения данных от источника и применять их к приемнику (без создания полной копии данных источника).
      - Настройки репликации → Настройки параллельной репликации — укажите количество воркеров для организации параллельной репликации. Настройка доступна для источников YDB, Apache Kafka® и YDS. Если запущено несколько процессов репликации, они поделят между собой партиции реплицируемого топика.
        
        Примечание
        
        Для YDB рекомендуется выставлять количество воркеров, не превышающее суммарное количество партиций по таблицам — иначе часть ресурсов будет простаивать. В случае, если пользовательский поток изменений не указан, трансфер при активации создаст поток изменений, число партиций которого будет равно количеству таблеток таблицы YDB на момент последней активации.
    - Копирование и репликация — создает полную копию данных источника и поддерживает ее в актуальном состоянии.
      - Настройки копирования → Настройки параллельного копирования — укажите количество воркеров и потоков в каждом воркере для организации параллельного копирования.
- Для пар источник-приемник, которые тарифицируются и находятся на стадии GA, вы можете настроить объем вычислительных ресурсов для виртуальной машины в блоке настроек Среда выполнения. Выберите одну из трех предложенных конфигураций:
  - 2 виртуальных процессора (vCPU) и 4 гигабайта оперативной памяти (RAM). Эта конфигурация используется по умолчанию.
  - 4 vCPU и 8 ГБ RAM.
  - 8 vCPU и 16 ГБ RAM.
  Конфигурация ресурсов виртуальной машины определяет производительность воркеров, переносящих данные. На каждый воркер выделяется отдельная ВМ. Правила тарификации vCPU и RAM, примеры расчета и рекомендации по оптимизации стоимости см. в разделе Правила тарификации сервиса.
- (Опционально) Список объектов для переноса — укажите полный путь до каждого объекта для переноса. Будут передаваться только объекты из этого списка. Если в настройках эндпоинта-источника указан список включенных таблиц или коллекций, передаваться будут только те объекты, которые есть в обоих списках. Если указать объекты, которых нет в списке включенных таблиц или коллекций в настройках эндпоинта-источника, активация трансфера завершится с ошибкой $table not found in source. Настройка недоступна для источников Apache Kafka® и YDS.
  
  Укажите полное имя объекта. В зависимости от типа источника используйте соответствующую схему именования:
  - ClickHouse® — <имя_базы>.<путь_до_таблицы>;
  - Greenplum® — <имя_схемы>.<путь_до_таблицы>;
  - MongoDB — <имя_базы>.<путь_до_коллекции>;
  - MySQL® — <имя_базы>.<путь_до_таблицы>;
  - PostgreSQL — <имя_схемы>.<путь_до_таблицы>;
  - YDB — путь до таблицы;
  - Oracle — <имя_схемы>.<путь_до_таблицы>.
  Если указанный объект находится в списке исключенных таблиц или коллекций в настройках эндпоинта-источника, или имя объекта введено некорректно, трансфер завершится с ошибкой. Работающий трансфер типа Репликация или Копирование и репликация завершится сразу, незапущенный трансфер — в момент активации.
- (Опционально) Трансформация данных — правила преобразований данных. Эта настройка появляется только если источник и приемник имеют разные типы.
Нажмите кнопку Создать.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

Чтобы создать трансфер:

Посмотрите описание команды CLI для создания трансфера:
```
yc datatransfer transfer create --help
```
Укажите параметры трансфера в команде создания:
```
yc datatransfer transfer create <имя_трансфера> \
   --source-id=<идентификатор_эндпоинта-источника> \
   --target-id=<идентификатор_эндпоинта-приемника> \
   --type=<тип_трансфера>
```
Где:
- --source-id — идентификатор эндпоинта-источника.
- --target-id — идентификатор эндпоинта-приемника.
- --type — тип трансфера:
  - snapshot-only — копирование.
  - increment-only — репликация.
  - snapshot-and-increment — копирование и репликация.
Примечание

Имя трансфера должно быть уникальным в каталоге. Оно может содержать латинские буквы, цифры и дефис. Максимальная длина имени 63 символа.

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Terraform распространяется под лицензией Business Source License, а провайдер Yandex Cloud для Terraform — под лицензией MPL-2.0.

Подробную информацию о ресурсах провайдера смотрите в документации на сайте Terraform или в зеркале.

Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

Чтобы создать трансфер:

Создайте конфигурационный файл с описанием трансфера.

Пример структуры конфигурационного файла:

resource "yandex_datatransfer_transfer" "<имя_трансфера_в_Terraform>" {
  folder_id   = "<идентификатор_каталога>"
  name        = "<имя_трансфера>"
  description = "<описание_трансфера>"
  source_id   = "<идентификатор_эндпоинта-источника>"
  target_id   = "<идентификатор_эндпоинта-приемника>"
  type        = "<тип_трансфера>"
}

Доступные типы трансферов:

SNAPSHOT_ONLY — Копирование;
INCREMENT_ONLY — Репликация;
SNAPSHOT_AND_INCREMENT — Копирование и репликация.

Проверьте корректность настроек.
1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
2. Выполните команду:
```
terraform validate
```
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Подтвердите изменение ресурсов.
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

При создании трансферы типа INCREMENT_ONLY и SNAPSHOT_AND_INCREMENT активируются и запускаются автоматически.
Если вы хотите активировать трансфер типа SNAPSHOT_ONLY в момент его создания, то добавьте в конфигурационный файл секцию provisioner "local-exec" с командой активации трансфера:

   provisioner "local-exec" {
      command = "yc --profile <профиль> datatransfer transfer activate ${yandex_datatransfer_transfer.<имя_Terraform-ресурса_трансфера>.id
   }

В этом случае копирование выполнится только один раз в момент создания трансфера.

Воспользуйтесь методом API create и передайте в запросе:

Идентификатор каталога, в котором должен быть размещен трансфер, в параметре folderId.
Имя трансфера в параметре name.
Идентификатор эндпоинта-источника в параметре sourceId.
Идентификатор эндпоинта-приемника в параметре targetId.
Тип трансфера в параметре type.

Изменить трансфер

Консоль управления

CLI

Terraform

API

Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
На панели слева выберите Трансферы.
Выберите трансфер и нажмите кнопку Редактировать на панели сверху.
Измените параметры трансфера:
- Имя.
- Описание.
- Для трансфера типа Копирование:
  - Периодическое копирование — включите для создания полной копии данных через определенные интервалы времени.
    - Период — выберите интервал копирования из списка. Трансфер будет регулярно запускаться с указанным интервалом. Первый запуск произойдет сразу после сохранения настроек. Если вы запустите трансфер вручную, то следующий запуск произойдет после указанного интервала.
    - Cron выражение — укажите расписание запусков копирования в формате cron. Время указывается в часовом поясе UTC±00:00.
    - Время ожидания завершения транзакций в секундах — укажите временную задержку для завершения текущих транзакций.
  - Инкрементальные таблицы — укажите таблицы, копирование данных которых осуществляется не полностью, а с места, где копирование завершилось в прошлый раз: укажите значения полей Схема, Таблица, Ключевая колонка и (опционально) Начальное значение. Подробнее см. в разделе Периодическое инкрементальное копирование.
    
    Примечание
    
    Это эффективнее, чем копировать таблицы целиком, но менее эффективно, чем использовать тип трансфера Копирование и репликация. Настройка доступна для источников PostgreSQL, ClickHouse® и Airbyte®.
  - Настройки копирования → Настройки параллельного копирования — укажите количество воркеров и потоков в каждом воркере для организации параллельного копирования.
- Для трансфера типа Репликация:
  - Настройки репликации → Настройки параллельной репликации — укажите количество воркеров для организации параллельной репликации. Настройка доступна для источников YDB, Apache Kafka® и YDS. Если запущено несколько процессов репликации, они поделят между собой партиции реплицируемого топика.
    
    Примечание
    
    Для YDB рекомендуется выставлять количество воркеров, не превышающее суммарное количество партиций по таблицам — иначе часть ресурсов будет простаивать. В случае, если пользовательский поток изменений не указан, трансфер при активации создаст поток изменений, число партиций которого будет равно количеству таблеток таблицы YDB на момент последней активации.
- Для трансфера типа Копирование и репликация:
  - Настройки копирования → Настройки параллельного копирования — укажите количество воркеров и потоков в каждом воркере для организации параллельного копирования.
- Для пар источник-приемник, которые тарифицируются и находятся на стадии GA, вы можете изменить объем вычислительных ресурсов для виртуальной машины в блоке настроек Среда выполнения. Выберите одну из трех предложенных конфигураций:
  - 2 виртуальных процессора (vCPU) и 4 гигабайта оперативной памяти (RAM). Эта конфигурация используется по умолчанию.
  - 4 vCPU и 8 ГБ RAM.
  - 8 vCPU и 16 ГБ RAM.
  Конфигурация ресурсов ВМ определяет производительность воркеров, переносящих данные. На каждый воркер выделяется отдельная ВМ. Правила тарификации vCPU и RAM, примеры расчета и рекомендации по оптимизации стоимости см. в разделе Правила тарификации сервиса.
- Список объектов для переноса — укажите полный путь до каждого объекта для переноса. Будут передаваться только объекты из этого списка. Если в настройках эндпоинта-источника указан список включенных таблиц или коллекций, передаваться будут только те объекты, которые есть в обоих списках. Если указать объекты, которых нет в списке включенных таблиц или коллекций в настройках эндпоинта-источника, активация трансфера завершится с ошибкой $table not found in source. Настройка недоступна для источников Apache Kafka® и YDS.
  
  Добавление новых объектов в трансферах типа Копирование и репликация или Репликация в статусе Реплицируется приведет к загрузке истории данных по этим объектам (таблицам). Для больших таблиц загрузка истории может занять существенное время. Редактирование списка объектов на трансферах в статусе Копируется запрещено.
  
  Укажите полное имя объекта. В зависимости от типа источника используйте соответствующую схему именования:
  - ClickHouse® — <имя_базы>.<путь_до_таблицы>;
  - Greenplum® — <имя_схемы>.<путь_до_таблицы>;
  - MongoDB — <имя_базы>.<путь_до_коллекции>;
  - MySQL® — <имя_базы>.<путь_до_таблицы>;
  - PostgreSQL — <имя_схемы>.<путь_до_таблицы>;
  - YDB — путь до таблицы;
  - Oracle — <имя_схемы>.<путь_до_таблицы>.
  Если указанный объект находится в списке исключенных таблиц или коллекций в настройках эндпоинта-источника, или имя объекта введено некорректно, трансфер завершится с ошибкой. Работающий трансфер типа Репликация или Копирование и репликация завершится сразу, незапущенный трансфер — в момент активации.
- (Опционально) Трансформация данных — правила преобразований данных. Эта настройка появляется только если источник и приемник имеют разные типы.
Нажмите кнопку Сохранить.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

Чтобы изменить настройки трансфера:

Посмотрите описание команды CLI для изменения трансфера:
```
yc datatransfer transfer update --help
```
Выполните команду, передав список настроек, которые хотите изменить:
```
yc datatransfer transfer update <идентификатор_трансфера> \
   --name=<имя_трансфера> \
   --description=<описание_трансфера>
```
Идентификатор трансфера можно получить со списком трансферов в каталоге.

Откройте актуальный конфигурационный файл Terraform с описанием трансфера.

О том, как создать такой файл, см. в подразделе Создать трансфер.
Измените значение полей name и description (имя и описание трансфера).
Проверьте корректность настроек.
1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
2. Выполните команду:
```
terraform validate
```
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Подтвердите изменение ресурсов.
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Воспользуйтесь методом API update и передайте в запросе:

Идентификатор трансфера в параметре transferId. Чтобы узнать идентификатор, получите список трансферов в каталоге.
Имя трансфера в параметре name.
Описание трансфера в параметре description.
Список изменяемых полей конфигурации трансфера в параметре updateMask.

Важно

Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре updateMask (одной строкой через запятую).

При изменении трансфера настройки применяются сразу. Изменение настроек трансфера с типом Копирование и репликация или Репликация в статусе Реплицируется приведет к перезапуску трансфера.

Активировать трансфер

Консоль управления

CLI

API

Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
На панели слева выберите Трансферы.
Нажмите на значок рядом с именем нужного трансфера и выберите пункт Активировать.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

Чтобы активировать трансфер, выполните команду:

yc datatransfer transfer activate <идентификатор_трансфера>

Идентификатор трансфера можно получить со списком трансферов в каталоге.

Воспользуйтесь методом API activate и передайте значение идентификатора трансфера в параметре transferId запроса.

Чтобы узнать идентификатор трансфера, получите список трансферов в каталоге.

Примечание

Операция доступна в мобильном приложении Yandex Cloud.

Деактивировать трансфер

В процессе деактивации трансфера:

отключается слот репликации на источнике;
удаляются временные логи переноса данных;
приемник приводится в согласованное состояние:
- переносятся объекты схемы данных источника для финальной стадии;
- создаются индексы.

Консоль управления

CLI

API

Переведите источник в режим только чтение (read-only).
Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
На панели слева выберите Трансферы.
Нажмите на значок рядом с именем нужного трансфера и выберите пункт Деактивировать.
Дождитесь перехода трансфера в статус Остановлен.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

Чтобы деактивировать трансфер, выполните команду:

yc datatransfer transfer deactivate <идентификатор_трансфера>

Идентификатор трансфера можно получить со списком трансферов в каталоге.

Воспользуйтесь методом API deactivate и передайте значение идентификатора трансфера в параметре transferId запроса.

Чтобы узнать идентификатор трансфера, получите список трансферов в каталоге.

Важно

Не прерывайте деактивацию трансфера! Если процесс завершится некорректно, работоспособность источника и приемника не гарантируется.

Подробнее см. в разделе Типы и жизненные циклы трансферов.

Примечание

Операция доступна в мобильном приложении Yandex Cloud.

Удалить трансфер

Консоль управления

CLI

Terraform

API

Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
На панели слева выберите Трансферы.
Если нужный трансфер находится в активном состоянии, деактивируйте его.
Нажмите на значок рядом с именем нужного трансфера и выберите пункт Удалить.
Нажмите кнопку Удалить.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

Чтобы удалить трансфер, выполните команду:

yc datatransfer transfer delete <идентификатор_трансфера>

Идентификатор трансфера можно получить со списком трансферов в каталоге.

Чтобы удалить трансфер, созданный с помощью Terraform:

Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

О том, как создать такой файл, см. в разделе Создать трансфер.
Удалите описание трансфера.
Проверьте корректность настроек.
1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
2. Выполните команду:
```
terraform validate
```
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Введите слово yes и нажмите Enter.
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Воспользуйтесь методом API delete и передайте значение идентификатора трансфера в параметре transferId запроса.

Чтобы узнать идентификатор трансфера, получите список трансферов в каталоге.

Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками VMware, Inc в США и/или других странах.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.

Управление трансфером

Получить список трансферовПолучить список трансферов

Получить детальную информацию о трансфереПолучить детальную информацию о трансфере

Создать трансферСоздать трансфер

Изменить трансферИзменить трансфер

Активировать трансферАктивировать трансфер

Деактивировать трансферДеактивировать трансфер

Удалить трансферУдалить трансфер

Была ли статья полезна?

Получить список трансферов

Получить детальную информацию о трансфере

Создать трансфер

Изменить трансфер

Активировать трансфер

Деактивировать трансфер

Удалить трансфер