Передача данных из эндпоинта-источника Managed Service for YDB

С помощью сервиса Yandex Data Transfer вы можете переносить данные из базы Managed Service for YDB и реализовывать различные сценарии переноса, обработки и трансформации данных. Для реализации трансфера:

1. Ознакомьтесь с возможными сценариями передачи данных.
2. Подготовьте базу данных Managed Service for YDB к трансферу.
3. Настройте эндпоинт-источник в Yandex Data Transfer.
4. Настройте один из поддерживаемых приемников данных.
5. Создайте и запустите трансфер.
6. Выполняйте необходимые действия по работе с базой и контролируйте трансфер.
7. При возникновении проблем, воспользуйтесь готовыми решениями по их устранению.

Сценарии передачи данных из Managed Service for YDBСценарии передачи данных из Managed Service for YDB

1. Захват изменений данных — это процесс отслеживания изменений в базе данных и поставка этих изменений потребителям. Применяется для приложений, которые чувствительны к изменению данных в реальном времени.

   • Захват изменений из PostgreSQL и поставка в YDS;
   • Захват изменений из PostgreSQL и поставка в Apache Kafka®.

2. Загрузка данных в витрины — процесс трансфера подготовленных данных в хранилища с целью последующей визуализации.

   • Загрузка данных из YDB в витрину ClickHouse®.

3. Загрузка данных в масштабируемое хранилище Object Storage позволяет удешевить хранение и облегчает обмен данных с контрагентами.

   • Загрузка данных из YDB в Object Storage.

Подробное описание возможных сценариев передачи данных в Yandex Data Transfer см. в разделе Практические руководства.

Подготовка базы данных источникаПодготовка базы данных источника

Если вы выбрали режим базы данных Dedicated, создайте и настройте группу безопасности в сети, где находится БД.

Настройка эндпоинта-источника Managed Service for YDBНастройка эндпоинта-источника Managed Service for YDB

При создании или изменении эндпоинта вы можете задать:

• Настройки подключения к базе данных Yandex Managed Service for YDB. Эти параметры обязательные.
• Список путей для переноса (таблицы, директории).

resource "yandex_datatransfer_endpoint" "ydb-source" { 
  name = "<имя_эндпоинта>"
  settings {
    ydb_source {
      database               = "<имя_БД_YDB>"        
      service_account_id     = "<идентификатор_сервисного_аккаунта>"
      paths                  = ["<список_путей_к_переносимым_объектам_YDB>"]
      changefeed_custom_name = "<имя_потока_изменений>"
    }
  }
}

Настройка приемника данныхНастройка приемника данных

Настройте один из поддерживаемых приемников данных:

• ClickHouse®;
• Yandex Object Storage;
• Apache Kafka®;
• YDS;
• Yandex Managed Service for YDB.

Полный список поддерживаемых источников и приемников в Yandex Data Transfer см. в разделе Доступные трансферы.

После настройки источника и приемника данных создайте и запустите трансфер.

Решение проблем, возникающих при переносе данныхРешение проблем, возникающих при переносе данных

Известные проблемы, связанные с использованием эндпоинта Managed Service for YDB:

Прерывание трансфера с ошибкойПрерывание трансфера с ошибкой

Трансфер типа Репликация или Копирование и репликация прерывается с ошибкой.

Текст ошибки:

/Ydb.PersQueue.V1.PersQueueService/AddReadRule failed: OVERLOADED

Трансфер прерывается из-за ограничения облачной квоты на количество операций с Managed Service for YDB.

Решение:

1. Увеличьте в квотах Managed Service for YDB на облако с нужной базой данных значение характеристики Количество схемных операций в минуту и активируйте трансфер повторно.

См. полный список рекомендаций в разделе Решение проблем.