Yandex Cloud
Поиск
Связаться с намиПодключиться
  • Документация
  • Блог
  • Все сервисы
  • Статус работы сервисов
    • Популярные
    • Инфраструктура и сеть
    • Платформа данных
    • Контейнеры
    • Инструменты разработчика
    • Бессерверные вычисления
    • Безопасность
    • Мониторинг и управление ресурсами
    • Машинное обучение
    • Бизнес-инструменты
  • Все решения
    • По отраслям
    • По типу задач
    • Экономика платформы
    • Безопасность
    • Техническая поддержка
    • Каталог партнёров
    • Обучение и сертификация
    • Облако для стартапов
    • Облако для крупного бизнеса
    • Центр технологий для общества
    • Облако для интеграторов
    • Поддержка IT-бизнеса
    • Облако для фрилансеров
    • Обучение и сертификация
    • Блог
    • Документация
    • Контент-программа
    • Мероприятия и вебинары
    • Контакты, чаты и сообщества
    • Идеи
    • Истории успеха
    • Тарифы Yandex Cloud
    • Промоакции и free tier
    • Правила тарификации
  • Документация
  • Блог
Проект Яндекса
© 2025 ООО «Яндекс.Облако»
Yandex Data Transfer
  • Доступные трансферы
  • Начало работы
    • Все инструкции
    • Подготовка к трансферу
      • Управление эндпоинтами
      • Миграция эндпоинтов в другую зону доступности
        • Источник
        • Приемник
    • Управление трансфером
    • Работа с базами данных во время трансфера
    • Мониторинг состояния трансфера
  • Решение проблем
  • Управление доступом
  • Справочник Terraform
  • Метрики Monitoring
  • Аудитные логи Audit Trails
  • Публичные материалы
  • Обучающие курсы

В этой статье:

  • Сценарии передачи данных в Managed Service for YDB
  • Настройка источника данных
  • Подготовка базы данных приемника
  • Настройка эндпоинта-приемника Managed Service for YDB
  • Кластер Yandex Managed Service for YDB
  • Дополнительные настройки
  • Решение проблем, возникающих при переносе данных
  • Прерывание трансфера с ошибкой
  1. Пошаговые инструкции
  2. Настройка эндпоинтов
  3. YDB
  4. Приемник

Передача данных в эндпоинт-приемник Managed Service for YDB

Статья создана
Yandex Cloud
Улучшена
Max Z.
Обновлена 6 марта 2025 г.
  • Сценарии передачи данных в Managed Service for YDB
  • Настройка источника данных
  • Подготовка базы данных приемника
  • Настройка эндпоинта-приемника Managed Service for YDB
    • Кластер Yandex Managed Service for YDB
    • Дополнительные настройки
  • Решение проблем, возникающих при переносе данных
    • Прерывание трансфера с ошибкой

С помощью сервиса Yandex Data Transfer вы можете переносить данные в базу Managed Service for YDB и реализовывать различные сценарии переноса, обработки и трансформации данных. Для реализации трансфера:

  1. Ознакомьтесь с возможными сценариями передачи данных.
  2. Настройте один из поддерживаемых источников данных.
  3. Подготовьте базу данных Managed Service for YDB к трансферу.
  4. Настройте эндпоинт-приемник в Yandex Data Transfer.
  5. Создайте и запустите трансфер.
  6. Выполняйте необходимые действия по работе с базой и контролируйте трансфер.
  7. При возникновении проблем, воспользуйтесь готовыми решениями по их устранению.

Сценарии передачи данных в Managed Service for YDBСценарии передачи данных в Managed Service for YDB

  1. Миграция — перенос данных из одного хранилища в другое. Часто это перенос базы из устаревших локальных баз в управляемые облачные.

    • Миграция со сменой хранилища: MySQL® в YDB;
    • Миграция со сменой хранилища: PostgreSQL в YDB;
    • Миграция со сменой хранилища: OpenSearch в YDB.
  2. Поставка данных — процесс доставки произвольных данных в целевые хранилища. Процесс поставки включает извлечение данных из очереди и их десериализацию с последующей трансформацией данных в формат целевого хранилища.

    • Поставка данных из Apache Kafka® в YDB;
    • Поставка данных из YDS в YDB.
  3. Загрузка данных в витрины — процесс трансфера подготовленных данных в хранилища с целью последующей визуализации.

    • Загрузка данных из Object Storage в YDB.

Подробное описание возможных сценариев передачи данных в Yandex Data Transfer см. в разделе Практические руководства.

Настройка источника данныхНастройка источника данных

Настройте один из поддерживаемых источников данных:

  • MySQL®;
  • Apache Kafka®;
  • Airbyte®;
  • YDS;
  • Yandex Object Storage;
  • PostgreSQL;
  • Elasticsearch;
  • OpenSearch.

Полный список поддерживаемых источников и приемников в Yandex Data Transfer см. в разделе Доступные трансферы.

Подготовка базы данных приемникаПодготовка базы данных приемника

  1. Создайте сервисный аккаунт с ролью ydb.editor.
  2. Для базы данных в Dedicated-режиме создайте и настройте группу безопасности в сети, где находится БД.

Настройка эндпоинта-приемника Managed Service for YDBНастройка эндпоинта-приемника Managed Service for YDB

При создании или изменении эндпоинта вы можете задать:

  • Настройки подключения к базе данных Yandex Managed Service for YDB. Эти параметры обязательные.
  • Дополнительные параметры.

Кластер Yandex Managed Service for YDBКластер Yandex Managed Service for YDB

Важно

Для создания или редактирования эндпоинта управляемой базы данных вам потребуется роль ydb.viewer или примитивная роль viewer, выданная на каталог кластера этой управляемой базы данных.

Подключение к БД с указанием идентификатора кластера в Yandex Cloud.

Консоль управления
Terraform
  • База данных — выберите из списка базу данных Managed Service for YDB.

  • Идентификатор сервисного аккаунта — выберите или создайте сервисный аккаунт с ролью ydb.editor, от имени которого сервис Data Transfer будет подключаться к базе.

  • Группы безопасности — выберите облачную сеть для размещения эндпоинта и группы безопасности для сетевого трафика.

    Это позволит применить к ВМ и кластерам в выбранной сети указанные правила групп безопасности без изменения настроек этих ВМ и кластеров. Подробнее см. в разделе Сеть в Yandex Data Transfer.

  • Политика очистки — выберите способ очистки данных в базе-приемнике перед переносом:

    • Drop — полное удаление таблиц, участвующих в трансфере (вариант по умолчанию).

      Используйте эту опцию, чтобы при любой активации трансфера в базу-приемник всегда передавалась самая последняя версия схемы таблиц из источника.

    • Не очищать — не очищать.

      Выберите эту опцию, если будет производиться только репликация без копирования данных.

  • Тип эндпоинта — ydb_target.
  • name — имя эндпоинта Managed Service for YDB.

  • database — путь к базе данных Managed Service for YDB, в которую переносятся данные.

    Вы можете посмотреть путь к БД в консоли управления на странице с информацией о БД YDB.

    Пример пути к БД: /ru-central1/b1gia87mbaom********/etnudu2n9ri3********.

  • cleanup_policy — выберите способ очистки данных в базе-приемнике перед переносом:

    • YDB_CLEANUP_POLICY_DROP — полное удаление таблиц, участвующих в трансфере (вариант по умолчанию). Таблицы на приемнике будут удалены перед переносом новых таблиц.

      Используйте эту опцию, чтобы при любой активации трансфера в базу-приемник всегда передавалась самая последняя версия схемы таблиц из источника.

    • YDB_CLEANUP_POLICY_DISABLED — не очищать.

      Выберите эту опцию, если будет производиться только репликация без копирования данных.

  • service_account_id — сервисный аккаунт с ролью ydb.editor, от имени которого сервис Data Transfer будет подключаться к базе данных.

  • security_groups — группы безопасности для сетевого трафика.

    Правила групп безопасности применяются к трансферу. Они позволяют открыть сетевой доступ с ВМ трансфера к кластеру. Подробнее см. в разделе Сеть в Yandex Data Transfer.

    Группы безопасности должны принадлежать той же сети, в которой размещен кластер.

    Примечание

    В Terraform сеть для групп безопасности задавать не нужно.

Пример структуры конфигурационного файла (приведены не все параметры):

resource "yandex_datatransfer_endpoint" "ydb-target" {
name        = "<имя_эндпоинта_приемника>"
settings {
    ydb_target {
      database       = "<путь_целевой_БД>"
      cleanup_policy = "<политика_очистки_данных>"
      service_account_id = "<идентификатор_сервисного_аккаунта>"          
    }
  }
}

Подробнее см. в документации провайдера Terraform.

Дополнительные настройкиДополнительные настройки

Консоль управления
Terraform
  • Количество шардов — укажите нужное количество шардов N.

    Если настройка задана, в таблицы добавляется колонка _shard_col. Значения в ней вычисляются как остаток от деления H/N, где H — результат хеш-функции от текущего времени, а N — указанное настройкой количество шардов.

  • Сжатие для группы колонок по умолчанию — задайте настройку COMPRESSION для группы колонок по умолчанию (FAMILY default).

  • Поддиректория для размещения таблиц — укажите поддиректорию для размещения таблиц.

  • Ротация таблиц:

    • Единица измерения — час, день или месяц.

    • Размер таблицы — в выбранных единицах измерения.

      По истечении временного интервала, равного выбранной единице измерения, будет удалена самая старая таблица базы и создана новая.

    • Количество таблиц — необходимое количество таблиц в базе-приемнике.

    • Разбивать по столбцу — по значениям какой колонки разбивать (партицировать) таблицу. Колонка должна иметь тип время.

      Подробнее о партицировании таблиц см. в документации Yandex Managed Service for YDB.

    Если используется эта настройка, в базе-приемнике создается указанное количество таблиц для данных за различные интервалы времени. Имя каждой таблицы выбирается автоматически по дате и времени начала интервала. В зависимости от значений в указанной колонке таблицы-источника, исходные строки распределяются по соответствующим таблицам базы-приемника.

  • Переименование таблиц — заполните, если необходимо переименовать таблицы базы-источника при переносе в базу-приемник.

  • Использовать OLAP-таблицы — выберите эту опцию, чтобы создавать колоночные таблицы (OLAP). По умолчанию используются строковые таблицы (OLTP).

  • path — поддиректория для размещения таблиц.

  • default_compression — сжатие для группы колонок по умолчанию.

  • is_table_column_oriented — укажите значение true чтобы создавать колоночные таблицы (OLAP). По умолчанию используются строковые таблицы (OLTP).

После настройки источника и приемника данных создайте и запустите трансфер.

Решение проблем, возникающих при переносе данныхРешение проблем, возникающих при переносе данных

Известные проблемы, связанные с использованием эндпоинта Managed Service for YDB:

Прерывание трансфера с ошибкойПрерывание трансфера с ошибкой

Трансфер типа Репликация или Копирование и репликация прерывается с ошибкой.

Текст ошибки:

/Ydb.PersQueue.V1.PersQueueService/AddReadRule failed: OVERLOADED

Трансфер прерывается из-за ограничения облачной квоты на количество операций с Managed Service for YDB.

Решение:

  1. Увеличьте в квотах Managed Service for YDB на облако с нужной базой данных значение характеристики Количество схемных операций в минуту и активируйте трансфер повторно.

См. полный список рекомендаций в разделе Решение проблем.

Была ли статья полезна?

Предыдущая
Источник
Следующая
Управление трансфером
Проект Яндекса
© 2025 ООО «Яндекс.Облако»