Передача данных в эндпоинт-приемник Yandex Object Storage

С помощью сервиса Yandex Data Transfer вы можете переносить данные в хранилище Yandex Object Storage и реализовывать различные сценарии переноса, обработки и трансформации данных. Для реализации трансфера:

1. Ознакомьтесь с возможными сценариями передачи данных.
2. Настройте один из поддерживаемых источников данных.
3. Настройте эндпоинт-приемник в Yandex Data Transfer.
4. Создайте и запустите трансфер.
5. Выполняйте необходимые действия по работе с хранилищем и контролируйте трансфер.
6. При возникновении проблем, воспользуйтесь готовыми решениями по их устранению.

Сценарии передачи данных в Yandex Object StorageСценарии передачи данных в Yandex Object Storage

1. Поставка данных — процесс доставки произвольных данных в целевые хранилища. Процесс поставки включает извлечение данных из очереди и их десериализацию с последующей трансформацией данных в формат целевого хранилища.

   • Поставка данных из YDS в Object Storage.

2. Загрузка данных в масштабируемое хранилище Object Storage позволяет удешевить хранение и облегчает обмен данных с контрагентами.

   • Загрузка данных из MySQL® в Object Storage;
   • Загрузка данных из PostgreSQL в Object Storage;
   • Загрузка данных из OpenSearch в Object Storage;
   • Загрузка данных из Managed Service for YDB в Object Storage.

Подробное описание возможных сценариев передачи данных в Yandex Data Transfer читайте в разделе Практические руководства.

Настройка источника данныхНастройка источника данных

Настройте один из поддерживаемых источников данных:

• PostgreSQL
• MySQL®
• MongoDB
• Apache Kafka®
• Airbyte®
• YDS
• Oracle
• OpenSearch

Полный список поддерживаемых источников и приемников в Yandex Data Transfer читайте в разделе Доступные трансферы.

Настройка эндпоинта-приемника Object StorageНастройка эндпоинта-приемника Object Storage

При создании или изменении эндпоинта вы можете задать:

• Настройки подключения для бакета Yandex Object Storage или пользовательского S3-совместимого хранилища.
• Дополнительные параметры.

Настройки подключенияНастройки подключения

Если создаваемый эндпоинт и бакет Object Storage лежат в разных каталогах, то при создании в настройках соединения нужно выбрать ручную настройку и указать следующие значения:

• регион: ru-central1;
• эндпоинт: storage.yandexcloud.kz;
• включить обе настройки, связанные с использованием SSL.

Дополнительные настройкиДополнительные настройки

• Префикс пути — путь в бакете, по которому будут выгружаться данные.

• Формат данных — формат, в котором данные будут записаны в бакет: JSON, CSV или Parquet. Подробнее читайте в разделе Сериализация при поставке в Object Storage.

  JSON

  CSV

  Parquet

  • Формат сжатия — алгоритм сжатия выходных данных: Gzip или Без сжатия.

  • Формат сжатия — алгоритм сжатия выходных данных: Gzip или Без сжатия.

  • Формат сжатия колонок — алгоритм сжатия блоков данных: Gzip, Snappy или Zstd.

  • Размер группы строк — параметры разбиения данных на группы. Можно указать максимальное количество строк в группе или максимальный размер группы в байтах. При совместном использовании настроек новая группа будет создаваться, когда хотя бы одно из ограничений будет нарушено.

• Политика очистки — политика очистки данных перед копированием. Она применяется при активации, повторной активации и перезапуске трансфера и определяет порядок работы с данными, которые уже есть в бакете. Возможные значения:

  • Не очищать — данные не удаляются из бакета. Это значение используется по умолчанию.
  • Drop — данные удаляются из бакета перед копированием новых данных.
  • Replace — данные удаляются из бакета после завершения копирования новых данных. Это позволяет сохранить доступ к существующим данным, пока новые данные копируются.

• Расширенные настройки писателя — дополнительные настройки записи выходных файлов:

  Писатель снапшотов

  Писатель репликации

  • Максимальное число записей в одном файле — если оставить поле пустым, данные запишутся в один файл.
  • Максимальное число байтов в одном файле — если оставить поле пустым, данные запишутся в один файл.

  • Настройки ротации — настройки записи новых файлов:

    • Интервал ротации — значение в секундах, по истечении которого новый файл будет записан. Данные о времени берутся из параметров получаемых сообщений. Значение по умолчанию — 3600 (1 час).
    • Максимальное число записей в одном файле — максимальное количество записей из очереди, которое может хранить один выходной файл. Значение по умолчанию — 0 (количество записей в файле не ограничено).
    • Включить регулярную ротацию по системным часам — если опция включена, трансфер будет создавать новый файл каждый раз по окончании очередного интервала ротации. Новый файл не будет создан, если на момент истечения интервала ротации не будет записей, ожидающих коммита.

  • Партиционировать по — определяет порядок распределения файлов в бакете по директориям:

    • Партиции источника (значение по умолчанию) — файлы будут записываться в директории по номерам партиций. Формат: <префикс пути>/<топик_источника>/partition=<номер партиции>.

    • Времени — файлы будут записываться в директории за определенные интервалы времени. Формат: <префикс пути>/<топик_источника>/<интервал времени>. Для этого значения дополнительно указываются:

      • Тип раскладки — определяет, за какой интервал времени выполнять распределение файлов: час, день или месяц.
      • Часовой пояс — имя часового пояса в базе IANA, в котором вычисляется путь, например Europe/Moscow. Если значение не задано, используется часовой пояс UTC.

  • Источник времени — определяет, откуда будет браться время для партиционирования по времени и ротации:

    • Время записи сообщения — время берется из метаданных сообщения в очереди.
    • Колонка в данных — время берется из колонки с данными внутри сообщения. Имя этой колонки задается в отдельном поле.

После настройки источника и приемника данных создайте и запустите трансфер.

Решение проблем, возникающих при переносе данныхРешение проблем, возникающих при переносе данных

Смотрите полный список рекомендаций в разделе Решение проблем.

Ошибка при обновлении данных в источникеОшибка при обновлении данных в источнике

Текст ошибки:

Push failed: kind: update not supported

Object Storage поддерживает только вставку новых данных, но не поддерживает их обновление. Если в источнике происходит обновление данных, трансфер завершится с ошибкой.

Решение: используйте источники, которые поддерживают только вставку данных, или выберите вместо Object Storage другой приемник.