Передача данных в эндпоинт-приемник Yandex Object Storage

С помощью сервиса Yandex Data Transfer вы можете переносить данные в хранилище Yandex Object Storage и реализовывать различные сценарии переноса, обработки и трансформации данных. Для реализации трансфера:

1. Ознакомьтесь с возможными сценариями передачи данных.
2. Настройте один из поддерживаемых источников данных.
3. Настройте эндпоинт-приемник в Yandex Data Transfer.
4. Cоздайте и запустите трансфер.
5. Выполняйте необходимые действия по работе с хранилищем и контролируйте трансфер.
6. При возникновении проблем, воспользуйтесь готовыми решениями по их устранению.

Сценарии передачи данных в Yandex Object StorageСценарии передачи данных в Yandex Object Storage

1. Поставка данных — процесс доставки произвольных данных в целевые хранилища. Процесс поставки включает извлечение данных из очереди и их десериализацию с последующей трансформацией данных в формат целевого хранилища.

   • Поставка данных из YDS в Object Storage.

2. Загрузка данных в масштабируемое хранилище Object Storage позволяет удешевить хранение и облегчает обмен данных с контрагентами.

   • Загрузка данных из MySQL® в Object Storage;
   • Загрузка данных из PostgreSQL в Object Storage;
   • Загрузка данных из OpenSearch в Object Storage;
   • Загрузка данных из Managed Service for YDB в Object Storage.

Подробное описание возможных сценариев передачи данных в Yandex Data Transfer см. в разделе Практические руководства.

Настройка источника данныхНастройка источника данных

Настройте один из поддерживаемых источников данных:

• PostgreSQL;
• MySQL®;
• MongoDB;
• Apache Kafka®;
• Airbyte®;
• YDS;
• Oracle;
• Managed Service for YDB;
• Elasticsearch;
• OpenSearch.

Полный список поддерживаемых источников и приемников в Yandex Data Transfer см. в разделе Доступные трансферы.

Настройка эндпоинта-приемника Object StorageНастройка эндпоинта-приемника Object Storage

При создании или изменении эндпоинта вы можете задать настройки доступа к бакету Yandex Object Storage.

• Бакет — имя бакета, в который будут загружаться данные из источника.

• Имя папки — имя папки объекта. Поддерживает шаблон раскладки данных по дате. Пример: 2006/01/02/<имя_папки>.

• Сервисный аккаунт — сервисный аккаунт с ролью storage.uploader, под которым будет осуществляться доступ к Yandex Data Streams.

• Выходной формат — формат, в котором данные будут записаны в бакет, JSON, CSV, PARQUET или Сырые данные. Подробнее см. в разделе Сериализация при поставке в Object Storage.

• Преобразовать комплексные значения в строки — преобразование комплексных значений в строки для выходного формата JSON.

• Формат сжатия — сжатие выходных данных, Gzip или Без сжатия.

Расширенные настройкиРасширенные настройки

• Размер буфера — размер файлов, на которые разделены данные.

• Интервал записи — интервал, спустя который файл будет записан, вне зависимости от его размера.

• Часовой пояс — часовой пояс, по времени которого раскладываются файлы. Влияет только на раскладывание файлов по папкам в бакете, но не влияет на данные внутри файлов.

• Колонка со временем — имя колонки для указания логического времени для данных. Значение по умолчанию — системное время записи. Время при записи данных в приемник преобразуется в UTC. Это поведение нельзя изменить.

После настройки источника и приемника данных создайте и запустите трансфер.

Решение проблем, возникающих при переносе данныхРешение проблем, возникающих при переносе данных

См. полный список рекомендаций в разделе Решение проблем.

Ошибка при обновлении данных в источникеОшибка при обновлении данных в источнике

Текст ошибки:

Push failed: kind: update not supported

Object Storage поддерживает только вставку новых данных, но не поддерживает их обновление. Если в источнике происходит обновление данных, трансфер завершится с ошибкой.

Решение: используйте источники, которые поддерживают только вставку данных, или выберите вместо Object Storage другой приемник.