Передача данных из эндпоинта-источника Yandex Object Storage

С помощью сервиса Yandex Data Transfer вы можете переносить данные из хранилища Yandex Object Storage в управляемые базы данных Yandex Cloud и реализовывать различные сценарии обработки и трансформации данных. Для реализации трансфера:

1. Ознакомьтесь с возможными сценариями передачи данных.
2. Настройте эндпоинт-источник в Yandex Data Transfer.
3. Настройте один из поддерживаемых приемников данных.
4. Cоздайте и запустите трансфер.
5. Выполняйте необходимые действия по работе с хранилищем и контролируйте трансфер.
6. При возникновении проблем, воспользуйтесь готовыми решениями по их устранению.

Сценарии передачи данных из Object StorageСценарии передачи данных из Object Storage

Вы можете реализовывать сценарии миграции и поставки данных из хранилища Yandex Object Storage в управляемые базы данных для дальнейшего хранения в облаке, обработки и загрузки в витрины данных с целью последующей визуализации.

Загрузка данных в витрины — процесс трансфера подготовленных данных в хранилища с целью последующей визуализации.

• Загрузка данных из Object Storage в PostgreSQL;
• Загрузка данных из Object Storage в Greenplum®;
• Загрузка данных из Object Storage в MySQL®;
• Загрузка данных из Object Storage в ClickHouse®;
• Загрузка данных из Object Storage в YDB.

Подробное описание возможных сценариев передачи данных в Yandex Data Transfer см. в разделе Практические руководства.

Настройка эндпоинта-источника Object StorageНастройка эндпоинта-источника Object Storage

Эта функциональность находится на стадии Preview.

При создании или изменении эндпоинта задайте настройки доступа к S3-совместимому хранилищу.

НастройкиНастройки

Параметры настройки конфигурации бакетаПараметры настройки конфигурации бакета

• Бакет — имя бакета.
• Идентификатор статического ключа и Содержимое статического ключа — идентификатор и содержимое ключа AWS для доступа к частному бакету.
• (Опционально) Префикс пути — префикс для каталогов и файлов, которые можно использовать для поиска по бакету.
• (Опционально) Эндпоинт — эндпоинт для службы, совместимой с Amazon S3. Оставьте поле пустым для использования Amazon.
• Регион — регион для отправки запросов.
• Использовать SSL — выберите, если удаленный сервер использует безопасное соединение SSL/TLS.
• Проверять SSL-сертификат — разрешить самоподписанные сертификаты.

Шаблон пути — укажите шаблон пути. Если в бакете размещаются только файлы, используйте значение **.

Конфигурация очереди событийКонфигурация очереди событий

• Имя очереди — имя очереди, настроенной в бакете S3, для получения событий s3:ObjectCreated.
• Идентификатор аккаунта владельца очереди — идентификатор аккаунта AWS для аккаунта, создавшего очередь. Оставьте поле пустым, если бакет S3 и очередь созданы в одном и том же аккаунте.
• Идентификатор статического ключа — идентификатор ключа AWS, используемый как часть учетных данных для чтения из очереди SQS. Оставьте поле пустым, если можно использовать те же учетные данные, что и для бакета S3.
• Содержимое статического ключа — cекрет AWS, используемый как часть учетных данных для чтения из очереди SQS. Оставьте пустым, если можно использовать те же учетные данные, что и для бакета S3.
• Эндпоинт — эндпоинт для S3-совместимого сервиса. Оставьте поле пустым, чтобы использовать AWS.
• Регион — регион AWS для отправки запросов. Оставьте поле пустым, если он совпадает с регионом бакета.
• Использовать SSL — выберите, если удаленный сервер использует безопасное соединение SSL/TLS.
• Проверять SSL-сертификат — разрешить самоподписанные сертификаты.

Формат данныхФормат данных

ДатасетДатасет

• Схема — укажите схему служебной таблицы, которая будет использоваться для подключения.

• Таблица — укажите имя служебной таблицы, которое будет использоваться для подключения.

• Добавить системные колонки — добавить в схему результатов системные колонки __file_name и __row_index. __file_name соответствует имени объекта S3, из которого поступают данные. __row_index соответствует счетчику строк, в котором находятся данные, в объекте S3.

  Важно

  Отключение этой опции может иметь нежелательные эффекты для приемников, которым требуется первичный ключ, при условии, что схема результатов может стать обязательной в таких случаях.

Схема результирующей таблицы — укажите JSON-схему в формате {"<столбец>": "<тип_данных>"} или перечислите поля для схемы результирующей таблицы. Если вы выберете Автоматически, то схема определится автоматически.

Дополнительно, вы можете определить, как следует обрабатывать строки, не прошедшие проверку типов: продолжать передачу данных, повторить попытку определить тип, не продолжать.

Настройка приемника данныхНастройка приемника данных

Настройте один из поддерживаемых приемников данных:

• PostgreSQL;
• MySQL®;
• ClickHouse®;
• Yandex Managed Service for YDB;
• Greenplum®.

Полный список поддерживаемых источников и приемников в Yandex Data Transfer см. в разделе Доступные трансферы.

После настройки источника и приемника данных создайте и запустите трансфер.

Решение проблем, возникающих при переносе данныхРешение проблем, возникающих при переносе данных

См. полный список рекомендаций в разделе Решение проблем.

Ошибка при обновлении данных в источникеОшибка при обновлении данных в источнике

Текст ошибки:

Push failed: kind: update not supported

Object Storage поддерживает только вставку новых данных, но не поддерживает их обновление. Если в источнике происходит обновление данных, трансфер завершится с ошибкой.

Решение: используйте источники, которые поддерживают только вставку данных, или выберите вместо Object Storage другой приемник.