Передача данных в эндпоинт-приемник OpenSearch

С помощью сервиса Yandex Data Transfer вы можете переносить данные в базу OpenSearch и реализовывать различные сценарии переноса, обработки и трансформации данных. Для реализации трансфера:

1. Ознакомьтесь с возможными сценариями передачи данных.
2. Настройте один из поддерживаемых источников данных.
3. Подготовьте базу данных OpenSearch к трансферу.
4. Настройте эндпоинт-приемник в Yandex Data Transfer.
5. Создайте и запустите трансфер.
6. Выполняйте необходимые действия по работе с базой и контролируйте трансфер.
7. При возникновении проблем, воспользуйтесь готовыми решениями по их устранению.

Сценарии передачи данных в OpenSearchСценарии передачи данных в OpenSearch

1. Поставка данных — процесс доставки произвольных данных в целевые хранилища. Процесс поставки включает извлечение данных из очереди и их десериализацию с последующей трансформацией данных в формат целевого хранилища.

   • Поставка данных из Apache Kafka® в OpenSearch.

2. Миграция — перенос данных из одного хранилища в другое. Часто это перенос базы из устаревших локальных баз в управляемые облачные.

   • Миграция кластера OpenSearch;
   • Миграция со сменой хранилища: из Elasticsearch в OpenSearch;
   • Миграция со сменой хранилища: из PostgreSQL в OpenSearch.

Подробное описание возможных сценариев передачи данных в Yandex Data Transfer см. в разделе Практические руководства.

Настройка источника данныхНастройка источника данных

Настройте один из поддерживаемых источников данных:

• PostgreSQL;
• YDS;
• Apache Kafka®;
• Elasticsearch;
• OpenSearch.

Полный список поддерживаемых источников и приемников в Yandex Data Transfer см. в разделе Доступные трансферы.

Подготовка базы данных приемникаПодготовка базы данных приемника

Настройка эндпоинта-приемника OpenSearchНастройка эндпоинта-приемника OpenSearch

При создании или изменении эндпоинта вы можете задать:

• Настройки подключения к кластеру Yandex Managed Service for OpenSearch или пользовательской инсталляции, в т. ч. на базе виртуальных машин Yandex Compute Cloud. Эти параметры обязательные.
• Дополнительные параметры.

Кластер Managed Service for OpenSearchКластер Managed Service for OpenSearch

Подключение с указанием идентификатора кластера в Yandex Cloud.

Пользовательская инсталляцияПользовательская инсталляция

Подключение к узлам с явным указанием сетевых адресов и портов.

Дополнительные настройкиДополнительные настройки

После настройки источника и приемника данных создайте и запустите трансфер.

Решение проблем, возникающих при переносе данныхРешение проблем, возникающих при переносе данных

• Прерывание трансфера с ошибкой
• Дублирование документов на приемнике
• Превышение лимита максимального количества полей
• Прерывание трансфера с ошибкой mapper_parsing_exception
• Ошибка SSL is required
• Не удалось найти ни одной таблицы

См. полный список рекомендаций в разделе Решение проблем.

Прерывание трансфера с ошибкойПрерывание трансфера с ошибкой

Тексты ошибок:

object field starting or ending with a [.] makes object resolution ambiguous <описание_поля>

Index -1 out of bounds for length 0

Трансфер прерывается из-за того что ключи в передаваемых документах невалидны для приемника OpenSearch. К невалидным относятся пустые ключи, а также ключи:

• состоящие из пробелов;
• состоящие из точек;
• с точкой в начале или конце;
• с точками, стоящими друг за другом;
• с точками, разделенными пробелами.

Решение:

В дополнительных настройках эндпоинта-приемника включите опцию Исправить невалидные ключи в документах и активируйте трансфер повторно.

Дублирование документов на приемникеДублирование документов на приемнике

На приемнике возникают дубли документов при повторной передаче данных.

Все документы, передаваемые из одной таблицы источника, попадают в один индекс с именем <schemaName.tableName> на приемнике. При этом по умолчанию приемник автоматически генерирует идентификаторы документов (_id). В результате одинаковые документы получают разные идентификаторы и дублируются.

Дублирование не происходит, если в таблице источника или в правилах конвертации эндпоинта заданы первичные ключи. В этом случае идентификаторы документов генерируются на этапе трансфера с использованием значений первичных ключей.

Генерация происходит следующим образом:

1. Если значение ключа содержит ., она экранируется \: some.key --> some\.key.
2. Значения всех первичных ключей преобразуются в строку: <some_key1>.<some_key2>.<...>.
3. Полученная строка преобразуется функцией url.QueryEscape.
4. Если длина итоговой строки не превышает 512 символов, то она используется в качестве _id. Если длина больше 512 символов, то она хешируется алгоритмом SHA-1, и в качестве _id используется полученный хеш.

В результате документы с одинаковыми первичными ключами получат одинаковый идентификатор при повторной передаче данных, и последний переданный документ перезапишет существующий.

Решение:

1. Установите первичный ключ для одного или нескольких столбцов на источнике или в правилах конвертации эндпоинта.
2. Запустите трансфер.

Превышение лимита максимального количества полейПревышение лимита максимального количества полей

Текст ошибки:

Limit of total fields [<значение_лимита>] has been exceeded

Трансфер прерывается, если количество колонок в базе данных источника превышает максимальное количество полей в индексах OpenSearch базы данных приемника.

Решение: увеличьте в базе данных приемника максимальное количество полей с помощью параметра index.mapping.total_fields.limit.

Прерывание трансфера с ошибкой mapper_parsing_exceptionПрерывание трансфера с ошибкой mapper_parsing_exception

Текст ошибки:

mapper_parsing_exception failed to parse field [details.tags] of type [text]

Трансфер прерывается из-за несовместимости типов данных на источнике и приемнике.

Решение: перенесите данные в новый индекс OpenSearch, в котором тип поля details изменен на flat_object.

1. Деактивируйте трансфер.

2. Создайте новый индекс в OpenSearch:

   curl \
   --user <имя_пользователя_OpenSearch>:<пароль> \
   --header 'Content-Type: application/json' \
   --request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/<название_нового_индекса>/_settings' \
   --data '{"index.mapping.total_fields.limit": 2000}'
   

3. Измените тип поля details:

   curl \
   --user <имя_пользователя_OpenSearch>:<пароль> \
   --header 'Content-Type: application/json' \
   --request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/<название_нового_индекса>/_mapping' \
   --data '
       {
           "properties": {
               "details": {
                   "type": "flat_object"
               }
           }
       }'
   

4. Перенесите данные из исходного индекса в новый:

   curl \
   --user <имя_пользователя_OpenSearch>:<пароль> \
   --header 'Content-Type: application/json' \
   --request POST 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/_reindex' \
   --data '
       {
       "source":{
           "index":"<название_исходного_индекса>"
       },
       "dest":{
           "index":"<название_нового_индекса>"
       }
       }'
   

5. Удалите исходный индекс:

   curl \
   --user <имя_пользователя_OpenSearch>:<пароль> \
   --header 'Content-Type: application/json' \
   --request DELETE 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/<название_исходного_индекса>'
   

6. Присвойте новому индексу псевдоним:

   curl \
   --user <имя_пользователя_OpenSearch>:<пароль> \
   --header 'Content-Type: application/json' \
   --request POST 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/_aliases' \
   --data '
       {
       "actions": [
           {
           "add": {
               "index": "<название_нового_псевдонима>",
               "alias": "<название_исходного_псевдонима>"
           }
           }
       ]
       }'
   

Ошибка SSL is requiredОшибка SSL is required

Ошибка возникает при подключении к кластеру Managed Service for OpenSearch как к пользовательской инсталляции через FQDN хоста OpenSearch, если вы не включили опцию SSL в настройках эндпоинта. Кластер Managed Service for OpenSearch по умолчанию требует SSL-шифрование для подключений по FQDN хоста.

Ошибка может также возникнуть, если вы подключаетесь к пользовательской инсталляции OpenSearch, которая требует SSL.

Решение:

В настройках эндпоинта активируйте опцию SSL.

Для кластеров MDB и других источников, использующих сертификаты, выданные публичными CA, обычно не требуется загружать CA-сертификат.

Если ваш источник использует самоподписанный сертификат, загрузите CA-сертификат в соответствующее поле в настройках эндпоинта.

Не удалось найти ни одной таблицыНе удалось найти ни одной таблицы

Текст ошибки:

Unable to find any tables

Ошибка может возникать, если в источнике нет доступных индексов либо у указанного пользователя нет прав на индексы.

Решение:

• Проверьте наличие индекса. Убедитесь, что вы верно указали название индекса и в источнике действительно есть индекс, который вы собираетесь переносить.

• Убедитесь, что пользователь имеет нужные права для работы с индексом.