Передача данных в эндпоинт-приемник OpenSearch

Убедитесь, что количество колонок в источнике не превышает максимальное количество полей в индексах OpenSearch. Максимальное количество полей задается в параметре index.mapping.total_fields.limit и по умолчанию составляет 1000.

Чтобы увеличить значение параметра, настройте шаблон, по которому максимальное количество полей в создаваемых индексах будет равно указанному значению.

curl \
--user <имя_пользователя_OpenSearch>:<пароль> \
--header 'Content-Type: application/json' \
--request PUT "https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/_template/index_defaults" \
--data '
    {
        "index_patterns": "cdc*",
        "settings": {
            "index": {
                "mapping": {
                    "total_fields": {
                        "limit": "2000"
                    }
                }
            }
        }
    }'

Для настройки шаблона можно также использовать интерфейс OpenSearch Dashboards.

Чтобы проверить текущее значение параметра index.mapping.total_fields.limit, выполните запрос:

curl \
    --user <имя_пользователя_OpenSearch>:<пароль> \
    --header 'Content-Type: application/json' \
    --request GET 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/<название_индекса>/_settings/*total_fields.limit?include_defaults=true'

По умолчанию при трансфере данных в единичный индекс задействуется только один хост. Чтобы распределить нагрузку между хостами при передаче больших объемов данных, настройте шаблон, по которому создаваемые индексы будут заранее разбиты на шарды.

curl \
--user <имя_пользователя_OpenSearch>:<пароль> \
--header 'Content-Type: application/json' \
--request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/_template/index_defaults' \
--data '
    {
        "index_patterns": "cdc*",
        "settings" : {
            "index" : {
                "number_of_shards" : 15,
                "number_of_replicas" : 1
            }
        }
    }'

При такой настройке шаблона, все новые индексы с маской cdc* будут разбиты на 15 шардов.

Для настройки шаблона можно также использовать интерфейс OpenSearch Dashboards.

Чтобы повысить безопасность и доступность данных, установите политику, которая будет создавать новый индекс при выполнении хотя бы одного из условий (рекомендуемые значения):

• Когда размер индекса превысит 50 ГБ.
• Когда возраст индекса превысит 30 дней.

Создать и включить политику можно с помощью запросов. Подробнее о политиках см. в документации OpenSearch.

curl \
--user <имя_пользователя_OpenSearch>:<пароль> \
--header 'Content-Type: application/json' \
--request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/_plugins/_ism/policies/rollover_policy' \
--data '
    {
        "policy": {
            "description": "Example rollover policy",
            "default_state": "rollover",
            "schema_version": 1,
            "states": [
                {
                    "name": "rollover",
                    "actions": [
                        {
                            "rollover": {
                                "min_index_age": "30d",
                                "min_primary_shard_size": "50gb"
                            }
                        }
                    ],
                    "transitions": []
                }
            ],
            "ism_template": {
                "index_patterns": ["log*"],
                "priority": 100
            }
        }
    }'

curl \
--user <имя_пользователя_OpenSearch>:<пароль> \
--header 'Content-Type: application/json' \
--request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/_index_template/ism_rollover' \
--data '
    {
        "index_patterns": ["log*"],
        "template": {
            "settings": {
                "plugins.index_state_management.rollover_alias": "log"
            }
        }
    }'

curl \
--user <имя_пользователя_OpenSearch>:<пароль> \
--header 'Content-Type: application/json' \
--request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/log-000001' \
--data '
    {
        "aliases": {
            "log": {
                "is_write_index": true
            }
        }
    }'

curl \
--user <имя_пользователя_OpenSearch>:<пароль> \
--header 'Content-Type: application/json' \
--request GET 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/_plugins/_ism/explain/log-000001?pretty'

Кластер Managed Service for OpenSearch — укажите идентификатор кластера, к которому необходимо подключиться.

Пользователь — укажите имя пользователя, под которым сервис Data Transfer будет подключаться к кластеру.

Пароль — укажите пароль пользователя для доступа к кластеру.

Группы безопасности — выберите облачную сеть для размещения эндпоинта и группы безопасности для сетевого трафика.

Это позволит применить к ВМ и кластерам в выбранной сети указанные правила групп безопасности без изменения настроек этих ВМ и кластеров. Подробнее см. в разделе Сеть в Yandex Data Transfer.

Узлы с данными — нажмите на значок , чтобы добавить новый узел с данными. Для каждого узла укажите:

• Хост — IP-адрес или FQDN хоста с ролью DATA, к которому необходимо подключиться.
• Порт — номер порта, который сервис Data Transfer будет использовать для подключения к хосту с ролью DATA.

SSL — выберите, если используется безопасное соединение SSL.

Сертификат CA — загрузите файл сертификата или добавьте его содержимое в текстовом виде, если требуется шифрование передаваемых данных, например, для соответствия требованиям PCI DSS.

Идентификатор подсети — выберите или создайте подсеть в нужной зоне доступности.

Если значение в этом поле задано для обоих эндпоинтов, то обе подсети должны быть размещены в одной зоне доступности.

Пользователь — укажите имя пользователя, под которым сервис Data Transfer будет подключаться к кластеру.

Пароль — укажите пароль пользователя для доступа к кластеру.

Группы безопасности — выберите облачную сеть для размещения эндпоинта и группы безопасности для сетевого трафика.

Это позволит применить к ВМ и кластерам в выбранной сети указанные правила групп безопасности без изменения настроек этих ВМ и кластеров. Подробнее см. в разделе Сеть в Yandex Data Transfer.

Политика очистки — выберите способ очистки данных в приемнике перед переносом:

• Не очищать — выберите эту опцию, если будет производиться только репликация без копирования данных.

• Drop — полное удаление таблиц, участвующих в трансфере (вариант по умолчанию).

  Используйте эту опцию, чтобы при любой активации трансфера в базу-приемник всегда передавалась самая последняя версия схемы таблиц из источника.

Исправить невалидные ключи в документах — выберите эту опцию, чтобы для полей на приемнике выполнялась автозамена ключей, невалидных для OpenSearch.

Правила автозамены:

• Пустые или состоящие из пробелов и точек ключи будут заменены на подчеркивание: "", " ", "." → "_".
• Точки в начале и конце ключа будут удалены: "somekey.", ".somekey" → "somekey".
• Если две точки стоят друг за другом, либо между ними есть только пробелы, весь фрагмент будет заменен на точку: " some . . key" → " some . key".

Пример: ". s o m e ..incorrect....key. . . " → " s o m e .incorrect.key".