Передача данных в эндпоинт-приемник Elasticsearch

С помощью сервиса Yandex Data Transfer вы можете переносить данные в базу Elasticsearch и реализовывать различные сценарии переноса, обработки и трансформации данных. Для реализации трансфера:

1. Настройте один из поддерживаемых источников данных.
2. Подготовьте базу данных Elasticsearch к трансферу.
3. Настройте эндпоинт-приемник в Yandex Data Transfer.
4. Создайте и запустите трансфер.
5. Выполняйте необходимые действия по работе с базой и контролируйте трансфер.
6. При возникновении проблем, воспользуйтесь готовыми решениями по их устранению.

Настройка источника данныхНастройка источника данных

Настройте один из поддерживаемых источников данных:

• Apache Kafka®;
• YDS;
• PostgreSQL.
• Elasticsearch;
• OpenSearch.

Полный список поддерживаемых источников и приемников в Yandex Data Transfer см. в разделе Доступные трансферы.

Подготовка базы данных приемникаПодготовка базы данных приемника

Если вы не планируете использовать для подключения к внешнему кластеру сервис Cloud Interconnect или VPN, разрешите подключения к такому кластеру из интернета с IP-адресов, используемых сервисом Data Transfer.

Подробнее о настройке сети для работы с внешними ресурсами см. в концепции.

• Убедитесь, что количество колонок в источнике не превышает максимальное количество полей в индексах Elasticsearch. Максимальное количество полей задается в параметре index.mapping.total_fields.limit и по умолчанию составляет 1000.

  Чтобы увеличить значение параметра, настройте шаблон, по которому максимальное количество полей в создаваемых индексах будет равно указанному значению.

  Пример запроса для настройки шаблона

  curl \
      --user <имя_пользователя_Elasticsearch>:<пароль> \
      --header 'Content-Type: application/json' \
      --request PUT "https://<FQDN_кластера_Elasticsearch>:9200/_template/index_defaults" \
      --data '
          {
              "index_patterns": "cdc*",
              "settings": {
                  "index": {
                      "mapping": {
                          "total_fields": {
                              "limit": "2000"
                          }
                      }
                  }
              }
          }'
  

  При такой настройке шаблона, все новые индексы с маской cdc* смогут содержать до 2000 полей.

  Для настройки шаблона можно также использовать интерфейс Kibana.

  Проверить текущее значение параметра index.mapping.total_fields.limit можно с помощью интерфейса Kibana, либо выполнив запрос:

  curl \
      --user <имя_пользователя_Elasticsearch>:<пароль> \
      --header 'Content-Type: application/json' \
      --request GET 'https://<FQDN_кластера_Elasticsearch>:9200/<название_индекса>/_settings/*total_fields.limit?include_defaults=true'
  

• По умолчанию при трансфере данных в единичный индекс задействуется только один хост. Чтобы распределить нагрузку между хостами при передаче больших объемов данных, настройте шаблон, по которому создаваемые индексы будут заранее разбиты на шарды.

  Пример запроса для настройки шаблона

  curl \
      --user <имя_пользователя_Elasticsearch>:<пароль> \
      --header 'Content-Type: application/json' \
      --request PUT 'https://<FQDN_кластера_Elasticsearch>:9200/_template/index_defaults' \
      --data '
          {
              "index_patterns": "cdc*",
              "settings" : {
                  "index" : {
                      "number_of_shards" : 15,
                      "number_of_replicas" : 1
                  }
              }
          }'
  

  При такой настройке шаблона, все новые индексы с маской cdc* будут разбиты на 15 шардов.

  Для настройки шаблона можно также использовать интерфейс Kibana.

Настройка эндпоинта-приемника ElasticsearchНастройка эндпоинта-приемника Elasticsearch

При создании или изменении эндпоинта вы можете задать:

• Настройки подключения к Elasticsearch. Эти параметры обязательные.
• Дополнительные параметры.

Пользовательская инсталляцияПользовательская инсталляция

Подключение к узлам с явным указанием сетевых адресов и портов.

Дополнительные настройкиДополнительные настройки

После настройки источника и приемника данных создайте и запустите трансфер.