Передача данных из эндпоинта-источника Elasticsearch
С помощью сервиса Yandex Data Transfer вы можете переносить данные поиска и аналитики из базы Elasticsearch и реализовывать различные сценарии переноса, обработки и трансформации данных. Для реализации трансфера:
- Ознакомьтесь с возможными сценариями передачи данных.
- Подготовьте базу данных Elasticsearch к трансферу.
- Настройте эндпоинт-источник в Yandex Data Transfer.
- Настройте один из поддерживаемых приемников данных.
- Создайте и запустите трансфер.
- Выполняйте необходимые действия по работе с базой и контролируйте трансфер.
- При возникновении проблем, воспользуйтесь готовыми решениями по их устранению.
Сценарии передачи данных из Elasticsearch
Миграция — перенос данных из одного хранилища в другое. Часто это перенос базы из устаревших локальных баз в управляемые облачные.
Подробное описание возможных сценариев передачи данных в Yandex Data Transfer см. в разделе Практические руководства.
Подготовка базы данных источника
Примечание
Версии Elasticsearch ниже 7.x не поддерживаются.
Если вы не планируете использовать для подключения к внешнему кластеру сервис Cloud Interconnect или VPN, разрешите подключения к такому кластеру из интернета с IP-адресов, используемых сервисом Data Transfer.
Подробнее о настройке сети для работы с внешними ресурсами см. в концепции.
Настройка эндпоинта-источника Elasticsearch
При создании или изменении эндпоинта вы можете задать:
- Настройки подключения к пользовательской инсталляции. Эти параметры обязательные.
- Дополнительные параметры.
Пользовательская инсталляция
Подключение к узлам с явным указанием сетевых адресов и портов.
-
Узлы с данными — нажмите на значок , чтобы добавить новый узел с данными. Для каждого узла укажите:
-
Хост — IP-адрес или FQDN хоста с ролью
DATA, к которому необходимо подключиться. -
Порт — номер порта, который сервис Data Transfer будет использовать для подключения к хосту с ролью
DATA. -
SSL — выберите, если используется безопасное соединение SSL.
-
Сертификат CA — загрузите файл сертификата или добавьте его содержимое в текстовом виде, если требуется шифрование передаваемых данных, например, для соответствия требованиям PCI DSS.
-
Идентификатор подсети — выберите или создайте подсеть в нужной зоне доступности.
Если значение в этом поле задано для обоих эндпоинтов, то обе подсети должны быть размещены в одной зоне доступности. -
Пользователь — укажите имя пользователя, под которым сервис Data Transfer будет подключаться к кластеру.
-
Пароль — укажите пароль пользователя для доступа к кластеру.
-
Группы безопасности — выберите облачную сеть для размещения эндпоинта и группы безопасности для сетевого трафика.
Это позволит применить к ВМ и кластерам в выбранной сети указанные правила групп безопасности без изменения настроек этих ВМ и кластеров. Подробнее см. в разделе Сеть в Yandex Data Transfer.
Дополнительные настройки
- Перенести индекс с сопоставлением типов — выберите эту опцию, чтобы перенести типы данных с источника на приемник до начала трансфера. Если опция отключена, а схема индекса на приемнике не задана, то типы данных на приемнике будут определяться автоматически в процессе трансфера.
Важно
Если в индекс источника входят типы данных, которые не поддерживаются на приемнике, то включение этой опции может привести к ошибке при запуске трансфера. В этом случае отключите опцию и создайте схему индекса на приемнике вручную.
Настройка приемника данных
Настройте эндпоинт-приемник:
- OpenSearch;
- ClickHouse®;
- Greenplum®;
- Yandex Managed Service for YDB;
- Yandex Object Storage;
- Apache Kafka®;
- YDS;
Полный список поддерживаемых источников и приемников в Yandex Data Transfer см. в разделе Доступные трансферы.
После настройки источника и приемника данных создайте и запустите трансфер.