Yandex Cloud
Поиск
Связаться с намиПодключиться
  • Документация
  • Блог
  • Все сервисы
  • Статус работы сервисов
    • Популярные
    • Инфраструктура и сеть
    • Платформа данных
    • Контейнеры
    • Инструменты разработчика
    • Бессерверные вычисления
    • Безопасность
    • Мониторинг и управление ресурсами
    • Машинное обучение
    • Бизнес-инструменты
  • Все решения
    • По отраслям
    • По типу задач
    • Экономика платформы
    • Безопасность
    • Техническая поддержка
    • Каталог партнёров
    • Обучение и сертификация
    • Облако для стартапов
    • Облако для крупного бизнеса
    • Центр технологий для общества
    • Облако для интеграторов
    • Поддержка IT-бизнеса
    • Облако для фрилансеров
    • Обучение и сертификация
    • Блог
    • Документация
    • Контент-программа
    • Мероприятия и вебинары
    • Контакты, чаты и сообщества
    • Идеи
    • Истории успеха
    • Тарифы Yandex Cloud
    • Промоакции и free tier
    • Правила тарификации
  • Документация
  • Блог
Проект Яндекса
© 2025 ООО «Яндекс.Облако»
Yandex Data Transfer
  • Доступные трансферы
  • Начало работы
    • Все руководства
      • Greenplum® в ClickHouse®
      • MySQL® в ClickHouse®
      • Яндекс Метрика в ClickHouse®
      • PostgreSQL в ClickHouse®
      • Greenplum® в PostgreSQL
      • Object Storage в MySQL®
      • Object Storage в PostgreSQL
      • Object Storage в Greenplum®
      • Яндекс Директ в ClickHouse®
      • Object Storage в ClickHouse®
      • Object Storage в YDB
      • YDB в ClickHouse®
      • OpenSearch в ClickHouse®
  • Решение проблем
  • Управление доступом
  • Справочник Terraform
  • Метрики Monitoring
  • Аудитные логи Audit Trails
  • Публичные материалы
  • Обучающие курсы

В этой статье:

  • Необходимые платные ресурсы
  • Перед началом работы
  • Подготовьте тестовые данные
  • Подготовьте и активируйте трансфер
  • Проверьте работоспособность трансфера
  • Удалите созданные ресурсы
  1. Практические руководства
  2. Загрузка данных в витрины
  3. OpenSearch в ClickHouse®

Копирование данных из Managed Service for OpenSearch в Managed Service for ClickHouse® с помощью Yandex Data Transfer

Статья создана
Yandex Cloud
Обновлена 21 апреля 2025 г.
  • Необходимые платные ресурсы
  • Перед началом работы
  • Подготовьте тестовые данные
  • Подготовьте и активируйте трансфер
  • Проверьте работоспособность трансфера
  • Удалите созданные ресурсы

С помощью сервиса Data Transfer вы можете перенести данные из кластера-источника Managed Service for OpenSearch в Managed Service for ClickHouse®.

Чтобы перенести данные:

  1. Подготовьте кластер-источник.
  2. Подготовьте и активируйте трансфер.
  3. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

  • Плата за кластер Managed Service for OpenSearch: использование вычислительных ресурсов, выделенных хостам (в том числе хостам с ролью MANAGER), и дискового пространства (см. тарифы Managed Service for OpenSearch).
  • Плата за кластер Managed Service for ClickHouse®: использование вычислительных ресурсов, выделенных хостам (в том числе хостам ZooKeeper), и дискового пространства (см. тарифы Managed Service for ClickHouse®).
  • Плата за использование публичных IP-адресов для хостов кластеров (см. тарифы Virtual Private Cloud).
  • Плата за каждый трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Data Transfer).

Перед началом работыПеред началом работы

Подготовьте инфраструктуру поставки данных:

Вручную
Terraform
  1. Создайте кластер-источник Managed Service for OpenSearch любой подходящей конфигурации с хостами в публичном доступе.

  2. В той же зоне доступности создайте кластер-приемник Managed Service for ClickHouse® любой подходящей конфигурации, с хостами в публичном доступе.

    Если вы планируете подключаться к кластеру через сервис Yandex WebSQL, включите в настройках кластера настройку Доступ из WebSQL.

  3. Получите SSL-сертификат для подключения к кластеру Managed Service for OpenSearch.

  4. Убедитесь, что группы безопасности кластеров Managed Service for OpenSearch и Managed Service for ClickHouse® разрешают подключение через интернет.

  1. Если у вас еще нет Terraform, установите его.

  2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

  3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

  4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

  5. Скачайте в ту же рабочую директорию файл конфигурации opensearch-to-clickhouse.tf.

    В этом файле описаны:

    • сеть;
    • подсеть;
    • группа безопасности и правила, необходимые для подключения к кластерам Managed Service for OpenSearch и Managed Service for ClickHouse®;
    • кластер-источник Managed Service for OpenSearch с пользователем admin;
    • кластер-приемник Managed Service for ClickHouse® с пользователем и базой данных;
    • эндпоинт-приемник;
    • трансфер.
  6. Укажите в файле opensearch-to-clickhouse.tf значения параметров:

    • source_admin_password — пароль пользователя admin в кластере Managed Service for OpenSearch;

    • mos_version — версия OpenSearch;

    • mch_db_name — название базы данных в кластере Managed Service for ClickHouse®;

    • mch_username — имя пользователя в кластере Managed Service for ClickHouse®;

    • mch_user_password — пароль пользователя в кластере Managed Service for ClickHouse®;

    • source_endpoint_id — идентификатор эндпоинта-источника;

    • profile_name — имя вашего профиля в CLI.

      Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

  7. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate
    

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  8. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply
        
      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Подготовьте тестовые данныеПодготовьте тестовые данные

  1. В кластере-источнике создайте тестовый индекс people и задайте его схему:

    curl --cacert ~/.opensearch/root.crt \
         --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \
         --header 'Content-Type: application/json' \
         --request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people' && \
    curl --cacert ~/.opensearch/root.crt \
         --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \
         --header 'Content-Type: application/json' \
         --request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_mapping?pretty' \
         --data'
         {
               "properties": {
                  "name": {"type": "text"},
                  "age": {"type": "integer"}
               }
         }
         '
    
  2. Наполните тестовый индекс данными:

    curl --cacert ~/.opensearch/root.crt \
         --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \
         --header 'Content-Type: application/json' \
         --request POST 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_doc/?pretty' \
         --data'
         {
               "name": "Alice",
               "age": "30"
         }
         ' && \
    curl --cacert ~/.opensearch/root.crt \
         --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \
         --header 'Content-Type: application/json' \
         --request POST 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_doc/?pretty' \
         --data'
         {
               "name": "Robert",
               "age": "32"
         }
         '
    
  3. (Опционально) Проверьте данные в тестовом индексе:

    curl --cacert ~/.opensearch/root.crt \
         --user <имя_пользователя_в_кластере-приемнике>:<пароль_пользователя_в_кластере-приемнике> \
         --header 'Content-Type: application/json' \
         --request GET 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_search?pretty'
    

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

  1. Создайте эндпоинт-источник для созданного ранее кластера Managed Service for OpenSearch с настройками:

    • Тип базы данных — OpenSearch.
    • Настройки подключения:
      • Тип подключения — Кластер Managed Service for OpenSearch.
      • Кластер Managed Service for OpenSearch — выберите кластер Managed Service for OpenSearch из списка.
      • Пользователь — admin.
      • Пароль — пароль пользователя admin.
  2. Создайте эндпоинт-приемник и трансфер:

    Вручную
    Terraform
    1. Создайте эндпоинт-приемник:

      • Тип базы данных — ClickHouse.
      • Параметры эндпоинта:
        • Тип подключения — выберите Кластер Managed Service for ClickHouse.
        • Managed кластер — выберите кластер Managed Service for ClickHouse® из списка.
        • Пользователь — введите имя пользователя в кластере Managed Service for ClickHouse®.
        • Пароль — введите пароль пользователя в кластере Managed Service for ClickHouse®.
        • База данных — введите название БД в кластере Managed Service for ClickHouse®.
    2. Создайте трансфер типа Копирование, использующий созданные эндпоинты.

    3. Активируйте трансфер.

    1. Укажите в файле opensearch-to-clickhouse.tf значения параметра:

      • source_endpoint_id — значение идентификатора эндпоинта для источника;
      • transfer_enabled — значение 1 для создания эндпоинта-приемника и трансфера.
    2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

    3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

        terraform plan
        

        Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

        1. Выполните команду:

          terraform apply
          
        2. Подтвердите изменение ресурсов.

        3. Дождитесь завершения операции.

      Трансфер активируется автоматически после создания.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

  1. Дождитесь перехода трансфера в статус Завершен.

  2. Убедитесь, что в базу данных Managed Service for ClickHouse® перенеслись данные из кластера-источника Managed Service for OpenSearch:

    Yandex WebSQL
    CLI
    1. Создайте подключение к БД в кластере Managed Service for ClickHouse®.

    2. Проверьте, что БД содержит таблицу people с тестовыми данными. Для этого через созданное подключение выполните запрос к БД:

      SELECT * FROM people;
      
    1. Получите SSL-сертификат для подключения к кластеру Managed Service for ClickHouse®.

    2. Если у вас нет clickhouse-client, установите его.

    3. Подключитесь к БД в кластере Managed Service for ClickHouse®.

    4. Проверьте, что БД содержит таблицу people с тестовыми данными:

      SELECT * FROM people;
      

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

  1. Удалите эндпоинт для источника.

  2. Удалите остальные ресурсы в зависимости от способа их создания:

    Вручную
    Terraform
    1. Удалите трансфер.

    2. Удалите эндпоинт для приемника.

    3. Удалите кластер Managed Service for OpenSearch.

    4. Удалите кластер Managed Service for ClickHouse®.

      В сервисе Yandex WebSQL подключение к БД в кластере Managed Service for ClickHouse® удалится автоматически.

    5. Удалите подсеть.

    6. Удалите сеть.

    1. В терминале перейдите в директорию с планом инфраструктуры.

      Важно

      Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

    2. Удалите ресурсы:

      1. Выполните команду:

        terraform destroy
        
      2. Подтвердите удаление ресурсов и дождитесь завершения операции.

      Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.

Была ли статья полезна?

Предыдущая
YDB в ClickHouse®
Следующая
MySQL® в Object Storage
Проект Яндекса
© 2025 ООО «Яндекс.Облако»