Связаться с намиПодключиться

Загрузка данных из Yandex Managed Service for YDB в Managed Service for ClickHouse® с помощью Yandex Data Transfer

Статья создана
Обновлена 27 сентября 2024 г.

Важно

Этот документ не применим для пользователей Yandex Cloud в регионе Казахстан. См. полный перечень поддерживаемых эндпоинтов в Data Transfer.

С помощью сервиса Data Transfer вы можете загружать данные из базы данных Managed Service for YDB в кластер Managed Service for ClickHouse®.

Чтобы загрузить данные:

  1. Подготовьте тестовые данные.
  2. Подготовьте и активируйте трансфер.
  3. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Подготовьте инфраструктуру:

  1. Создайте базу данных Managed Service for YDB ydb1 любой подходящей конфигурации.

  2. Создайте кластер Managed Service for ClickHouse® любой подходящей конфигурации с хостами в публичном доступе и следующими настройками:

    • Имя БД — db1.
    • Имя пользователя — user1.

  3. Если вы используете группы безопасности в кластере, убедитесь, что они настроены правильно и допускают подключение к кластеру Managed Service for ClickHouse®.

  4. Создайте сервисный аккаунт с именем ydb-account и ролью ydb.editor. Трансфер будет использовать его для доступа к базе данных.

  1. Если у вас еще нет Terraform, установите его.

  2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

  3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

  4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

  5. Скачайте в ту же рабочую директорию файл конфигурации ydb-to-clickhouse.tf.

    В этом файле описаны:

    • сеть;
    • подсеть;
    • группа безопасности и правила, необходимые для подключения к кластеру Managed Service for ClickHouse® из интернета;
    • база данных Managed Service for YDB;
    • кластер-приемник Managed Service for ClickHouse®;
    • эндпоинт для источника;
    • эндпоинт для приемника;
    • трансфер.

  6. Укажите в файле ydb-to-clickhouse.tf параметры:

    • mch_version — версия ClickHouse®.
    • mch_password — пароль пользователя-владельца базы данных ClickHouse®.

  7. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  8. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Подготовьте тестовые данные

  1. Подключитесь к базе данных Managed Service for YDB.

  2. Создайте строковую таблицу table1 со следующими колонками:

    Имя Тип Первичный ключ
    Id Int64 Да
    Name Utf8

    Вы также можете создать таблицу с помощью SQL-запроса:

    CREATE TABLE table1 (
    Id Int64,
    Name Utf8,
    PRIMARY KEY (Id)
)

  3. Заполните таблицу данными с помощью SQL-запроса:

    INSERT INTO table1 (Id, Name)
VALUES
    (1, "Anna"),
    (2, "Robert"),
    (3, "Umar"),
    (4, "Algul"),
    (5, "Viktor");

Подготовьте и активируйте трансфер

  1. Создайте эндпоинт для источника типа YDB и укажите в нем параметры подключения к базе данных:

    • Настройки подключения:

      • База данных — выберите базу данных Managed Service for YDB из списка.
      • Идентификатор сервисного аккаунта — выберите сервисный аккаунт ydb-account.

    • Список включенных путей — укажите таблицу table1.

  2. Создайте эндпоинт для приемника типа ClickHouse® и укажите в нем параметры подключения к кластеру:

    • Тип подключения — Кластер Managed Service for ClickHouse.
    • Managed кластер — <имя_кластера_приемника_ClickHouse®> из выпадающего списка.
    • База данных — db1.
    • Пользователь — user1.
    • Пароль — <пароль_пользователя>.

  3. Создайте трансфер типа Копирование и репликация, использующий созданные эндпоинты.

  4. Активируйте трансфер и дождитесь его перехода в статус Реплицируется.

  1. Укажите в файле ydb-to-clickhouse.tf значение 1 для параметра transfer_enabled.

  2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  3. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    Трансфер активируется автоматически после создания.

Проверьте работоспособность трансфера

Чтобы убедиться в работоспособности трансфера, проверьте работу копирования и репликации.

Проверьте работу копирования

  1. Подключитесь к базе данных db1 в кластере-приемнике Managed Service for ClickHouse®.

  2. Выполните запрос:

    SELECT * FROM db1.table1;
    Пример ответа
    # | Id  | Name     | __data_transfer_commit_time | __data_transfer_delete_time
--+-----+----------+-----------------------------+----------------------------
1 | "1" | "Anna"   | "1722023098109014844"       | "0"
2 | "2" | "Robert" | "1722023098109014844"       | "0"
3 | "3" | "Umar"   | "1722023098109014844"       | "0"
4 | "4" | "Algul"  | "1722023098109014844"       | "0"
5 | "5" | "Viktor" | "1722023098109014844"       | "0"

Проверьте работу репликации

  1. Подключитесь к базе данных Managed Service for YDB.

  2. Добавьте данные в таблицу table1:

    INSERT INTO table1 (Id, Name)
VALUES
    (6, "Maria"),
    (7, "Alex");

  3. Убедитесь, что новые данные появились в базе данных приемника:

    1. Подключитесь к базе данных db1 в кластере-приемнике Managed Service for ClickHouse®.

    2. Выполните запрос:

      SELECT * FROM db1.table1;
      Пример ответа
      # | Id  | Name     | __data_transfer_commit_time | __data_transfer_delete_time
--+-----+----------+-----------------------------+----------------------------
1 | "1" | "Anna"   | "1722023098109014844"       | "0"
2 | "2" | "Robert" | "1722023098109014844"       | "0"
3 | "3" | "Umar"   | "1722023098109014844"       | "0"
4 | "4" | "Algul"  | "1722023098109014844"       | "0"
5 | "5" | "Viktor" | "1722023098109014844"       | "0"
6 | "6" | "Maria"  | "1722023655224000000"       | "0"
7 | "7" | "Alex"   | "1722023655225000000"       | "0"

Удалите созданные ресурсы

Примечание

Перед тем как удалить созданные ресурсы, деактивируйте трансфер.

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

  1. В терминале перейдите в директорию с планом инфраструктуры.

  2. Удалите конфигурационный файл ydb-to-clickhouse.tf.

  3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Подтвердите изменение ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    Все ресурсы, которые были описаны в конфигурационном файле ydb-to-clickhouse.tf, будут удалены.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.

Предыдущая
Асинхронная репликация данных из PostgreSQL в ClickHouse®
Следующая
Копирование данных из Managed Service for OpenSearch в Managed Service for ClickHouse® с помощью Yandex Data Transfer