Связаться с экспертомПопробовать бесплатно

Загрузка данных из Object Storage в Yandex Managed Service for ClickHouse® с помощью Yandex Data Transfer

Статья создана
Обновлена 2 ноября 2026 г.
Открыть в Markdown

Примечание

В регионе Казахстан доступна только зона доступности kz1-a.

Вы можете перенести данные из Yandex Object Storage в таблицу кластера Managed Service for ClickHouse® с помощью сервиса Data Transfer. Для этого:

  1. Подготовьте облако к работе.
  2. Подготовьте тестовые данные.
  3. Подготовьте и активируйте трансфер.
  4. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Подготовьте облако к работе

В стоимость инфраструктуры входят:

  • Бакет Object Storage: использование хранилища и выполнение операций с данными (тарифы Object Storage).
  • Кластер Managed Service for ClickHouse®: использование вычислительных ресурсов выделенных хостов, объем хранилища и резервных копий (тарифы Managed Service for ClickHouse®).
  • Публичные IP-адреса, если для хостов кластера включен публичный доступ (тарифы Virtual Private Cloud).

Подготовьте инфраструктуру

  1. Создайте кластер-приемник Managed Service for ClickHouse® со следующими настройками:

    • Конфигурация с двумя и более хостами ClickHouse® (для включения репликации в кластере).

    • Имя БД — db1.

    • Имя пользователя — user1.

    • Пароль — <пароль_пользователя>.

    • Выделен публичный доступ к хостам кластера.

      Примечание

      Публичный доступ к хостам кластера нужен, если вы планируете подключаться к кластеру через интернет. Этот вариант подключения более простой, и его рекомендуется использовать для прохождения руководства. К хостам без публичного доступа тоже можно подключиться, но только с виртуальных машин Yandex Cloud, расположенных в той же облачной сети, что и кластер.

  2. Если вы используете группы безопасности в кластере, убедитесь, что они настроены правильно и допускают подключение к нему.

  3. Создайте бакет Yandex Object Storage.

  4. Создайте сервисный аккаунт с именем storage-viewer и ролью storage.viewer. Трансфер будет использовать его для доступа к бакету.

  5. Создайте статический ключ доступа для сервисного аккаунта storage-viewer.

  1. Если у вас еще нет Terraform, установите его.

  2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

  3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

  4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

  5. Скачайте в ту же рабочую директорию файл конфигурации object-storage-to-clickhouse.tf.

    В этом файле описаны:

    • сеть;
    • подсеть;
    • группа безопасности, необходимая для подключения к кластеру;
    • сервисный аккаунт, который будет использоваться для создания бакета и дальнейшего доступа к нему;
    • секрет Yandex Lockbox, в котором будет храниться статический ключ сервисного аккаунта для настройки эндпоинта-источника;
    • бакет-источник Object Storage;
    • кластер-приемник Managed Service for ClickHouse®;
    • эндпоинт для приемника;
    • трансфер.

  6. Укажите в файле object-storage-to-clickhouse.tf:

    • folder_id — идентификатор облачного каталога, такой же, как в настройках провайдера.
    • bucket_name — имя бакета в соответствии с правилами именования.
    • ch_password — пароль пользователя ClickHouse®.

  7. Создайте ресурсы:

    1. В терминале перейдите в директорию с конфигурационным файлом.

    2. Проверьте корректность конфигурации с помощью команды:

      terraform validate

      Если конфигурация является корректной, появится сообщение:

      Success! The configuration is valid.

    3. Выполните команду:

      terraform plan

      В терминале будет выведен список планируемых изменений: ресурсы и/или выходные переменные. На этом этапе изменения не будут внесены. Если в конфигурации есть ошибки, Terraform на них укажет.

    4. Примените изменения конфигурации:

      terraform apply

    5. Подтвердите изменения: введите в терминале слово yes и нажмите Enter.

    В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Подготовьте тестовые данные

  1. Подготовьте два CSV-файла с тестовыми данными:

    • demo_data1.csv:

      1,Anna
2,Robert
3,Umar
4,Algul
5,Viktor

    • demo_data2.csv:

      6,Maria
7,Alex

  2. Загрузите файл demo_data1.csv в бакет Object Storage.

Подготовьте и активируйте трансфер

  1. Создайте эндпоинт-источник типа Object Storage со следующими настройками:

    • Тип базы данных — Object Storage.

    • Настройки подключения → Настроить вручную:

    • Формат данных — CSV.

    • Разделитель — запятая ,.

    • Таблица — table1.

    • Схема результирующей таблицы — выберите Вручную и укажите имена полей и типы данных:

      • Id: Int64;
      • Name: UTF8.

    Остальные параметры оставьте по умолчанию.

  2. Создайте эндпоинт-приемник и трансфер:

    1. Создайте эндпоинт-приемник типа ClickHouse® и укажите в нем параметры подключения к кластеру:

      • Тип подключения — Кластер Managed Service for ClickHouse.
      • Managed кластер — кластер приемника ClickHouse® из выпадающего списка.
      • База данных — db1.
      • Пользователь — user1.
      • Пароль — <пароль_пользователя>.

    2. Создайте трансфер типа Копирование и репликация, использующий созданные эндпоинты.

    3. Активируйте трансфер и дождитесь его перехода в статус Реплицируется.

    1. Укажите в файле object-storage-to-clickhouse.tf значения параметров:

      • source_endpoint_id — идентификатор эндпоинта для источника.
      • transfer_enabled — значение 1 для создания трансфера.

    2. Обновите ресурсы:

      1. В терминале перейдите в директорию с конфигурационным файлом.

      2. Проверьте корректность конфигурации с помощью команды:

        terraform validate

        Если конфигурация является корректной, появится сообщение:

        Success! The configuration is valid.

      3. Выполните команду:

        terraform plan

        В терминале будет выведен список планируемых изменений: ресурсы и/или выходные переменные. На этом этапе изменения не будут внесены. Если в конфигурации есть ошибки, Terraform на них укажет.

      4. Примените изменения конфигурации:

        terraform apply

      5. Подтвердите изменения: введите в терминале слово yes и нажмите Enter.

      Трансфер активируется автоматически. Дождитесь его перехода в статус Реплицируется. Активация может занять 5−10 минут.

Проверьте работоспособность трансфера

Чтобы убедиться в работоспособности трансфера, проверьте работу копирования и репликации.

Проверьте работу копирования

  1. Подключитесь к базе данных db1 в кластере-приемнике Managed Service for ClickHouse®.

  2. Выполните запрос:

    SELECT * FROM db1.table1;
    Пример ответа
      __file_name  | __row_index | Id |  Name
--------------+-------------+----+--------
demo_data1.csv |           1 |  1 | Anna
demo_data1.csv |           2 |  2 | Robert
demo_data1.csv |           3 |  3 | Umar
demo_data1.csv |           4 |  4 | Algul
demo_data1.csv |           5 |  5 | Viktor

Проверьте работу репликации

  1. Загрузите файл demo_data2.csv в бакет Object Storage.

  2. Убедитесь, что данные из файла demo_data2.csv появились в базе данных приемника:

    1. Подключитесь к базе данных db1 в кластере-приемнике Managed Service for ClickHouse®.

    2. Выполните запрос:

      SELECT * FROM db1.table1;
      Пример ответа
        __file_name  | __row_index | Id |  Name
---------------+-------------+----+-------
demo_data1.csv |           1 |  1 | Anna
demo_data1.csv |           2 |  2 | Robert
demo_data1.csv |           3 |  3 | Umar
demo_data1.csv |           4 |  4 | Algul
demo_data1.csv |           5 |  5 | Viktor
demo_data2.csv |           1 |  6 | Maria
demo_data2.csv |           2 |  7 | Alex

Удалите созданные ресурсы

Примечание

Перед удалением созданных ресурсов деактивируйте трансфер.

Чтобы перестать платить за созданные ресурсы:

  1. Удалите трансфер.

  2. Удалите эндпоинт-источник.

  3. Удалите объекты из бакета.

  4. Остальные ресурсы удалите в зависимости от способа их создания:

    1. В терминале перейдите в директорию с планом инфраструктуры.

      Важно

      Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

    2. Удалите ресурсы:

      1. Выполните команду:

        terraform destroy

      2. Подтвердите удаление ресурсов и дождитесь завершения операции.

      Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.

Предыдущая
Загрузка данных в Yandex MPP Analytics for PostgreSQL с помощью Yandex Data Transfer
Следующая
Миграция данных из Yandex Object Storage в Yandex Managed Service for MySQL® с помощью Yandex Data Transfer