Асинхронная репликация данных из Яндекс Метрика в ClickHouse® с помощью Yandex Data Transfer

С помощью сервиса Data Transfer вы можете перенести данные из счетчика Яндекс Метрика в кластер ClickHouse®. Такой перенос обеспечивает полноту переносимых данных из Яндекс Метрика и предоставляет возможности для:

• обработки данных средствами ClickHouse®;
• стриминга из ClickHouse® в другие локации;
• визуализации с помощью Yandex DataLens или других сервисов.

Чтобы перенести данные:

1. Подготовьте и активируйте трансфер.
2. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за кластер Managed Service for ClickHouse®: использование вычислительных ресурсов, выделенных хостам (в том числе хостам ZooKeeper), и дискового пространства (см. тарифы Managed Service for ClickHouse®).
• Плата за использование публичных IP-адресов, если для хостов кластера включен публичный доступ (см. тарифы Virtual Private Cloud).
• Плата за пакет Метрика Про.
• Плата за каждый трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Data Transfer).

Перед началом работыПеред началом работы

Подготовьте инфраструктуру:

1. Выберите счетчик Яндекс Метрика или создайте и установите новый счетчик.

2. Создайте кластер-приемник Managed Service for ClickHouse® любой подходящей конфигурации.

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

1. Создайте эндпоинт для источника Metrica.

   Хиты и визиты переносятся как отдельные таблицы.

2. Создайте эндпоинт для приемника:

   • Тип базы данных — ClickHouse.

   • Параметры эндпоинта → Тип подключения — Managed кластер.

     Выберите кластер-приемник из списка и укажите настройки подключения к нему.

3. Создайте трансфер типа Репликация, использующий созданные эндпоинты.

4. Активируйте его.

Трансфер не переносит исторические данные, только текущие. Если трансфер деактивировать и активировать снова:

1. Данные полученные счетчиком Яндекс Метрика, пока трансфер был деактивирован, перенесены не будут.

2. В соответствии с политикой очистки, выбранной в эндпоинте-приемнике, существующие таблицы с данными будут:

   • Drop — удалены вместе с данными и созданы заново с теми же именами.
   • Truncate — очищены от существующих данных, но сами таблицы и их схемы останутся.
   • Не очищать — использоваться для дальнейшей записи данных.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

1. Дождитесь перехода трансфера в статус Реплицируется.

2. Убедитесь, что в базу данных Managed Service for ClickHouse® перенеслись данные из счетчика Яндекс Метрика:

   1. Подключитесь к кластеру с помощью clickhouse-client.

   2. Проверьте, что в базе данных появились таблицы хитов и визитов:

      SELECT table FROM system.tables
      WHERE database = '<имя_базы_данных_ClickHouse®>'
      

      Результат:

      ┌─table───────────────────────┐
      │ hits_dt...                  │
      │ visits_dt...                │
      └─────────────────────────────┘
      

   3. Проверьте, что таблицы хитов и визитов содержат данные из счетчика:

      SELECT * FROM <имя_таблицы_хитов_или_визитов>
      

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

1. Удалите трансфер.
2. Удалите эндпоинты для источника и приемника.
3. Удалите кластер Managed Service for ClickHouse®.
4. Удалите счетчик Яндекс Метрика из личного кабинета Метрики Про.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.