Асинхронная репликация данных из Яндекс Метрика в ClickHouse® с помощью Yandex Data Transfer
Примечание
Передача данных из источника Яндекс Метрика возможна при подключении пакета Метрика Про
С помощью сервиса Data Transfer вы можете перенести данные из счетчика Яндекс Метрика
- обработки данных средствами ClickHouse®;
- стриминга из ClickHouse® в другие локации;
- визуализации с помощью Yandex DataLens
или других сервисов.
Чтобы перенести данные:
Если созданные ресурсы вам больше не нужны, удалите их.
Перед началом работы
Подготовьте инфраструктуру:
-
Выберите
счетчик Яндекс Метрика или создайте и установите новый счетчик. -
Создайте кластер-приемник Managed Service for ClickHouse® любой подходящей конфигурации.
Подготовьте и активируйте трансфер
-
Создайте эндпоинт для источника
Metrica
.Хиты и визиты переносятся как отдельные таблицы.
-
Создайте эндпоинт для приемника:
-
Тип базы данных —
ClickHouse
. -
Параметры эндпоинта → Тип подключения —
Managed кластер
.Выберите кластер-приемник из списка и укажите настройки подключения к нему.
-
-
Создайте трансфер типа Репликация, использующий созданные эндпоинты.
-
Активируйте его.
Трансфер не переносит исторические данные, только текущие. Если трансфер деактивировать и активировать снова:
-
Данные полученные счетчиком Яндекс Метрика, пока трансфер был деактивирован, перенесены не будут.
-
В соответствии с политикой очистки, выбранной в эндпоинте-приемнике, существующие таблицы с данными будут:
- Drop — удалены вместе с данными и созданы заново с теми же именами.
- Truncate — очищены от существующих данных, но сами таблицы и их схемы останутся.
- Не очищать — использоваться для дальнейшей записи данных.
Проверьте работоспособность трансфера
-
Дождитесь перехода трансфера в статус Реплицируется.
-
Убедитесь, что в базу данных Managed Service for ClickHouse® перенеслись данные из счетчика Яндекс Метрика:
-
Подключитесь к кластеру с помощью
clickhouse-client
. -
Проверьте, что в базе данных появились таблицы хитов и визитов:
SELECT table FROM system.tables WHERE database = '<имя_базы_данных_ClickHouse®>'
Результат:
┌─table───────────────────────┐ │ hits_dt... │ │ visits_dt... │ └─────────────────────────────┘
-
Проверьте, что таблицы хитов и визитов содержат данные из счетчика:
SELECT * FROM <имя_таблицы_хитов_или_визитов>
-
Удалите созданные ресурсы
Примечание
Перед тем как удалить созданные ресурсы, деактивируйте трансфер.
Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:
- Удалите трансфер.
- Удалите эндпоинты для источника и приемника.
- Удалите кластер Managed Service for ClickHouse®.
- Удалите счетчик Яндекс Метрика из личного кабинета Метрики Про
.
ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc