Передача данных из эндпоинта-источника Яндекс Метрика
Важно
Этот документ не применим для пользователей Yandex Cloud в регионе Казахстан. Смотрите полный перечень поддерживаемых эндпоинтов в Data Transfer.
С помощью сервиса Data Transfer вы можете перенести данные из счетчика Яндекс Метрика в управляемую базу данных Yandex Cloud.
- Ознакомьтесь с возможными сценариями передачи данных.
- Настройте эндпоинт-источник в Yandex Data Transfer.
- Настройте один из поддерживаемых приемников данных.
- Создайте и запустите трансфер.
- Выполняйте необходимые действия по работе с базой и контролируйте трансфер.
- При возникновении проблем, воспользуйтесь готовыми решениями по их устранению.
Сценарии передачи данных из Яндекс Метрика
С помощью сервиса Data Transfer вы можете перенести данные из счетчика Яндекс Метрика в кластер ClickHouse®. Такой перенос обеспечивает полноту переносимых данных из Яндекс Метрика и предоставляет возможности для:
- обработки данных средствами ClickHouse®;
- стриминга из ClickHouse® в другие локации;
- визуализации с помощью Yandex DataLens или других сервисов.
Смотрите практическое руководство по переносу данных из счетчика Яндекс Метрика в кластер ClickHouse®.
Подробное описание остальных возможных сценариев передачи данных в Yandex Data Transfer читайте в разделе Практические руководства.
Настройка эндпоинта-источника Metrica
Примечание
Передача данных из источника Яндекс Метрика возможна при подключении пакета Метрика Про или использовании Data Streaming из Яндекс Метрики.
При создании или изменении эндпоинта задайте настройки доступа к сервису Яндекс Метрика.
-
Счётчики — укажите номера счетчиков, из которых будут поступать данные.
-
Токен — укажите токен для подтверждения доступа к счетчикам. Его можно получить по ссылке. Срок действия токена — один год. При этом:
- активированные трансферы продолжают работу после истечения токена;
- изменение списка переносимых счетчиков вызовет ошибку трансфера, если токен устарел или у владельца токена нет доступа к счетчикам;
- деактивация трансфера удаляет экспорт, поэтому для повторной активации нужен актуальный токен. При ошибке на трансфере экспорт сохраняется, и повторная активация не требует обновления токена.
-
(Опционально) укажите временной интервал, для которого надо произвести выгрузку данных. Эта возможность поддержана для трансферов типа Копирование. Конечная дата должна быть позже начальной даты на семь дней.
-
Хиты — выберите, передавать ли информацию о хитах.
- Поля — выберите поля хита, которые нужно экспортировать. Помимо выбранных полей, всегда экспортируется несколько обязательных полей.
-
Визиты — выберите, передавать ли информацию о визитах.
- Поля — выберите поля визита, которые нужно экспортировать. Помимо выбранных полей, всегда экспортируется несколько обязательных полей.
-
Тип эндпоинта —
metrika_source. -
counter_ids— номера счетчиков, из которых будут поступать данные. -
token.raw— токен для подтверждения доступа к счетчикам. Его можно получить по ссылке. Срок действия токена — один год. При этом:- активированные трансферы продолжают работу после истечения токена;
- изменение списка переносимых счетчиков вызовет ошибку трансфера, если токен устарел или у владельца токена нет доступа к счетчикам;
- деактивация трансфера удаляет экспорт, поэтому для повторной активации нужен актуальный токен. При ошибке на трансфере экспорт сохраняется, и повторная активация не требует обновления токена.
-
streams— параметры передаваемых данных:-
type— тип данных. Укажите одно из значений:METRIKA_STREAM_TYPE_HITS— хиты (необновляемые, устарело);METRIKA_STREAM_TYPE_HITS_V2— хиты;METRIKA_STREAM_TYPE_VISITS— визиты.
-
columns— список полей, которые нужно экспортировать. Их можно посмотреть в консоли управления. Помимо указанных полей всегда экспортируется несколько обязательных полей.
-
Пример структуры конфигурационного файла:
resource "yandex_datatransfer_endpoint" "<имя_эндпоинта_в_Terraform>" {
name = "<имя_эндпоинта>"
settings {
metrika_source {
counter_ids = [<номера_счетчиков>]
token {
raw = "<токен>"
}
streams {
type = "<тип_данных>"
columns = ["<список_полей>"]
}
}
}
}
-
counterIds— номера счетчиков, из которых будут поступать данные. -
token.raw— токен для подтверждения доступа к счетчикам. Его можно получить по ссылке. Срок действия токена — один год. При этом:- активированные трансферы продолжают работу после истечения токена;
- изменение списка переносимых счетчиков вызовет ошибку трансфера, если токен устарел или у владельца токена нет доступа к счетчикам;
- деактивация трансфера удаляет экспорт, поэтому для повторной активации нужен актуальный токен. При ошибке на трансфере экспорт сохраняется, и повторная активация не требует обновления токена.
-
streams— параметры передаваемых данных:-
type— тип данных. Укажите одно из значений:METRIKA_STREAM_TYPE_HITS— хиты (необновляемые, устарело);METRIKA_STREAM_TYPE_HITS_V2— хиты;METRIKA_STREAM_TYPE_VISITS— визиты.
-
columns— список полей, которые нужно экспортировать. Их можно посмотреть в консоли управления. Помимо указанных полей всегда экспортируется несколько обязательных полей.
-
Подробнее о настройках в документации сервиса.
Настройка приемника данных
Настройте поддерживаемый приемник данных:
Полный список поддерживаемых источников и приемников в сервисе Yandex Data Transfer читайте в разделе Доступные трансферы.
После настройки источника и приемника данных создайте и запустите трансфер.
ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.