Передача данных из эндпоинта-источника Яндекс Метрика
Важно
Этот документ не применим для пользователей Yandex Cloud в регионе Казахстан. См. полный перечень поддерживаемых эндпоинтов в Data Transfer.
С помощью сервиса Data Transfer вы можете перенести данные из счетчика Яндекс Метрика
- Ознакомьтесь с возможными сценариями передачи данных.
- Настройте эндпоинт-источник в Yandex Data Transfer.
- Настройте один из поддерживаемых приемников данных.
- Cоздайте и запустите трансфер.
- Выполняйте необходимые действия по работе с базой и контролируйте трансфер.
- При возникновении проблем, воспользуйтесь готовыми решениями по их устранению.
Сценарии передачи данных из Яндекс Метрика
С помощью сервиса Data Transfer вы можете перенести данные из счетчика Яндекс Метрика
- обработки данных средствами ClickHouse®;
- стриминга из ClickHouse® в другие локации;
- визуализации с помощью Yandex DataLens
или других сервисов.
См. практическое руководство по переносу данных из счетчика Яндекс Метрика в кластер ClickHouse®.
Подробное описание остальных возможных сценариев передачи данных в Yandex Data Transfer см. в разделе Практические руководства.
Настройка эндпоинта-источника Metrica
Примечание
Передача данных из источника Яндекс Метрика возможна при подключении пакета Метрика Про
При создании или изменении эндпоинта задайте настройки доступа к сервису Яндекс Метрика
- Счётчики — укажите номера счетчиков
, из которых будут поступать данные. - Токен — укажите токен для подтверждения доступа к счетчикам. Его можно получить по ссылке
. - (Опционально) укажите временной интервал, для которого надо произвести выгрузку данных. Эта возможность поддержана для трансферов типа Копирование. Интервал не может быть больше года. Конечная дата должна быть позже начальной даты на семь дней.
- Хиты — выберите, передавать ли информацию о хитах.
- Поля — выберите поля хита, которые нужно экспортировать. Помимо выбранных полей, всегда экспортируется несколько обязательных полей.
- Визиты — выберите, передавать ли информацию о визитах.
- Поля — выберите поля визита, которые нужно экспортировать. Помимо выбранных полей, всегда экспортируется несколько обязательных полей.
-
Тип эндпоинта —
metrika_source
. -
counter_ids
— номера счетчиков , из которых будут поступать данные. -
token.raw
— токен для подтверждения доступа к счетчикам. Его можно получить по ссылке . -
streams
— параметры передаваемых данных:-
type
— тип данных. Укажите одно из значений:METRIKA_STREAM_TYPE_HITS
— хиты (необновляемые, устарело);METRIKA_STREAM_TYPE_HITS_V2
— хиты;METRIKA_STREAM_TYPE_VISITS
— визиты.
-
columns
— список полей, которые нужно экспортировать. Их можно посмотреть в консоли управления. Помимо указанных полей всегда экспортируется несколько обязательных полей.
-
Пример структуры конфигурационного файла:
resource "yandex_datatransfer_endpoint" "<имя_эндпоинта_в_Terraform>" {
name = "<имя_эндпоинта>"
settings {
metrika_source {
counter_ids = [<номера_счетчиков>]
token {
raw = "<токен>"
}
streams {
type = "<тип_данных>"
columns = ["<список_полей>"]
}
}
}
}
-
counterIds
— номера счетчиков , из которых будут поступать данные. -
token.raw
— токен для подтверждения доступа к счетчикам. Его можно получить по ссылке . -
streams
— параметры передаваемых данных:-
type
— тип данных. Укажите одно из значений:METRIKA_STREAM_TYPE_HITS
— хиты (необновляемые, устарело);METRIKA_STREAM_TYPE_HITS_V2
— хиты;METRIKA_STREAM_TYPE_VISITS
— визиты.
-
columns
— список полей, которые нужно экспортировать. Их можно посмотреть в консоли управления. Помимо указанных полей всегда экспортируется несколько обязательных полей.
-
Подробнее о настройках см. в документации сервиса
Настройка приемника данных
Настройте поддерживаемый приемник данных:
Полный список поддерживаемых источников и приемников в сервисе Yandex Data Transfer см. в разделе Доступные трансферы.
После настройки источника и приемника данных создайте и запустите трансфер.
ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc