Связаться с намиПодключиться

Передача данных из эндпоинта-источника Яндекс Метрика

Статья создана
Обновлена 18 июля 2024 г.

С помощью сервиса Data Transfer вы можете перенести данные из счетчика Яндекс Метрика в управляемую базу данных Yandex Cloud.

  1. Ознакомьтесь с возможными сценариями передачи данных.
  2. Настройте эндпоинт-источник в Yandex Data Transfer.
  3. Настройте один из поддерживаемых приемников данных.
  4. Cоздайте и запустите трансфер.
  5. Выполняйте необходимые действия по работе с базой и контролируйте трансфер.
  6. При возникновении проблем, воспользуйтесь готовыми решениями по их устранению.

Сценарии передачи данных из Яндекс Метрика

С помощью сервиса Data Transfer вы можете перенести данные из счетчика Яндекс Метрика в кластер ClickHouse®. Такой перенос обеспечивает полноту переносимых данных из Яндекс Метрика и предоставляет возможности для:

  • обработки данных средствами ClickHouse®;
  • стриминга из ClickHouse® в другие локации;
  • визуализации с помощью Yandex DataLens или других сервисов.

См. практическое руководство по переносу данных из счетчика Яндекс Метрика в кластер ClickHouse®.

Подробное описание остальных возможных сценариев передачи данных в Yandex Data Transfer см. в разделе Практические руководства.

Настройка эндпоинта-источника Metrica

Примечание

Передача данных из источника Яндекс Метрика возможна при подключении пакета Метрика Про или использовании Data Streaming из Яндекс Метрики.

При создании или изменении эндпоинта задайте настройки доступа к сервису Яндекс Метрика.

  • Счётчики — укажите номера счетчиков, из которых будут поступать данные.
  • Токен — укажите токен для подтверждения доступа к счетчикам. Его можно получить по ссылке.
  • Хиты — выберите, передавать ли информацию о хитах.
    • Поля — выберите поля хита, которые нужно экспортировать. Помимо выбранных полей, всегда экспортируется несколько обязательных полей.
  • Визиты — выберите, передавать ли информацию о визитах.
    • Поля — выберите поля визита, которые нужно экспортировать. Помимо выбранных полей, всегда экспортируется несколько обязательных полей.

  • Тип эндпоинта — metrika_source.

  • counter_ids — номера счетчиков, из которых будут поступать данные.

  • token.raw — токен для подтверждения доступа к счетчикам. Его можно получить по ссылке.

  • streams — параметры передаваемых данных:

    • type — тип данных. Укажите одно из значений:

      • METRIKA_STREAM_TYPE_HITS — хиты (необновляемые, устарело);
      • METRIKA_STREAM_TYPE_HITS_V2 — хиты;
      • METRIKA_STREAM_TYPE_VISITS — визиты.

    • columns — список полей, которые нужно экспортировать. Их можно посмотреть в консоли управления. Помимо указанных полей всегда экспортируется несколько обязательных полей.

Пример структуры конфигурационного файла:

resource "yandex_datatransfer_endpoint" "<имя_эндпоинта_в_Terraform>" {
  name = "<имя_эндпоинта>"
  settings {
    metrika_source {
      counter_ids = [<номера_счетчиков>]
      token {
        raw = "<токен>"
      }
      streams {
        type    = "<тип_данных>"
        columns = ["<список_полей>"]
      }
    }
  }
}

  • counterIds — номера счетчиков, из которых будут поступать данные.

  • token.raw — токен для подтверждения доступа к счетчикам. Его можно получить по ссылке.

  • streams — параметры передаваемых данных:

    • type — тип данных. Укажите одно из значений:

      • METRIKA_STREAM_TYPE_HITS — хиты (необновляемые, устарело);
      • METRIKA_STREAM_TYPE_HITS_V2 — хиты;
      • METRIKA_STREAM_TYPE_VISITS — визиты.

    • columns — список полей, которые нужно экспортировать. Их можно посмотреть в консоли управления. Помимо указанных полей всегда экспортируется несколько обязательных полей.

Подробнее о настройках см. в документации сервиса.

Настройка приемника данных

Настройте поддерживаемый приемник данных:

Полный список поддерживаемых источников и приемников в сервисе Yandex Data Transfer см. в разделе Доступные трансферы.

После настройки источника и приемника данных создайте и запустите трансфер.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.

Предыдущая
Приемник
Следующая
Источник