Связаться с намиПодключиться

Yandex Tracker: экспорт и визуализация данных

Статья создана
Обновлена 22 октября 2024 г.

Визуализация данных из Tracker в Yandex DataLens позволяет построить более сложную аналитику, чем это возможно средствами самого Tracker.

Для визуализации данных из Tracker в DataLens необходимо:

  • организовать регулярный экспорт данных во внешнее хранилище;
  • визуализировать необходимые метрики и данные с помощью DataLens.

Для визуализации данных выполните следующие шаги:

  1. Подготовьте облако к работе.
  2. Создайте БД для хранения данных Tracker.
  3. Создайте OAuth токен для доступа к Tracker.
  4. Создайте функцию Cloud Functions для импорта данных.
  5. Создайте подключение к DataLens.
  6. Создайте датасет.
  7. Создайте чарт.
  8. Создайте дашборд в DataLens и добавьте на него чарты.

Перед началом работы

Примечание

Рекомендуется создать отдельную учетную запись Tracker для работы с сервисом.

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
  2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Если созданные ресурсы вам больше не нужны, удалите их.

Создайте БД для хранения данных Tracker

  1. Перейдите в консоль управления.
  2. В левом верхнем углу нажмите кнопку Все сервисы.
  3. Выберите Платформа данных → Managed Service for ClickHouse.
  4. Нажмите кнопку Создать кластер ClickHouse.
  5. Укажите параметры кластера:
    • Базовые параметры:
      • Окружение — PRODUCTION;
      • Версия — 22.8 LTS;
    • Ресурсы:
      • Платформа — Intel Ice Lake;
      • Тип — standart;
      • Класс хоста — s3-c2-m8 (2 vCPU, 8 ГБ);
    • Размер хранилища — 30 ГБ;
    • Хосты:
      • Публичный доступ — Включено;
    • Настройки СУБД:
      • Управление пользователями через SQL — Выключено;
      • Управление базами данных через SQL — Выключено;
      • Имя пользователя — tracker_data;
      • Имя БД — db1;
    • Сервисные настройки:
  6. Нажмите кнопку Создать кластер. Дождитесь, когда статус созданного кластера сменится на Alive.
  7. Скопируйте и сохраните имя хоста для дальнейшей настройки Cloud Functions.
    Вкладка Хосты

Создайте OAuth токен для доступа к Tracker

  1. Перейдите на страницу Создание приложения.

  2. Заполните поля:

    • Название вашего сервиса;
    • Платформы — Веб-сервисы;
    • Redirect URI — нажмите на строку Подставить URL для отладки или впишите адрес https://oauth.yandex.ru/verification_code.

  3. В разделе Доступ к данным укажите:

    • Чтение из трекера;
    • Запись в трекер.

  4. Нажмите кнопку Создать приложение.

  5. В новом окне введите в адресную строку браузера адрес:

    https://oauth.yandex.ru/authorize?response_type=token&client_id=<идентификатор_приложения>

    Где client_id — идентификатор созданного приложения в поле ClientID.

  6. Авторизуйтесь с помощью учетной записи Tracker, которая будет использоваться для визуализации.

  7. Сохраните полученный OAuth токен.

Создайте функцию Cloud Functions для импорта данных

  1. Перейдите в консоль управления.
  2. В левом верхнем углу нажмите кнопку Все сервисы.
  3. Выберите Бессерверные вычисления → Cloud Functions.
  4. Нажмите кнопку Создать функцию.
  5. Укажите название функции и нажмите кнопку Создать.
  6. В открывшемся окне Редактор выберите среду выполнения Python.
  7. Нажмите кнопку Продолжить.
  8. В поле Способ нажмите кнопку ZIP-архив.
  9. Прикрепите тестовый архив.
  10. В поле Точка входа укажите tracker_import.handler.
  11. В разделе Параметры укажите:
    • Таймаут, c — 60;
    • Память — 1024;
    • Переменные окружения:

      • TRACKER_ORG_ID — ID организации Яндекс 360 для бизнеса.

        Примечание

        Если у вас используется организация Yandex Cloud Organization (проверить можно на странице администрирования), в коде функции tracker_import.py замените заголовок X-Org-ID на X-Cloud-Org-Id.

      • TRACKER_OAUTH_TOKEN — OAuth токен учетной записи Tracker.

      • CH_HOST — имя хоста.

      • CH_DB — название базы данных.

      • CH_USER — имя пользователя.

      • CH_PASSWORD — пароль.

      • CH_ISSUES_TABLE — tracker_issues.

      • CH_CHANGELOG_TABLE — tracker_changelog.

      • TRACKER_INITIAL_HISTORY_DEPTH — 1d.

      • CH_STATUSES_VIEW — v_tracker_statuses.

  12. Нажмите кнопку Сохранить изменения.
  13. На вкладке Тестирование нажмите кнопку Запустить тест.
  14. Результат теста — лог импорта данных: 
    {
    "statusCode": 200,
    "headers": {
    "Content-Type": "text/plain"
    },
    "isBase64Encoded": false,
    "body": "OK"
}
  15. Создайте триггер для регулярного экспорта новых данных в БД:
    1. Откройте раздел Cloud Functions.
    2. Нажмите → Создать триггер.
    3. Укажите тип триггера — Таймер.
    4. В поле Cron-выражение выберите Каждый день.
    5. В разделе Настройки функции нажмите кнопку Создать новый.
    6. Укажите имя аккаунта. По умолчанию аккаунту присвоена роль functions.functionInvoker для работы с триггером.
    7. Нажмите кнопку Создать.
    8. Нажмите кнопку Создать триггер.

Создайте подключение в DataLens

  1. Откройте кластер Managed Service for ClickHouse®.

  2. В левой части окна выберите раздел DataLens.

  3. Нажмите кнопку Создать подключение.

  4. Укажите настройки подключения:

  5. Нажмите кнопку Создать подключение.

Создайте датасет

  1. Перейдите на страницу подключений.
  2. Выберите подключение.
  3. В правом верхнем углу нажмите кнопку Создать датасет.
  4. Перенесите на рабочую область одну или несколько таблиц:
    • db1.v_tracker_issues — текущий (последний) срез задач;
    • db1.v_tracker_changelog — история изменения параметров задач;
    • Db1.v_tracker_statuses – время переходов между статусами на основе истории изменения задач.
  5. Нажмите кнопку Сохранить.

Создайте чарт

  1. Перейдите на главную страницу DataLens.

  2. Нажмите кнопку Создать чарт.

  3. В левом верхнем углу нажмите Выберите датасет.

  4. В выпадающем списке Датасеты выберите датасет, созданный на предыдущем шаге.

  5. На верхней панели выберите тип визуализации. По умолчанию выбран тип Столбчатая диаграмма.

Создайте дашборд и добавьте на него чарты

  1. На главной странице Yandex DataLens нажмите Создать дашборд.

  2. В верхней части страницы дашборда нажмите кнопку Добавить → Чарт.

  3. Заполните параметры виджета. Обратите внимание на следующие поля:

    • Название. Задает имя виджета. Отображается на верхней части виджета.
    • Чарт. Задает добавляемый виджет.
    • Описание. Задает описание виджета. Отображается на нижней части виджета.
    • Автовысота. Задает автоматическую высоту для виджетов типа Таблица и Markdown. Если параметр отключен, то высоту виджета на странице можно установить с помощью мыши.

  4. Нажмите кнопку Добавить. Виджет отобразится на дашборде.

  5. Сохраните дашборд:

    1. В правом верхнем углу дашборда нажмите кнопку Сохранить.
    2. Введите название дашборда и нажмите Создать.

    Подробнее о настройке дашбордов см. в разделе Дашборд Yandex DataLens.

Пример дашборда на основе данных из таблицы v_tracker_issues

Пример дашборда на основе данных по таблице v_tracker_issues

Пример дашборда на основе данных по таблице db1.v_tracker_statuses

Пример дашборда на основе данных по таблице db1.v_tracker_statuses

Как удалить созданные ресурсы

Чтобы перестать платить за созданные ресурсы:

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.

Предыдущая
Битрикс24: прямое подключение
Следующая
Анализ логов Object Storage при помощи DataLens