Яндекс Трекер: экспорт и визуализация данных

Визуализация данных из Яндекс Трекер в Yandex DataLens позволяет построить более сложную аналитику, чем это возможно средствами самого Tracker.

Для визуализации данных из Tracker в DataLens необходимо:

• организовать регулярный экспорт данных во внешнее хранилище;
• визуализировать необходимые метрики и данные с помощью DataLens.

Для визуализации данных выполните следующие шаги:

1. Подготовьте облако к работе.
2. Создайте БД для хранения данных Tracker.
3. Создайте OAuth-токен для доступа к Tracker.
4. Создайте функцию Cloud Functions для импорта данных.
5. Создайте подключение к DataLens.
6. Создайте датасет.
7. Создайте чарт.
8. Создайте дашборд в DataLens и добавьте на него чарты.

Перед началом работыПеред началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

• Постоянно запущенный кластер Managed Service for ClickHouse® (см. тарифы Managed Service for ClickHouse®);
• Использование функции Cloud Functions (см. тарифы Cloud Functions).

Если созданные ресурсы вам больше не нужны, удалите их.

Создайте БД для хранения данных TrackerСоздайте БД для хранения данных Tracker

1. Перейдите в консоль управления.
2. Перейдите в сервис Managed Service for ClickHouse.
3. Нажмите кнопку Создать кластер ClickHouse.
4. Укажите параметры кластера:
   • Базовые параметры:
     • Окружение — PRODUCTION;
     • Версия — 22.8 LTS;
   • Ресурсы:
     • Платформа — Intel Ice Lake;
     • Тип — standart;
     • Класс хоста — s3-c2-m8 (2 vCPU, 8 ГБ);
   • Размер хранилища — 30 ГБ;
   • Хосты:
     • Публичный доступ — Включено;
   • Настройки СУБД:
     • Управление пользователями через SQL — Выключено;
     • Управление базами данных через SQL — Выключено;
     • Имя пользователя — tracker_data;
     • Имя БД — db1;
   • Сервисные настройки:
     • Доступ из DataLens — Включено;
     • Доступ из Serverless — Включено.
       Полный список настроек см. в разделе Настройки Managed Service for ClickHouse®.
5. Нажмите кнопку Создать кластер. Дождитесь, когда статус созданного кластера сменится на Alive.
6. Скопируйте и сохраните имя хоста для дальнейшей настройки Cloud Functions.
   

Создайте OAuth-токен для доступа к TrackerСоздайте OAuth-токен для доступа к Tracker

1. Перейдите на страницу Создание приложения.

2. В окне Какое приложение хотите создать? оставьте Для авторизации пользователей и нажмите Перейти к созданию. Если отобразилось окно верификации вашего аккаунта на Госуслугах, закройте его.

3. В окне Создание приложения:

   • заполните поле Название вашего сервиса;
   • прикрепите иконку вашего сервиса;
   • укажите почту, на которую отправлять оповещения об изменениях во внешней авторизации.

   Нажмите кнопку Продолжить.

4. В окне Платформы приложений отметьте Веб-сервисы и в поле Redirect URI укажите URL, куда направить пользователя после того, как он разрешил или отказал приложению в доступе, или впишите адрес https://oauth.yandex.ru/verification_code для отладки.

   Нажмите кнопку Продолжить.

5. В окне Права доступа к данным пользователей в поле Дополнительные укажите:

   • Чтение из трекера;
   • Запись в трекер.

   Нажмите кнопку Продолжить.

6. Убедитесь, что все указано верно, и нажмите кнопку Всё верно, создать приложение.

7. Скопируйте идентификатор приложения в поле ClientID.

8. В новом окне введите в адресную строку браузера адрес:

   https://oauth.yandex.ru/authorize?response_type=token&client_id=<идентификатор_приложения>
   

   Где client_id — идентификатор созданного приложения, скопированный из поля ClientID.

9. Авторизуйтесь с помощью учетной записи Tracker, которая будет использоваться для визуализации.

10. Сохраните полученный OAuth-токен.

Создайте функцию Cloud Functions для импорта данныхСоздайте функцию Cloud Functions для импорта данных

1. Перейдите в консоль управления.
2. Перейдите в сервис Cloud Functions.
3. Нажмите кнопку Создать функцию.
4. Укажите название функции и нажмите кнопку Создать.
5. В открывшемся окне Редактор выберите среду выполнения Python.
6. Нажмите кнопку Продолжить.
7. В поле Способ нажмите кнопку ZIP-архив.
8. Прикрепите тестовый архив.
9. В поле Точка входа укажите tracker_import.handler.
10. В разделе Параметры укажите:
    • Таймаут — 60;
    • Память — 1024;
    • Переменные окружения:

      • TRACKER_ORG_ID — ID организации Яндекс 360 для бизнеса.

        Примечание

        Если у вас используется организация Yandex Identity Hub (проверить можно на странице администрирования), в коде функции tracker_import.py замените заголовок X-Org-ID на X-Cloud-Org-Id.

      • TRACKER_OAUTH_TOKEN — OAuth-токен учетной записи Tracker.

      • CH_HOST — имя хоста.

      • CH_DB — название базы данных.

      • CH_USER — имя пользователя.

      • CH_PASSWORD — пароль.

      • CH_ISSUES_TABLE — tracker_issues.

      • CH_CHANGELOG_TABLE — tracker_changelog.

      • TRACKER_INITIAL_HISTORY_DEPTH — 1d.

      • CH_STATUSES_VIEW — v_tracker_statuses.

11. Нажмите кнопку Сохранить изменения.
12. На вкладке Тестирование нажмите кнопку Запустить тест.
13. Результат теста — лог импорта данных:

    {
        "statusCode": 200,
        "headers": {
        "Content-Type": "text/plain"
        },
        "isBase64Encoded": false,
        "body": "OK"
    }
    

14. Создайте триггер для регулярного экспорта новых данных в БД:
    1. Откройте раздел Cloud Functions.
    2. Нажмите → Создать триггер.
    3. Укажите тип триггера — Таймер.
    4. В поле Cron-выражение выберите Каждый день.
    5. В разделе Настройки функции нажмите кнопку Создать.
    6. Укажите имя аккаунта. По умолчанию аккаунту присвоена роль functions.functionInvoker для работы с триггером.
    7. Нажмите кнопку Создать.
    8. Нажмите кнопку Создать триггер.

Создайте подключение в DataLensСоздайте подключение в DataLens

1. Откройте кластер Managed Service for ClickHouse®.

2. В левой части окна выберите раздел DataLens.

3. Нажмите кнопку Создать подключение.

4. Укажите настройки подключения:

   • Подключение — Выбрать в каталоге;

   • Кластер — кластер, указанный при создании базы данных;

   • Имя хост — хост, указанный при создании базы данных;

   • Порт HTTP-интерфейса — 8443;

   • Имя пользователя — имя пользователя, указанное при создании базы данных;

   • Пароль — пароль, указанный при создании базы данных;

   • Время жизни кeша в секундах — По умолчанию;

   • Уровень доступа SQL запросов — Запретить;

   • HTTPS — Включено.

     

5. Нажмите кнопку Создать подключение.

Создайте датасетСоздайте датасет

1. Перейдите на главную страницу DataLens.
2. Нажмите Начать в облаке.
3. Перейдите на страницу подключений.
4. Выберите подключение.
5. В правом верхнем углу нажмите кнопку Создать датасет.
6. Перенесите на рабочую область одну или несколько таблиц:
   • db1.v_tracker_issues — текущий (последний) срез задач;
   • db1.v_tracker_changelog — история изменения параметров задач;
   • Db1.v_tracker_statuses – время переходов между статусами на основе истории изменения задач.
7. Нажмите кнопку Сохранить.

Создайте чартСоздайте чарт

1. Перейдите на главную страницу DataLens.

2. На панели слева нажмите Чарты.

3. Нажмите кнопку Создать чарт → Чарт в Wizard.

4. В левом верхнем углу нажмите Выберите датасет.

5. В выпадающем списке Датасеты выберите датасет, созданный на предыдущем шаге.

6. На верхней панели выберите тип визуализации. По умолчанию выбран тип Столбчатая диаграмма.

Создайте дашборд и добавьте на него чартыСоздайте дашборд и добавьте на него чарты

1. На панели слева нажмите Дашборды.

2. Нажмите кнопку Создать дашборд.

3. В верхней части страницы дашборда нажмите кнопку Добавить → Чарт.

4. Заполните параметры виджета. Обратите внимание на следующие поля:

   • Название. Задает имя виджета. Отображается на верхней части виджета.
   • Чарт. Задает добавляемый виджет.
   • Описание. Задает описание виджета. Отображается на нижней части виджета.
   • Автовысота. Задает автоматическую высоту для виджетов типа Таблица и Markdown. Если параметр отключен, то высоту виджета на странице можно установить с помощью мыши.

5. Нажмите кнопку Добавить. Виджет отобразится на дашборде.

6. Сохраните дашборд:

   1. В правом верхнем углу дашборда нажмите кнопку Сохранить.
   2. Введите название дашборда и нажмите Создать.

   Подробнее о настройке дашбордов см. в разделе Дашборд Yandex DataLens.

Пример дашборда на основе данных из таблицы v_tracker_issues

Пример дашборда на основе данных по таблице db1.v_tracker_statuses

Как удалить созданные ресурсыКак удалить созданные ресурсы

Чтобы перестать платить за созданные ресурсы:

• Удалите ClickHouse®-кластер;
• Удалите функцию Cloud Functions.

См. такжеСм. также

• Аналитика задач в Яндекс Трекер: встроенные возможности и интеграция с Yandex DataLens

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.