Связаться с намиПодключиться

Визуализация данных из Yandex Object Storage в Yandex DataLens

Статья создана
Обновлена 22 октября 2024 г.

С помощью интеграции Yandex Query и Yandex DataLens можно визуализировать данные, хранимые в Yandex Object Storage. DataLens формирует запрос на языке YQL, Yandex Query исполняет запрос и возвращает результаты, которые визуализируются с помощью чартов.

Ниже приведена архитектура решения.

datalens-architecture

Рассмотрим визуализацию зависимости количества и средней стоимости поездок Нью-Йоркского желтого такси от времени суток. Данные заранее размещены в Yandex Object Storage в общедоступном бакете yq-sample-data в каталоге nyc_taxi_csv.

Примечание

Yandex Cloud предоставляет набор данных — поездки Нью-Йоркского такси — на условиях “как есть” (as is). Yandex Cloud не дает никаких заверений, явных или подразумеваемых, гарантий или условий в отношении использования вами указанного датасета (набора данных). В пределах, разрешенных вашим местным законодательством, Yandex Cloud не несет никакой ответственности за любые убытки или ущерб, включая прямые, побочные, специальные, косвенные, случайные или штрафные, возникшие в результате использования вами датасета.

NYC Taxi and Limousine Commission (TLC):

Данные были собраны и предоставлены NYC Taxi and Limousine Commission (TLC) поставщиками технологий, уполномоченными в рамках Taxicab & Livery Passenger Enhancement Programs (TPEP/LPEP). Данные о поездке не были созданы TLC, и TLC не делает никаких заявлений относительно точности этих данных.

Ознакомьтесь с Источником датасета и Правилами его использования.

Для визуализации и исследования данных подготовьте облако к работе, затем выполните следующие шаги:

  1. Подключитесь к данным в Object Storage.
  2. Создайте подключение в Yandex DataLens.
  3. Настройте поля датасета.
  4. Настройте визуализацию.

Перед началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
  2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Примечание

Для создания в DataLens подключения к Yandex Query требуется сервисный аккаунт с ролью editor на каталог, в котором будет создано соединение с бакетом Object Storage.

Подключитесь к данным в Object Storage

  1. В консоли управления выберите каталог, в котором нужно создать соединение.

    select-catalog

  2. В списке сервисов выберите Yandex Query.

    select-yq

  3. На панели слева выберите Учебник.

  4. Нажмите кнопку Создать соединение. В блоке создания соединения все поля ввода параметров уже заполнены — введите описание (опционально) и нажмите кнопку Создать. Вы перейдете на экран создания привязки к данным.

  5. Введите описание привязки к данным (опционально) и нажмите кнопку Создать. Будут созданы нужные для обучения ресурсы.

Создайте подключение в Yandex DataLens

Чтобы создать подключение к Yandex Query:

  1. Перейдите на главную страницу DataLens.

  2. На панели слева выберите Подключения и нажмите кнопку Создать подключение.

  3. Выберите подключение Yandex Query.

  4. Укажите параметры подключения:

    • Облако и каталог. Выберите каталог, в котором находится ваш сервисный аккаунт.
    • Сервисный аккаунт. Выберите существующий сервисный аккаунт или создайте новый.
    • Время жизни кеша в секундах. Укажите время жизни кеша или оставьте значение по умолчанию.
    • Уровень доступа SQL запросов. Выберите вариант Разрешить подзапросы из датасетов и запросы из чартов.

  5. Нажмите кнопку Создать подключение.

  6. Введите имя подключения yq-connect и нажмите Создать.

Настройте поля датасета

  1. На странице создания подключения в правом верхнем углу нажмите кнопку Создать датасет.

    create-dataset

  2. В открывшемся окне введите текст запроса, указанный ниже, и нажмите кнопку Создать.

    SELECT 
    *
FROM 
    bindings.`tutorial-analytics`

    Если все настроено правильно, то в нижней части экрана в блоке Предпросмотр появятся данные следующего вида:

    dataset-results

  3. Создайте вычисляемое поле, содержащее данные часа посадки:

    1. Перейдите на вкладку Поля и нажмите кнопку Добавить поле.

      create-field

    2. В поле Название поля укажите hour_trip.

    3. В строке формул введите:

      HOUR([tpep_pickup_datetime])

    4. Нажмите кнопку Создать. Новое поле hour_trip отобразится в списке полей датасета.

  4. В столбце Агрегация для поля total_amount выберите тип агрегации Среднее.

    field-agg

  5. В правом верхнем углу нажмите кнопку Сохранить. Введите имя датасета yellow-taxi-dataset и нажмите Создать.

  6. После сохранения датасета в правом верхнем углу нажмите Создать чарт.

    create-chart

Настройте визуализацию

Для визуализации и исследования используйте чарт типа комбинированная диаграмма.

  1. Выберите тип визуализации Комбинированная диаграмма.

    chart-type

  2. Перетащите измерение hour_trip в секцию X. Измерение в секции X будет общим для всех слоев.

  3. Для первого слоя выберите тип Столбчатая диаграмма.

    select-layer-column

  4. Перетащите показатель total_amount в секцию Y. В области визуализации отобразится столбчатая диаграмма.

  5. Добавьте слой. Для этого нажмите значок справа от названия первого слоя.

  6. Для второго слоя выберите тип Линейная диаграмма.

    select-layer-line

  7. Добавьте в чарт поле:

    1. Вверху слева нажмите и выберите Поле.

      chart-add-field

    2. В открывшемся окне введите:

      • В поле Название поля — count_trip.

      • В строке формул — COUNT().

        chart-field-create

    3. Нажмите кнопку Создать.

  8. Перетащите новый показатель count_trip в секцию Y2. В области визуализации поверх первой диаграммы отобразится линейная диаграмма.

  9. В правом верхнем углу нажмите кнопку Сохранить. Введите имя чарта yellow-taxi-combo-chart и нажмите Сохранить.

В созданном чарте прослеживается зависимость количества поездок (линейная диаграмма) и средней стоимости поездок (столбчатая диаграмма) от времени суток.

datalens-yq-combo-chart

Аналогичным образом вы можете построить дополнительные чарты и дашборды и поделиться результатом с коллегами.

Визуализация данных из Yandex Object Storage с помощью Yandex Query:

Предыдущая
Обработка потока изменений Debezium
Следующая
Обработка аудитных логов Audit Trails