Анализ открытых данных ДТП на дорогах России
- Перед началом работы
- Шаг 1. Создайте подключение к CSV-файлу
- Шаг 2. Создайте датасет и настройте его поля
- Шаг 3. Создайте первый чарт — Тепловую карту
- Шаг 4. Создайте второй чарт — Линейчатую диаграмму
- Шаг 5. Создайте еще чарты — Линейные диаграммы
- Шаг 6. Создайте дашборд
- Шаг 7. Добавьте чарты на дашборд
- Шаг 8. Добавьте селекторы и сформируйте дашборд
- Шаг 9. Добавьте таблицу с геослоями регионов
- Шаг 10. Добавьте новые поля в датасет
- Шаг 11. Создайте чарт с использованием новых полей
- Шаг 12. Добавьте новый чарт на дашборд
- Шаг 13. Опубликуйте дашборд
В этом сценарии будут проанализированы открытые данные по дорожно-транспортным происшествиям на дорогах РФ. Помимо выявления фактов статистики ДТП в России, в процессе анализа вы научитесь:
- работать с основными сущностями DataLens: Подключения, Датасеты, Чарты, Дашборды;
- объединять несколько источников на уровне одного датасета;
- работать с типом данных
Дата и время
, изменять группировки на уровне чарта; - работать с геоданными: геоточками и геополигонами;
- создавать публичные дашборды, которые будут доступны всем с любых устройств без аутентификации.
Для визуализации и исследования данных подготовьте DataLens к работе, затем выполните следующие шаги:
- Создайте подключение к CSV-файлу.
- Создайте датасет и настройте его поля.
- Создайте первый чарт — Тепловую карту.
- Создайте второй чарт — Линейчатую диаграмму.
- Создайте еще чарты — Линейные диаграммы.
- Создайте дашборд.
- Добавьте чарты на дашборд.
- Добавьте селекторы и сформируйте дашборд.
- Подключите дополнительный источник с геослоями регионов.
- Добавьте новые поля в датасет.
- Создайте чарт с использованием новых полей.
- Добавьте новый чарт на дашборд.
- Опубликуйте дашборд.
Перед началом работы
Чтобы начать работать с DataLens:
- Войдите
в ваш аккаунт на Яндексе. Если у вас еще нет аккаунта, создайте его. - Откройте главную страницу
DataLens. - Нажмите Открыть сервис.
- Подтвердите, что ознакомились с Условиями использования
и принимаете их и нажмите кнопку Войти.
-
Войдите
в ваш аккаунт на Яндексе. -
Откройте главную страницу
DataLens. -
Нажмите Открыть сервис.
-
Выберите один из вариантов:
-
Если у вас уже есть организация, выберите ее в выпадающем меню на вкладке Организации и нажмите DataLens.
Примечание
Для активации экземпляра DataLens пользователю нужна роль
admin
илиowner
. Подробнее про роли см. в разделе Управление доступом в Yandex Cloud Organization. -
Если у вас есть облако, но нет организации, нажмите Добавить новый DataLens. В открывшемся окне введите название и описание организации и нажмите Создать организацию и DataLens. Подробнее о работе с организациями см. в разделе Начало работы с организациями.
-
Если у вас возник технический вопрос по работе сервиса, обратитесь в службу поддержки
Шаг 1. Создайте подключение к CSV-файлу
-
Скачайте файл с данными статистики ДТП
за апрель-декабрь 2018 года в формате CSV. -
Откройте главную страницу DataLens
. -
На панели слева выберите
Подключения и нажмите кнопку Создать подключение. -
Выберите тип подключения Файлы.
-
Нажмите кнопку Загрузить файлы, затем выберите скачанный ранее файл. Загрузка может занять до нескольких минут, в зависимости от скорости подключения к интернету.
После успешной загрузки вы увидите превью данных файла. Для просмотра используйте полосы прокрутки справа и внизу.
-
В правом верхнем углу нажмите кнопку Создать подключение.
-
Введите имя подключения
dtp_data
и нажмите кнопку Создать.
Подключение к файлу создано. Данные представлены в том же виде, что и в файле. Для дальнейшей работы с ними нужно создать датасет.
Шаг 2. Создайте датасет и настройте его поля
Датасет будет состоять из одного источника — файла CSV.
-
Нажмите кнопку Создать датасет.
-
Перейдите на вкладку Поля.
Здесь есть возможность добавить поля данных и вычисляемые поля, изменить тип данных поля, правила агрегации, переименовать поле.
-
Измените имена полей на русские, по порядку:
- Код региона
- Название региона
- Код дороги
- Название дороги
- Тип дороги
- ОКТМО
- Адрес
- Тип ДТП
-
Дата и время ДТП показаны в следующих полях:
- crash_date — дата, записанная числом, вида
20190218
; - crash_time — время, записанное текстом, вида
19:34
.
В таком виде они не будут использоваться в датасете. Скройте их, нажав значок видимости.
- crash_date — дата, записанная числом, вида
-
Для отображения сведений о дате и времени ДТП добавьте новое поле.
-
Нажмите Добавить поле.
-
Укажите для него данные:
- Название поля: Дата и время
- Формула:
DATETIME_PARSE(str([crash_date])+' '+str([crash_time]))
Совет
Чтобы избежать ошибок, не вводите поля для формулы вручную, а выбирайте их из списка слева.
Совет
Если хотите самостоятельно изучить документацию по этим функциям, нажмите справа вверху диалогового окна кнопку Справочник.
-
Нажмите Создать.
В разделе предпросмотра появилось корректное отображение даты и времени ДТП в виде значения типа
Дата и время
с разделителем T. Новое поле Дата и время находится в таблице сверху. По значку доступно редактирование формулы поля. -
-
Продолжите переименование полей по порядку:
- Причина ДТП
- Кол-во погибших
- Кол-во пострадавших
- Кол-во ТС
- Кол-во участников
Для следующих полей установите тип агрегации Сумма:
- Кол-во погибших
- Кол-во пострадавших
- Кол-во ТС
- Кол-во участников
-
Добавьте поле для отображения геоточки.
-
Справа вверху нажмите кнопку Добавить поле.
-
Введите данные для нового поля:
- Название поля: Геоточка
- Формула:
GEOPOINT([latitude],[longitude])
где [latitude] и [longitude] — поля датасета.
-
Нажмите Создать.
Примечание
В примере используются готовые данные в формате координат.
-
Убедитесь, что в таблице и превью появилось новое поле с типом
Геоточка
.
-
-
Добавьте поле для отображения количества ДТП.
-
Нажмите Добавить поле.
-
Введите данные для нового поля:
- Название поля: Кол-во ДТП
- Формула:
SUM(1)
-
Нажмите Создать.
Тип агрегации для этого поля устанавливать не нужно, DataLens при добавлении поля на чарт применит функцию агрегации автоматически.
-
-
Добавьте поле для данных о смертности в ДТП.
-
Нажмите Добавить поле.
-
Введите данные для нового поля:
- Название поля: Смертность в ДТП
- Формула:
[Кол-во погибших]/[Кол-во ДТП]
-
Нажмите Создать
Примечание
Вычисляемые поля можно создавать непосредственно в чарте. Однако удобнее сделать это на уровне датасета, чтобы они были доступны во всех чартах.
-
-
Сохраните датасет, нажав справа вверху кнопку Сохранить.
-
В открывшемся окне укажите название датасета: ДТП. Нажмите Создать.
Датасет создан.
Шаг 3. Создайте первый чарт — Тепловую карту
Приступайте к созданию первого чарта.
-
Нажмите Создать чарт.
-
В появившемся окне визарда нажмите на поле, в котором по умолчанию указано Столбчатая диаграмма, и выберите тип чарта Карта.
-
Выберите в разделе Геоточки тип слоя Геоточки (тепловая карта).
-
Перетащите поле Геоточка в раздел Геоточки.
Вы получили первый чарт на карте.
-
Для сохранения чарта сначала рядом с кнопкой Сохранить нажмите значок стрелки, затем выберите Сохранить как.
-
В диалоговом окне укажите название чарта: Тепловая карта и нажмите Сохранить.
Шаг 4. Создайте второй чарт — Линейчатую диаграмму
-
Проанализируйте количество ДТП по регионам.
-
В том же окне выберите тип чарта Линейчатая диаграмма.
-
Перетащите:
- поле Название региона — в раздел Y;
- поле Кол-во ДТП — в раздел X;
- поле Кол-во ДТП — в раздел Сортировка.
На диаграмме отобразилось количество ДТП по регионам. Больше всего ДТП в Московской области.
Примечание
Не все линии диаграммы подписаны. Если линия не подписана, наведите на нее указатель, и название региона отобразится в подсказке.
-
Сохраните диаграмму по кнопке Сохранить как.
-
В открывшемся окне укажите название чарта: Количество ДТП по регионам и сохраните его.
-
-
Проанализируйте смертность в ДТП по регионам.
-
Замените показатель Кол-во ДТП на Смертность в ДТП с помощью перетаскивания.
На этот раз в лидерах с большим отрывом Ингушетия, Калмыкия и Волгоградская область.
-
Сохраните чарт по кнопке Сохранить как с названием Смертность по регионам.
-
Шаг 5. Создайте еще чарты — Линейные диаграммы
Посмотрите, как распределяется количество ДТП и смертность в них по неделям, дням недели и времени суток.
-
Проанализируйте количество ДТП и смертность по неделям.
-
В том же окне выберите тип чарта Линейная диаграмма.
-
В разделах управления чартом остались предыдущие значения. Удалите их с помощью значка
. -
Перетащите поле Дата и время в раздел X и нажмите зеленый значок календаря.
-
В поле Группировка выберите Часть даты ⟶ Неделя, затем нажмите Применить.
-
Перетащите:
- поле Кол-во ДТП — в раздел Y;
- поле Смертность в ДТП — в раздел Y2.
Появилась диаграмма с двумя графиками — количества ДТП и смертности. Если навести указатель на точку графика, в подсказке отобразятся конкретные значения.
-
Сохраните чарт по кнопке Сохранить как с названием Кол-во ДТП и смертность по неделям.
-
-
Теперь проанализируйте количество ДТП и смертность по дням недели.
-
Измените группировку по дате и времени на Часть даты ⟶ День недели.
На этой диаграмме заметны более явные тенденции.
-
Сохраните чарт по кнопке Сохранить как с названием Кол-во ДТП и смертность по дням недели.
-
-
Проанализируйте количество ДТП и смертность по часам суток.
-
Измените группировку по дате и времени, укажите: Часть даты ⟶ Час.
Диаграмма показывает: ночью количество ДТП меньше, но среди них больше происшествий со смертельным исходом.
-
Сохраните чарт по кнопке Сохранить как с названием Кол-во ДТП и смертность по часам в течение дня.
-
Шаг 6. Создайте дашборд
-
Откройте меню по значку слева от логотипа и выберите пункт Дашборды.
-
Нажмите кнопку Создать дашборд.
Шаг 7. Добавьте чарты на дашборд
-
Добавьте первый чарт.
-
Нажмите Добавить и в выпадающем списке выберите Чарт.
-
В поле Чарт нажмите Выбрать и выберите из списка чартов созданный ранее чарт Тепловая Карта.
-
Нажмите кнопку Добавить.
Чарт появился на дашборде.
-
-
Повторите предыдущие три шага для чартов Количество ДТП по регионам, Кол-во ДТП и смертность по неделям, Кол-во ДТП и смертность по дням недели, Кол-во ДТП и смертность по часам в течение дня, добавив их на дашборд.
-
Создайте на дашборде переключатель чартов Количество ДТП по регионам и Смертность по регионам.
-
Откройте настройки чарта Количество ДТП по регионам по значку.
-
В левой части окна нажмите Добавить.
-
В поле Чарт нажмите Выбрать и выберите чарт Смертность по регионам.
-
Нажмите Сохранить.
-
Шаг 8. Добавьте селекторы и сформируйте дашборд
Селекторы позволяют фильтровать данные по значениям.
-
Добавьте селектор для отбора по названию региона.
-
Нажмите Добавить и выберите Селектор.
-
Отметьте На основе датасета, затем нажмите Выбрать и выберите созданный ранее датасет ДТП.
-
В реквизите Поле выберите Название региона, затем рядом с названием селектора поставьте отметку Показывать. Нажмите кнопку Добавить.
Селектор появился на дашборде в виде прямоугольного элемента.
-
-
Повторите предыдущие три шага для полей:
- Причина ДТП
- Тип ДТП
- Тип дороги
- Название дороги
-
Элементы дашборда можно перетаскивать и менять их размер. Сформируйте расположение элементов в соответствии со скриншотом или любым другим удобным образом, затем сохраните дашборд:
- В правом верхнем углу дашборда нажмите кнопку Сохранить.
- Введите название дашборда ДТП в РФ и нажмите Создать.
Если в селекторах выбрать значения, на чартах отобразятся данные для этих значений.
Чарт Количество ДТП по регионам можно переключить на Смертность по регионам.
Шаг 9. Добавьте таблицу с геослоями регионов
Тепловая карта не всегда является самой информативной. Загрузите справочник полигонов и добавьте чарт с цветовой заливкой регионов РФ.
-
Скачайте на свой компьютер файл Regions.csv
. -
Откройте подключение
dtp_data
. -
Нажмите кнопку Загрузить файлы и выберите скачанный файл.
-
Просмотрите превью данных файла. Для параметра Заголовок столбцов установите значение Да.
-
Справа вверху нажмите кнопку Сохранить изменения.
Шаг 10. Добавьте новые поля в датасет
Необходимо обогатить созданный ранее датасет ДТП новыми полями.
-
Через левое меню перейдите в раздел Датасеты.
-
Выберите датасет ДТП.
-
Перейдите на вкладку Источники.
-
Перетащите таблицу Regions.csv в рабочую область.
Поскольку данные таблиц еще не объединены, может появиться сообщение об ошибке. Выполните последующие действия.
-
Нажмите значок объединения данных.
-
Нажмите кнопку Добавить связь.
-
Выберите поля, которые будут связаны: reg_name и Регион ДТП. Затем нажмите Применить.
Убедитесь, что превью данных отобразилось корректно.
-
Перейдите на вкладку Поля.
-
Внизу списка появились новые поля. Для поля Полигон укажите тип данных Геополигон.
-
В правом верхнем углу нажмите кнопку Сохранить.
Шаг 11. Создайте чарт с использованием новых полей
-
Нажмите кнопку Создать чарт.
-
Выберите тип чарта Карта.
-
Добавьте полигоны на карту. Из раздела Измерения перетащите поле Полигон в секцию Геополигоны.
-
Измените цвета полигонов относительно показателя количества ДТП. Из раздела Показатели перетащите поле Кол-во ДТП в секцию Цвета.
-
Перетащите следующие поля в раздел Тултипы:
- Название Региона;
- Кол-во ДТП;
- Кол-во погибших;
- Кол-во пострадавших;
- Кол-во ТС;
- Кол-во участников;
- Смертность в ДТП.
На диаграмме отобразилась карта с заливкой регионов. Если навести указатель на регион, появятся сведения по этому региону.
-
В правом вверхнем углу нажмите кнопку Сохранить.
-
Введите название чарта: Карта регионов и снова нажмите Сохранить.
Шаг 12. Добавьте новый чарт на дашборд
-
Через левое верхнее меню перейдите в раздел Дашборды.
-
Выберите ранее созданный дашборд с ДТП.
-
Справа вверху нажмите кнопку Редактировать.
-
Откройте настройки Тепловой карты по значку.
-
В левой части окна нажмите Добавить.
-
В поле Чарт нажмите Выбрать и выберите последний чарт Карта регионов.
-
Нажмите Сохранить.
Появилась возможность переключать тип визуализации данных на карте: тепловая карта или заливка регионов.
Шаг 13. Опубликуйте дашборд
Чтобы настроить публичный доступ к дашборду:
-
В левом верхнем углу экрана нажмите
. -
В выпадающем меню нажмите Публичный доступ.
-
Включите доступ по ссылке. Появившуюся ссылку можно скопировать и делиться ею. По ссылке дашборд будет доступен всем, с любых устройств и без аутентификации. Нажмите Применить.
Примечание
Вы можете включить или выключить публичный доступ отдельно для каждого чарта и датасета, связанного с дашбордом.
Дашборд опубликован и доступен для пользователей.