Анализ открытых данных ДТП на дорогах России

В этом руководстве будут проанализированы открытые данные о дорожно-транспортных происшествиях на дорогах РФ. Помимо выявления фактов статистики ДТП в России, в процессе анализа вы научитесь:

• работать с основными сущностями DataLens: подключения, датасеты, чарты, дашборды;
• объединять несколько источников на уровне одного датасета;
• работать с типом данных Дата и время, изменять группировку на уровне чарта;
• работать с геоданными: геоточками и геополигонами;
• создавать публичные дашборды, которые будут доступны всем с любых устройств без аутентификации.

В качестве исходных данных будут использоваться файлы:

• Данные статистики ДТП за апрель-декабрь 2018 года в формате CSV.
• Справочник полигонов для регионов РФ в формате CSV.

Скачайте их перед прохождением руководства.

Для визуализации и исследования данных подготовьте DataLens к работе, затем выполните следующие шаги:

1. Создайте воркбук.
2. Создайте подключение к файлам.
3. Создайте датасет.
4. Проанализируйте плотность распределения ДТП.
5. Проанализируйте количество ДТП и смертность.
6. Проанализируйте статистику по неделям, дням недели и времени суток.
7. Создайте карту с заливкой регионов.
8. Создайте дашборд и добавьте на него чарты.
9. Добавьте селекторы на дашборд.
10. Добавьте карту с заливкой регионов на дашборд.
11. Опубликуйте дашборд.

Перед началом работыПеред началом работы

Чтобы начать работать с DataLens:

Если у вас возник технический вопрос по работе сервиса, обратитесь в службу поддержки Yandex Cloud. Чтобы спросить совета, обсудить решение вашей задачи или лучшие практики работы сервиса, напишите в чат DataLens в Telegram.

Создайте воркбукСоздайте воркбук

1. Перейдите на главную страницу DataLens.
2. На панели слева выберите Коллекции и воркбуки.
3. В правом верхнем углу нажмите Создать → Создать воркбук.
4. Введите название воркбука — Практические руководства.
5. Нажмите кнопку Создать.

Создайте подключение к файламСоздайте подключение к файлам

Создайте подключение к файлам с исходными данными:

1. В правом верхнем углу воркбука нажмите Создать → Подключение.

2. В разделе Файлы и сервисы выберите подключение Файлы.

3. Нажмите кнопку Загрузить файлы.

4. Выберите файл dtp201804-1.csv. Дождитесь, когда на экране появится содержимое таблицы.

   

5. Добавьте таблицу с геослоями регионов. Нажмите кнопку Загрузить файлы.

6. Выберите файл Regions.csv. Дождитесь загрузки данных.

7. Выберите загруженный файл Regions.csv в списке слева.

8. Для параметра Заголовок столбцов установите значение Да.

9. Нажмите кнопку Создать подключение.

   

10. Введите название подключения dtp_data и нажмите кнопку Создать.

Создайте датасетСоздайте датасет

Создайте датасет на базе подключения dtp_data:

1. На странице подключения в правом верхнем углу нажмите кнопку Создать датасет.

2. Перетащите таблицу dtp201804-1.csv на рабочую область.

3. Перетащите таблицу Regions.csv на рабочую область. Появится сообщение об ошибке, поскольку данные таблиц еще не объединены.

4. Нажмите значок связи между таблицами.

   

5. Нажмите кнопку Добавить связь.

6. Выберите поля, которые будут связаны: reg_name и Регион ДТП.

7. Нажмите кнопку Применить.

   

   Убедитесь, что данные в области предпросмотра отображаются корректно.

   

8. Перейдите на вкладку Поля. На этой вкладке можно добавить поля данных и вычисляемые поля, изменить тип данных поля, правила агрегации, переименовать поле.

9. Переименуйте поля:

   • reg_code — в Код региона;
   • reg_name — в Название региона;
   • road_code — в Код дороги;
   • road_name — в Название дороги;
   • road_type — в Тип дороги;
   • oktmo — в ОКТМО;
   • address — в Адрес;
   • crash_type_name — в Тип ДТП.

   Чтобы изменить название поля, нажмите на его имя, удалите текущее имя и введите новое.

   

10. Дата и время ДТП представлены в следующих полях:

    • crash_date — дата, записанная числом, вида 20190218;
    • crash_time — время, записанное текстом, вида 19:34.

    Они не будут использоваться в чартах в таком виде. Скройте их, нажав значок (значок появляется при наведении указателя на поле).

    

11. Создайте вычисляемое поле для отображения сведений о дате и времени ДТП:

    1. В правом верхнем углу нажмите кнопку Добавить поле.

    2. Слева вверху укажите название поля — Дата и время.

    3. В поле для формулы введите: DATETIME_PARSE(str([crash_date])+' '+str([crash_time])).

       Совет

       • Чтобы избежать ошибок, не вводите поля для формулы вручную, а выбирайте их из списка слева.
       • Чтобы отобразить информацию по функциям, нажмите справа вверху кнопку Справочник.

    4. Нажмите кнопку Создать.

    

    В области предпросмотра появится корректное отображение даты и времени ДТП в виде значения типа Дата и время с разделителем T. Новое поле находится в таблице сверху. По значку доступно редактирование формулы поля.

    

12. Переименуйте поля:

    • crash_reason — в Причина ДТП;
    • fatalities_amount — в Кол-во погибших;
    • victims_amount — в Кол-во пострадавших;
    • vehicles_amount — в Кол-во ТС;
    • participants_amount — в Кол-во участников.

13. Для полей Кол-во погибших, Кол-во пострадавших Кол-во ТС и Кол-во участников укажите тип агрегации Сумма. Поля с определенными функциями агрегации становятся показателями и меняют свой цвет на синий.

    

14. Создайте поле с координатами ДТП:

    1. В правом верхнем углу нажмите кнопку Добавить поле.

    2. Слева вверху укажите название поля — Геоточка.

    3. В поле для формулы введите: GEOPOINT([latitude],[longitude]).

    4. Нажмите Создать.

       Примечание

       В примере используются готовые данные в формате координат.

    В списке полей появится новое поле с типом Геоточка, а в области предпросмотра отобразятся данные по нему.

    

15. Создайте поля:

    • Кол-во ДТП с формулой SUM(1). Тип агрегации для этого поля устанавливать не нужно, DataLens при добавлении поля в чарт применит функцию агрегации автоматически.
    • Смертность в ДТП с формулой [Кол-во погибших]/[Кол-во ДТП].

16. Измените тип данных для поля Полигон на Геополигон.

    

17. Сохраните датасет:

    1. В правом верхнем углу нажмите кнопку Сохранить.
    2. Введите название датасета — ДТП и нажмите кнопку Создать.

Проанализируйте плотность распределения ДТППроанализируйте плотность распределения ДТП

Для визуализации плотности распределения ДТП по регионам создайте тепловую карту:

1. На странице датасета в правом верхнем углу нажмите кнопку Создать чарт.

2. Выберите тип визуализации Карта.

   

3. Выберите тип слоя Теплокарта (Геоточки).

   

4. Добавьте на карту точки с координатами. Для этого из раздела Измерения перетащите поле Геоточка в секцию Теплокарта (Геоточки).

5. Сохраните чарт:

   1. В правом верхнем углу нажмите кнопку Сохранить.

   2. В открывшемся окне введите название чарта Тепловая карта ДТП и нажмите кнопку Сохранить.

      

Проанализируйте количество ДТП и смертностьПроанализируйте количество ДТП и смертность

Чтобы проанализировать количество ДТП по регионам, создайте линейчатую диаграмму:

1. Создайте копию чарта, созданного на предыдущем шаге:

   1. В правом верхнем углу нажмите значок → Сохранить как копию.

      

   2. В открывшемся окне введите название нового чарта Количество ДТП по регионам и нажмите кнопку Сохранить.

2. Выберите тип визуализации Линейчатая диаграмма.

   

3. Добавьте в чарт названия регионов. Для этого из раздела Измерения перетащите поле Название региона в секцию Y.

4. Добавьте в чарт количество ДТП. Для этого из раздела Показатели перетащите поле Кол-во ДТП в секцию X.

5. Отсортируйте диаграмму по убыванию количества ДТП. Для этого из раздела Показатели перетащите поле Кол-во ДТП в секцию Сортировка.

   

   На диаграмме отобразится количество ДТП по регионам. Больше всего ДТП в Московской области.

   Примечание

   Не все линии диаграммы подписаны. Если линия не подписана, наведите на нее указатель, и название региона отобразится в подсказке.

6. Сохраните чарт — в правом верхнем углу нажмите кнопку Сохранить.

Чтобы проанализировать смертность в ДТП по регионам, создайте еще одну линейчатую диаграмму:

1. Создайте копию чарта Количество ДТП по регионам:

   1. В правом верхнем углу нажмите значок → Сохранить как копию.
   2. В открывшемся окне введите название нового чарта Смертность по регионам и нажмите кнопку Сохранить.

2. Замените показатель количества ДТП на показатель смертности в ДТП на оси X. Для этого из раздела Показатели перетащите поле Смертность в ДТП в секцию X и наведите его над полем Кол-во ДТП, пока то не станет красным.

3. Смените сортировку по количеству ДТП на сортировку по убыванию смертности в ДТП. Для этого из раздела Показатели перетащите поле Смертность в ДТП в секцию Сортировка и наведите его над полем Кол-во ДТП, пока то не станет красным.

   

   На этот раз в лидерах с большим отрывом Ингушетия, Калмыкия и Волгоградская область.

4. Сохраните чарт — в правом верхнем углу нажмите кнопку Сохранить.

Проанализируйте статистику по неделям, дням недели и времени сутокПроанализируйте статистику по неделям, дням недели и времени суток

Посмотрите, как распределяется количество ДТП и смертность в них по неделям, дням недели и времени суток.

1. Проанализируйте количество ДТП и смертность по неделям:

   1. Создайте копию чарта, созданного на предыдущем шаге:

      1. В правом верхнем углу нажмите значок → Сохранить как копию.
      2. В открывшемся окне введите название нового чарта Кол-во ДТП и смертность по неделям и нажмите кнопку Сохранить.

   2. Выберите тип визуализации Линейная диаграмма.

      

   3. Удалите поля во всех секциях чарта. Для этого в секции напротив поля нажмите значок (значок появляется при наведении указателя на поле).

   4. Добавьте в чарт дату и время ДТП. Для этого из раздела Измерения перетащите поле Дата и время в секцию X.

   5. Сгруппируйте даты по неделям:

      1. Нажмите на иконку с календарем у поля Дата и время в секции X.
      2. В поле Группировка выберите Часть даты ⟶ Неделя, затем нажмите Применить.

      

   6. Перетащите:

      • поле Кол-во ДТП — в секцию Y;
      • поле Смертность в ДТП — в секцию Y2.

      

      Появится диаграмма с двумя графиками — количества ДТП и смертности. Если навести указатель на точку графика, в подсказке отобразятся конкретные значения.

   7. Сохраните чарт — в правом верхнем углу нажмите кнопку Сохранить.

2. Проанализируйте количество ДТП и смертность по дням недели:

   1. Создайте копию чарта, созданного на предыдущем шаге:

      1. В правом верхнем углу нажмите значок → Сохранить как копию.
      2. В открывшемся окне введите название нового чарта Кол-во ДТП и смертность по дням недели и нажмите кнопку Сохранить.

   2. Измените группировку по дате и времени на Часть даты ⟶ День недели.

      

      На этой диаграмме заметны более явные тенденции — оба показателя увеличиваются ближе к концу недели.

      

   3. Сохраните чарт — в правом верхнем углу нажмите кнопку Сохранить.

3. Проанализируйте количество ДТП и смертность по часам суток.

   1. Создайте копию чарта, созданного на предыдущем шаге:

      1. В правом верхнем углу нажмите значок → Сохранить как копию.
      2. В открывшемся окне введите название нового чарта Кол-во ДТП и смертность по часам в течение дня и нажмите кнопку Сохранить.

   2. Измените группировку по дате и времени, укажите: Часть даты ⟶ Час.

      

      Диаграмма показывает: ночью количество ДТП меньше, но среди них больше происшествий со смертельным исходом.

      

   3. Сохраните чарт — в правом верхнем углу нажмите кнопку Сохранить.

Создайте карту с заливкой регионовСоздайте карту с заливкой регионов

1. Создайте копию чарта, созданного на предыдущем шаге:

   1. В правом верхнем углу нажмите значок → Сохранить как копию.
   2. В открывшемся окне введите название нового чарта Карта регионов и нажмите кнопку Сохранить.

2. Выберите тип визуализации Карта.

3. Выберите тип слоя Полигоны (Геополигоны).

   

4. Добавьте полигоны на карту. Из раздела Измерения перетащите поле Полигон в секцию Геополигоны.

5. Измените цвета полигонов относительно показателя количества ДТП. Для этого из раздела Показатели перетащите поле Кол-во ДТП в секцию Цвета.

6. Перетащите следующие поля в раздел Тултипы:

   • Название региона;
   • Кол-во ДТП;
   • Кол-во погибших;
   • Кол-во пострадавших;
   • Кол-во ТС;
   • Кол-во участников;
   • Смертность в ДТП.

   На диаграмме отобразится карта с заливкой регионов. Если навести указатель на регион, появятся сведения по этому региону.

   

7. Сохраните чарт — в правом верхнем углу нажмите кнопку Сохранить.

Создайте дашборд и добавьте на него чартыСоздайте дашборд и добавьте на него чарты

Создайте дашборд, на который будут добавлены чарты и другие виджеты:

1. На панели слева выберите Коллекции и воркбуки и перейдите в воркбук Практические руководства.

2. В правом верхнем углу нажмите Создать → Дашборд.

3. На панели в нижней части страницы выберите виджет Чарт.

   

4. В открывшемся окне нажмите кнопку Выбрать.

5. Выберите чарт Тепловая карта ДТП.

6. Нажмите кнопку Добавить.

   

7. Повторите шаги 3-6, чтобы добавить на дашборд чарты:

   • Количество ДТП по регионам
   • Кол-во ДТП и смертность по неделям
   • Кол-во ДТП и смертность по дням недели
   • Кол-во ДТП и смертность по часам в течение дня

8. Создайте на дашборде виджет с двумя вкладками:

   1. В правом верхнем углу чарта Количество ДТП по регионам нажмите значок .
   2. В левой части окна нажмите кнопку Добавить.
   3. На новой вкладке нажмите кнопку Выбрать.
   4. Выберите чарт Смертность по регионам.
   5. Нажмите кнопку Сохранить.

   

9. Установите размеры чартов с помощью мыши и расположите их на дашборде в удобном для вас порядке.

   

Добавьте селекторы на дашбордДобавьте селекторы на дашборд

Селекторы позволяют фильтровать данные по значениям.

1. Добавьте виджет для фильтрации данных:

   1. На панели в нижней части страницы выберите виджет Селектор.

      

   2. Выберите датасет ДТП.

   3. Выберите поле Название региона.

      

   4. Добавьте в виджет селекторы по полям:

      • Название дороги
      • Причина ДТП
      • Тип ДТП
      • Тип дороги

      Для этого слева в блоке Селекторы нажмите кнопку Добавить и выберите название поля.

      

   5. Нажмите кнопку Сохранить.

2. Расположите виджет на дашборде в удобном для вас месте.

   

3. Сохраните дашборд:

   1. В правом верхнем углу дашборда нажмите кнопку Сохранить.
   2. Введите название дашборда ДТП в РФ и нажмите кнопку Создать.

Дашборд готов.

На дашборде вы можете:

• Выбрать значения в селекторах, чтобы фильтровать данные.
• Изменить масштаб карты.
• Переключить чарт Количество ДТП по регионам на Смертность по регионам и обратно. Для этого справа от названия чарта нажмите значок и выберите нужную вкладку.

Добавьте карту с заливкой регионов на дашбордДобавьте карту с заливкой регионов на дашборд

1. Справа вверху нажмите кнопку Редактировать.

2. В правом верхнем углу чарта Тепловая карта ДТП нажмите значок .

3. В левой части окна нажмите кнопку Добавить.

4. На новой вкладке нажмите кнопку Выбрать.

5. Выберите чарт Карта регионов.

6. Нажмите кнопку Сохранить.

   

7. В правом верхнем углу нажмите кнопку Сохранить.

Теперь можно переключаться между чартами: тепловая карта с плотностью ДТП или карта с заливкой регионов.

Опубликуйте дашбордОпубликуйте дашборд

Чтобы настроить публичный доступ к дашборду:

1. Вверху нажмите значок → Публичный доступ.

2. В открывшемся окне напротив названия дашборда включите опцию для открытия доступа по ссылке.

3. Нажмите кнопку Продолжить, чтобы подтвердить публикацию дашборда и связанных с ним данных.

4. Нажмите кнопку Скопировать ссылку, чтобы скопировать уникальный URL дашборда.

   

5. Нажмите кнопку Применить.

6. Откройте новую вкладку в браузере и перейдите по скопированной ссылке.

   

   Этой ссылкой можно поделиться с коллегами, партнерами или друзьями. При переходе по ссылке дашборда не требуется авторизация и аутентификация.

   Примечание

   Вы можете включить или выключить публичный доступ отдельно для каждого чарта и датасета, связанного с дашбордом.

   Настройка публичного доступа для объектов