Как «ДелоТех» разрабатывает DWH на базе платформы данных

ООО «ДелоТех» — внутренний IT‑партнёр Группы компаний «Дело» (ГК «Дело»), российского транспортно‑логистического холдинга. В 2022 году «ДелоТех» запустил в одном из активов компании проект по созданию единого корпоративного хранилища данных (DWH — Data Warehouse) и внедрению новой BI‑системы.

В качестве решения была выбрана интеграция Yandex Managed Service for ClickHouse^® и Yandex DataLens, которые входят в состав экосистемы сервисов платформы данных. В облаке было развернуто хранилище с суммарным объёмом 6 ТБ и создано более девяти дашбордов в Yandex DataLens, на которых развернуто 15 отчетов. В рамках первого этапа проекта более 200 сотрудников получили доступ к новому инструменту для более качественной работы с бизнес‑метриками без дополнительных затрат на покупку лицензий. После запуска проекта на работе с отчётами сотрудники экономят в среднем 20 часов в неделю.

ООО «ДелоТех» — внутренний IT-партнёр ГК «Дело», который занимается разработкой и развитием современных IT-решений для логистики и цифровых продуктов в сфере контейнерных перевозок, а также обеспечивает отраслевой реинжиниринг бизнес-процессов.

В начале 2022 года ГК «Дело» сформулировала ряд бизнес‑задач:

• создать единый источник верифицированной информации и единую методологию;
• ускорить процесс формирования отчётности;
• организовать автоматический и оперативный доступ к данным первоисточников;
• внедрить единый инструмент отчётности.

«ДелоТех» как внутренний подрядчик приступил к разработке технического задания. После анализа технического задания было решено создать единое корпоративное хранилище данных.

Были сформулированы следующие задачи:

• автоматический сбор и нормализация данных из всех источников;
• аналитическая онлайн-отчётность в разных разрезах;
• доступ к отчётам с любых мобильных устройств;
• соответствие российскому законодательству в вопросах хранения и обработки данных.

Также в план проекта были включены этапы аудита и создания процедур по сбору исходных данных.

ГК «Дело» на момент старта проекта уже работала с зарубежной облачной платформой, поэтому заказчик решил в качестве новой площадки также выбрать облачное решение.

Перед выбором облачного провайдера команда «ДелоТех» собрала информацию о разных поставщиках услуг и сравнила их предложения. Рассматривались проприетарные и Open Source решения, платные и бесплатные сервисы.

Для проекта ГК «Дело» выбрала платформу данных Yandex Cloud, которая включает в себя сервисы для работы с данными — от сбора и подготовки до визуализации. Предложение Yandex Cloud оптимально решало поставленные задачи благодаря нескольким преимуществам:

• Управляемые базы данных и BI-система Yandex DataLens легко интегрируются друг с другом, что позволяет настроить бесшовные аналитические сценарии, такие как построение аналитических витрин и корпоративного хранилища данных.
• IT-специалистам команды «ДелоТех» не нужно выделять время, чтобы поддерживать облачную инфраструктуру — большую часть рутинных задач Yandex Cloud берёт на себя.
• Yandex DataLens предоставляется бесплатно и не требует покупки лицензии для каждого пользователя, что особенно важно с учётом большого количества сотрудников.
• Yandex Cloud внесён в реестр отечественного ПО и соответствует российским и международным стандартам безопасности и обработки персональных данных.
• Оперативная работа службы технической поддержки позволяет быстро решать возникающие вопросы.
• Бесплатный пробный период для сервисов Yandex Cloud, который даёт время протестировать возможности платформы и оптимально распланировать облачную архитектуру.

Пилотный проект по переходу на новую облачную платформу решили реализовать для бизнес‑партнёра — российского оператора контейнерной железнодорожной логистики.

Разработка архитектуры началась с подготовительного этапа, на котором команда «ДелоТех» решала и продолжает решать задачи по повышению качества исходных данных. Специалисты «ДелоТех» провели аудит процесса сбора данных из первоисточников и проработали регламенты расчёта ключевых показателей. Результатом этой работы стал набор атрибутов, который был необходим для разработки аналитических дашбордов.

Следующий этап — создание проекта технических решений для бизнес-анализа: корпоративного хранилища данных, витрин данных и ETL-инструментов (систем выгрузки данных из разных источников в единое хранилище).

Архитектура выбранного решения состоит из нескольких слоёв.

В качестве объектного хранилища используется Yandex Object Storage. Объём хранимых данных, которые перенесли в облако, составляет 6 ТБ. Данные реплицируются в трёх зонах доступности — аппаратно-независимых ЦОДах во Владимирской, Рязанской и Московской областях, для бесперебойной работы инфраструктуры.

Данные из источников загружаются в аналитическую систему управления базами данных (СУБД) ClickHouse, которая оптимально подходит для анализа структурированных данных. Для управления базой данных в облаке используется сервис Yandex Managed Service for ClickHouse. Был развернут хост с 192 ГБ RAM и 6 ТБ SSD, а загрузка архивов данных в облако заняла около 2,5 недель.

Исходная информация из ClickHouse служит источником для дашбордов в сервисе визуализации и анализа данных Yandex DataLens. На данный момент команда отдела данных и аналитики «ДелоТех» настроила в сервисе более 15 отчётов, пять из которых были перенесены из Power BI, а остальные — созданы с нуля.

Чтобы сформировать гипотезы дальнейшего развития «ДелоТех» разработала минимально жизнеспособный продукт. Реализация MVP заняла четыре месяца, из которых:

• два месяца ушло на подключение, обработку, нормализацию данных из разных источников;
• один месяц — на согласование технического задания, методику расчёта различных показателей, выбор облачного провайдера и согласование целевого облачного решения для ГК;
• один месяц — на миграцию и настройку дашбордов.

В результате за четыре месяца реализации первого этапа проекта команде «ДелоТех» удалось развернуть DWH, а также перенести 6 ТБ данных и пять критически важных отчётов компании бизнес‑партнёра на платформу Yandex Cloud, кроме того, создать 10 новых отчётов. Уже на этом этапе заказчики внутри компании получили готовый инструмент с интуитивно понятным интерфейсом, благодаря которому они проводят более глубокий анализ ситуации и принимают взвешенные бизнес-решения.

В результате перехода на Yandex DataLens сотрудники отдела данных и аналитики «ДелоТех» экономят на работе с отчётами около 20 часов в неделю.

Сейчас в рамках второго этапа проекта DWH «ДелоТех» совместно с бизнес-партнёром разрабатывает единую модель данных, архитектуру по методологии Data Vault и библиотеку показателей. В планах ГК «Дело» подключить другие субхолдинги к единому корпоративному хранилищу данных и создать аналитические отчёты для всей ГК.

Это позволит сократить трудозатраты на подготовку отчётности из разных источников данных, а также своевременно принимать управленческие решения на основе достоверной и полной аналитической отчётности в едином инструменте с любых устройств.