Как «Окраина» и «Призма Пик» перенесли аналитику в Yandex DataLens и управляемый ClickHouse

ООО «МПЗ Богородский» — российский производитель мясной продукции, наиболее известный под торговой маркой «Окраина». Единственный в отрасли производитель с собственным каналом онлайн-продаж. Имеет сеть фирменных магазинов и интернет-магазин с доставкой.

ООО «Призма Пик» — системный интегратор в сфере пищевой промышленности, разработчик программного обеспечения для автоматизации промышленного производства.

В современном мире успешен бизнес, который способен обратить в свою пользу огромный поток информации, поступающий со всех сторон: от своих сотрудников, клиентов, поставщиков и даже конкурентов. Данные нужно сохранять, обрабатывать и использовать для принятия эффективных решений.

До недавнего времени целый штат аналитиков вручную собирал данные из всех доступных источников:

• четырех конфигураций на платформе 1С;
• онлайн-систем управления транспортной логистикой;
• Яндекс.Метрики для интернет-магазина;
• Яндекс.Погоды и Яндекс.Пробок для фирменной розницы.

Данные приводили в единообразную форму и заносили в Microsoft Excel, где и создавались отчеты для принятия управленческих решений. При такой громоздкой и медленной схеме обработки информации неизбежно возникали серьезные ошибки, расходовалось слишком много времени, людских и вычислительных ресурсов.

Эволюционное развитие информационных систем и специфика отраслевых решений привели к появлению множества форматов хранения и передачи данных, а их объемы продолжали расти. Система «Окраины» перестала справляться с требованиями бизнеса.

Чтобы оценить эффективность промомероприятий, необходим был сравнительный анализ маркетинговой информации и анализ рыночной ситуации, что еще расширило перечень источников и форматов данных.

Для улучшения качества аналитики потребовалось решение с высокой степенью автоматизации, способное быстро обрабатывать поступающие данные. Оно должно справляться с объемами информации и легко масштабироваться при их увеличении. Важна низкая стоимость входа и эксплуатации, а также доступность инструментов и удобство работы с ними. Всем этим критериям лучше всего отвечают облачные сервисы.

Для реализации проекта «Окраина» обратилась к своему стратегическому партнеру — системному интегратору «Призма Пик». С февраля по август «Призма Пик» внедряла проект. Инженеры «Окраины» обеспечивали доступ к ресурсам и подготовку источников данных.

Почему выбрали Yandex DataLens и Managed Service for ClickHouse

В первые три месяца тестировали и сравнивали СУБД и BI-сервисы различных провайдеров. Затем проанализировали систему отчетности, перестроили иерархию ключевых показателей и распределили по уровню достоверности источники данных.

В фоновом режиме экспериментировали с выгрузкой данных из 1C в несколько СУБД и просматривали системы BI. Изучали потребности в сторонних данных. Были реализованы функции выгрузки DDL и данных в формате CSV для импорта в тестируемые СУБД: PostgreSQL, MySQL и MS SQL.

В результате пришли к выводу, что, если источники данных прямо подключать к локальным СУБД, производительность оставляет желать лучшего. Поэтому в апреле решили протестировать специализированную OLAP-СУБД для обработки аналитических данных — ClickHouse.

Постепенно подключалась загрузка данных из всех возможных источников:

• несколько конфигураций 1С;
• таблицы Excel;
• кассовая система SET Retail на 3–4 БД PostgreSQL;
• покупаемые данные из магазинов;
• Яндекс.Метрика.

Загружать и обрабатывать данные пробовали в разных СУБД, и в итоге остановили выбор на ClickHouse. Она отлично подходит для импорта данных из 1С и других источников с разнородной структурой данных, так как не требует их преобразования. А управляемый сервис Managed Service for ClickHouse позволяет создавать кластеры баз данных автоматически, а также устанавливает исправления и обновления СУБД.

Как и другие системы этого класса, 1C развивалась эволюционно в течение нескольких десятилетий. В итоге таблицы справочников 1С часто состоят из сотен полей с разреженными данными, где многие ячейки имеют пустое значение (NULL). В универсальных СУБД обработка таких таблиц требует больше ресурсов и выполняется гораздо медленнее.

ClickHouse показывает высокую производительность в работе с большими таблицами с плоской структурой, которые часто встречаются при большом наборе источников данных. Например, обработка сторонних данных о продажах в торговых сетях ускорилась многократно. Раньше обработка блока данных размером 500 МБ занимала до двух недель, теперь он оказывается в БД через несколько минут после получения и с данными сразу можно работать, строя выборки и проекции.

И наконец, при построении аналитических запросов на полученных данных ClickHouse, как специализированное решение, ожидаемо оказалась значительно быстрее конкурентов.

Для визуализации аналитических данных после тестирования был выбран сервис Yandex DataLens. Этот инструмент бесплатен для первичных экспериментов, не требует установки дополнительного ПО на компьютеры пользователей, прост в освоении и одинаково подходит для офиса и удаленной работы.

Серия экспериментов показала главные преимущества связки ClickHouse и DataLens:

• разреженные данные, типичные для систем 1C, обрабатываются быстро;
• скорость импорта больших объемов данных через открытый формат CSV высокая;
• разнородные данные из внешних файлов обрабатываются и становятся доступны гораздо быстрее;
• пользователи могут самостоятельно создавать и настраивать отчеты;
• единая платформа позволяет внедрять методологию и культуру хранения исторических данных.

Завершением подготовительного этапа стала разработка промоверсии аналитической системы на реальных данных о продажах, планах, данных интернет-магазина и купленных данных торговых сетей. Она была закончена в мае, после чего проект представили на утверждение заказчику.

Построение новой системы

Самая интенсивная часть разработки пришлась на летние месяцы. Одновременно с разработкой новой системы развертывали сопутствующую инфраструктуру в Yandex Cloud, переводили в облачные сервисы часть разработки под 1С и проводили эксперименты с данными в 1С.

Была сформирована рабочая группа из руководителей части подразделений завода, включая отделы продаж, маркетинга, фирменной розницы и интернет-магазина. Она занялась разработкой механизмов сбора и импорта данных, до тех пор существовавших только в формате таблиц Excel. Обсуждались форматы представления данных, были созданы чарты с обобщенными данными. Добавили обмен данными с СУБД PostgreSQL, которую использует кассовая система SET.

В июле к рабочей группе подключились экономисты и сотрудники с производства. Сформировалась обратная связь с разработчиками 1С, так как при сборе данных выполняется аудит и оптимизируется работа систем.

Следующим шагом стало создание документации по развертыванию системы и отлаживание механизмов и регламента взаимодействия систем. Были собраны новые порции внешних данных, на которых создается раздел с фильтрами для их анализа в интересующих проекциях.

В августе завершили основные работы для задач отдела продаж, фирменной розницы, интернет-магазина, отдела маркетинга, экономистов и производства. Разработчикам 1С были сформулированы задачи для подготовки ранее не использовавшихся специфических данных.

Пока систему осваивали, была произведена тонкая настройка в ClickHouse и DataLens, а пользователей обучили базовым навыкам редактирования дашбордов и чартов. После первых аналитических сессий началось практическое применение отчетов в деятельности компании. Значительная часть работ пришлась на период самоизоляции, что наглядно показало преимущества облачной аналитики перед ручной обработкой данных.

На завершающем этапе реализации проекта были сделаны специализированные дашборды. Экономисты получили отчеты по себестоимости и подготовке сырья, а также себестоимости основной продукции. Для транспортного отдела созданы дашборды с данными по маршрутам и затратам на топливо, а для производства — по финальным стадиям реализации продукции.

На основе Yandex DataLens была построена система автоматического сбора данных и сквозной аналитики из всех доступных источников. Для каждого подразделения компании создан набор дашбордов с широкими возможностями настроек и фильтров. Полученные данные используются для проведения как оперативных совещаний, так и отчетных по итогам работы за период.

Высокая производительность ClickHouse позволила поднять качество аналитики на новый уровень, который до этого был недоступен из-за низкой производительности использовавшихся систем и методов. Удобство и простота настройки дашбордов DataLens помогли привлечь к их разработке сотрудников подразделений, снизив нагрузку на ИТ-службу «Окраины».

Сейчас аналитикой в DataLens пользуется более 20 человек, в основном это руководство компании. В дальнейшем планируется создать базу бережливого производства и подключить к аналитике до 100 пользователей. Также будут интегрированы Яндекс.Погода, Яндекс.Пробки и другие онлайн-сервисы. Высокая масштабируемость облачных сервисов поможет оптимально решить проблемы: оперативно предоставлять данные, добиться глубины аналитики и внедрять новые алгоритмы.

В результате положительного опыта использования облачных сервисов рассматриваются варианты размещения на них серверов, в том числе перевод на вычислительные мощности Yandex Cloud ресурсоемких систем оперативного управления предприятием.
Успешное внедрение ClickHouse и DataLens в «Окраине» вызвали интерес к этому решению у других производителей мясоперерабатывающей отрасли. Оно востребовано рынком, и нужен удобный механизм его тиражирования как для территориальных подразделений компании, так и в коммерческих целях. Для этого планируется создать модуль выгрузки данных из типовых решений 1С и собственных разработок в ClickHouse. В качестве «коробочного» продукта будет предоставляться преднастроенная БД в Managed Service for ClickHouse и набор дашбордов в DataLens. Такой подход на основе облачных технологий позволит будущим клиентам существенно сократить трудозатраты и время внедрения.