Как превратить данные из 1С в бизнес-выводы с помощью BI и ИИ

В основе примера — сеть АЗС, у которой за два года накопилось свыше 200 млн чеков, а в пересчёте на записи — около 290 млн строк. Бизнес-задача состояла в том, чтобы повысить прибыльность за счёт роста нетопливной выручки: продаж кофе, снеков, автохимии и других сопутствующих товаров.

Разберём, как был устроен проект, почему нельзя просто подключить BI напрямую к сырой базе 1С, какую роль сыграл фреймворк BI.Qube 2.0 и как Нейроаналитик помогает искать инсайты, проверять гипотезы и развивать дашборд.

Задача: найти бизнес-инсайты в 200 млн чеков

Кейс был связан с компанией «Нефтемагистраль» — крупной сетью, где бизнес не ограничивается продажей топлива. В периметр также входят автомойки, розница, HoReCa, пищевое производство и аптеки.

Основная бизнес-задача — повысить прибыльность сети АЗС за счёт увеличения нетопливной выручки. Для этого нужно было не просто построить отчёт по продажам, а найти закономерности: какие категории растут, какие точки отстают, как работает бонусная программа и где есть потенциал для роста.

Помимо 1С, в проекте использовались и другие источники:

На вебинаре мы отдельно подчеркнули, что данные в демонстрации обезличены — совпадения с реальностью случайны.

Перед командой стояло несколько аналитических задач:

• анализировать динамику показателей;
• выявлять лучшие и отстающие торговые точки;
• оценивать влияние бонусной программы;
• сравнивать топливные и нетопливные продажи;
• искать точки роста нетопливной выручки;
• получать не просто отчёты, а понятные бизнес-выводы.

Почему нельзя подключить BI к сырым данным из 1С

На первый взгляд кажется, что задача решается просто: подключаем Yandex DataLens к данным из 1С, строим графики и анализируем продажи. Но на больших объёмах такой подход не работает.

В кейсе было более 200 млн чеков, а в пересчёте на записи — около 290 млн строк. Если пытаться работать с таким объёмом напрямую, можно столкнуться с таймаутами и медленной работой дашборда.

Чтобы получить рабочий BI-дашборд, данные сначала нужно подготовить:

1. Загрузить данные из 1С и других источников.
2. Очистить и преобразовать их.
3. Связать чеки с номенклатурой.
4. Выстроить иерархию категорий.
5. Собрать модель данных.
6. Сформировать агрегированную витрину.
7. На основе этой витрины построить дашборд в Yandex DataLens.

Именно витрина, а не сырые данные из учётной системы, становится основой для быстрой визуализации и дальнейшего анализа.

Как выглядел дашборд в Yandex DataLens

В результате проекта был создан интерактивный дашборд с несколькими страницами.

Дашборд интерактивный: при выборе регионального менеджера или конкретной торговой точки остальные элементы перестраиваются. Это позволяет сравнивать разные группы АЗС, смотреть динамику и находить отличия между точками.

Но даже хороший дашборд не всегда сразу даёт ответ. Если на графике десятки категорий, а в таблице много строк и показателей, человеку сложно быстро увидеть главное. Здесь в игру вступает Нейроаналитик.

Что делает Нейроаналитик

Нейроаналитик в Yandex DataLens помогает анализировать данные, которые уже есть на дашборде или в конкретной визуализации. С ним можно работать в диалоговом режиме: задавать вопросы, уточнять выводы, просить проверить гипотезы, найти сезонность, аномалии или закономерности.

Важно обозначить ограничение сразу: Нейроаналитик работает с теми данными и метаданными, которые доступны в рамках дашборда или конкретной визуализации. Он не ходит в интернет, не забирает внешние данные и не исправляет исходные данные в источниках.

В демонстрации Нейроаналитик используется не только для чтения готового дашборда, но и для помощи в разработке: он предлагает формулы, помогает с вычисляемыми полями и генерирует код для кастомной визуализации.

При этом Нейроаналитик не заменяет человека, который понимает предметную область. Он помогает быстрее добраться до гипотез и интерпретаций, но финальное решение остаётся за бизнесом, аналитиком или руководителем.

Пример 1. Свободный анализ дашборда

Первый сценарий — задать Нейроаналитику общий вопрос: что он видит на дашборде.

Такой режим полезен на старте анализа. Вместо того, чтобы заранее формулировать сложный промпт, можно начать с общего вопроса, получить первые наблюдения и дальше раскручивать найденные темы.

Например, Нейроаналитик может обратить внимание на:

• различия между топливными и нетопливными продажами;
• динамику по категориям;
• вклад отдельных торговых точек;
• необычные изменения в данных;
• возможные направления дальнейшего анализа.

Пример 2. Поиск сезонности и аномалий

На графике динамики нетопливной выручки была видна сезонность. При этом Нейроаналитика специально не просили искать сезонные изменения — он сам обратил внимание на сезонную динамику по ряду категорий.

После этого тему можно развивать уточняющими вопросами, например:

• в каких категориях сезонность выражена сильнее;
• как меняется динамика по месяцам;
• где есть отклонения от обычного поведения;
• какие категории требуют дополнительного анализа.

Затем Нейроаналитика попросили посмотреть аномалии. Он отметил отличия по категориям, указал возможные технические причины выбросов и обратил внимание на проблемы, которые могут быть связаны с обработкой данных.

При этом он не просто дал выводы, а сформулировал рекомендации: как улучшить предобработку, чтобы снизить влияние пропусков, аномалий и «грязных» данных.

Пример 3. Кластеризация торговых точек

Одна из самых сложных частей дашборда — большая таблица по торговым точкам. В ней много данных по АЗС и категориям, и человеку сложно быстро увидеть, какие точки похожи между собой, а какие выбиваются из общей картины.

Для такого сценария Нейроаналитика попросили выполнить кластеризацию: разбить торговые точки на группы на основе данных по выручке.

Кластеризация обычно требует навыков Data Science: нужно подготовить данные, выбрать подход, построить модель, интерпретировать результат. Но в демонстрации Нейроаналитик не только выделил группы, но и описал смысл кластеров, а также дал рекомендации для дальнейшего анализа.

Ценность здесь не только в техническом действии, а в интерпретации. Сам по себе «кластер 3» мало что говорит бизнесу. Важно понять, что это за группа точек, чем она отличается и какие управленческие действия можно рассмотреть.

Пример 4. Помощь с вычисляемыми полями

Нейроаналитик помогал не только анализировать готовые графики, но и дорабатывать сам дашборд.

В одном из примеров нужно было рассчитать процент бонусной выручки. Нейроаналитик выдал:

• объяснение логики расчёта;
• готовую формулу;
• предупреждение про деление на ноль;
• формулу, устойчивую к этой проблеме.

После этого формулу можно было скопировать в вычисляемое поле Yandex DataLens, дать полю имя и использовать его в дашборде.

Пример 5. Кастомная визуализация

В проекте возникла задача показать, какие товары чаще всего встречаются в чеках вместе. Для этого подходит диаграмма «Санки», но в стандартной библиотеке нужной визуализации не было.

Команда попросила Нейроаналитика разработать такой компонент. Он сгенерировал код на JavaScript для диаграммы «Санки» с тремя дорожками.

Дальше код можно было:

• использовать как основу;
• отредактировать вручную;
• доработать через диалог с Нейроаналитиком;
• адаптировать визуализацию под стиль дашборда.

Как устроен путь данных от 1С до BI

Путь данных был разделён на четыре этапа:

BI.Qube 2.0 закрывает загрузку, трансформацию и моделирование данных. Yandex DataLens отвечает за визуализацию и работу с дашбордом. Нейроаналитик помогает анализировать уже подготовленные данные и находить бизнес-инсайты.

Как BI.Qube загружает данные из 1С

Первый этап — загрузка данных из источников. В BI.Qube это делается через визуальный интерфейс: пользователь выбирает источник, задаёт параметры, а код для загрузки генерируется автоматически.

Фреймворк поддерживает:

• популярные СУБД;
• Microsoft Excel;
• CSV;
• разные версии учётных систем 1С;
• REST-сервисы;
• федеральные и государственные системы.

В кейсе с 1С это особенно важно, потому что структура 1С — не обычные таблицы. В ней есть документы, справочники, регистры и собственная логика конфигурации.

Так, пользователь работает не с непонятными техническими таблицами, а с бизнес-объектами: документами, справочниками и регистрами. Базовая настройка выполняется автоматически, хотя при необходимости в неё можно вмешаться вручную.

Отдельно была приведена оценка скорости. В реальных проектах BI.Qube достигает порядка 500 тыс. строк в минуту, тогда как встроенные средства 1С вроде OData или COM-соединений отдают примерно от 2 до 5 тыс. строк в минуту. В вебинаре мы уточняли, что это было описано как ускорение примерно в 100 раз.

Почему важна трансформация данных

Загрузить данные — только первый шаг. Чтобы дашборд был полезным, нужно привести данные к пригодному для анализа виду.

В кейсе требовалось:

• связать чеки с номенклатурой;
• классифицировать товары;
• выстроить иерархию категорий;
• собрать справочники;
• построить модель данных;
• подготовить агрегированную витрину.

Такая подготовка особенно важна для Нейроаналитика. Он работает с теми данными, которые ему доступны на дашборде или в конкретной визуализации. Если данные неполные, противоречивые, с пропусками и шумами, качество ответов будет ниже.

Поэтому Нейроаналитик — не «серебряная пуля», а часть технологической цепочки. Чтобы он давал качественные выводы, сначала нужны чистые, связанные и правильно смоделированные данные.

Где происходит обработка данных

Ниже разберём, на какой стороне лучше обрабатывать данные: в учётной системе, хранилище или в Yandex DataLens.

Спойлер: возможны разные уровни обработки.

В демонстрационном проекте путь был таким: данные из 1С загружались в Yandex Managed Service for PostgreSQL, там обрабатывались, затем формировалась витрина в Yandex Managed Service for ClickHouse^®, а Yandex DataLens уже работал с этой витриной.

Как формируется витрина для Yandex DataLens

После построения модели данных формируется витрина в Yandex Managed Service for ClickHouse^®. Именно на эту витрину «смотрит» Yandex DataLens.

В витрину выгружаются не все сырые данные, а только те сущности и поля, которые нужны для визуализации и анализа. На этом этапе можно:

• выбрать нужные сущности;
• задать наименование;
• определить поля;
• настроить агрегацию;
• подготовить данные под конкретные дашборды.

Поскольку в витрине находятся уже подготовленные и предагрегированные данные, дашборд работает быстро даже на большом объёме исходных данных.

Также BI.Qube позволяет настроить регулярное обновление. Например, можно каждую ночь загружать новые данные, чтобы дашборд не оставался статичным.

No-code и low-code: нужен ли SQL

Один из вопросов вебинара касался SQL: можно ли построить такой процесс без знания SQL или это утопия.

Ответ был разделён на два режима.

Для базового забора данных и типовых трансформаций, которые нужны в большинстве случаев, достаточно no-code. Например, выбрать, что загружать, переименовать поля, соединить данные, агрегировать, исключить ненужные сущности.

SQL может понадобиться для нетипичных преобразований: особенных данных, сложной логики, кастомных сценариев или специфичных геоданных. Но нагрузка на SQL-специалиста в таком подходе становится значительно ниже: он подключается только к адресным сложным местам, а не пишет весь процесс с нуля.

Как повысить точность ответов Нейроаналитика

Нейроаналитик работает с тем контекстом, который ему передают: данными визуализации, вкладками дашборда, метаданными, описаниями, названиями полей и уточняющими вопросами пользователя.

Чтобы повысить качество ответов, в вебинаре выделили несколько принципов.

Давать чистые и проверенные данные

Если данные содержат шум, пропуски или противоречия, Нейроаналитику сложнее формировать точные выводы. Поэтому качество предобработки напрямую влияет на качество анализа.

Давать только нужный объём данных

Иногда полезно задавать вопрос ко всему дашборду, чтобы получить широкий обзор. Но если нужна максимальная точность, лучше обращаться к конкретной визуализации или ограниченному набору данных.

Использовать метаданные и описания

Нейроаналитику можно помогать через описания полей, заголовков, чартов, дашбордов и отчётов. Чем понятнее бизнес-контекст, тем надёжнее мост между данными и интерпретацией.

Работать в диалоге

Необязательно сразу писать большой сложный запрос. Можно начать с базового вопроса, затем уточнять, проверять гипотезы, просить построить дополнительную визуализацию или посмотреть на данные с другой стороны.

Перепроверять выводы визуализациями

Нейроаналитик — инструмент. Если он подсветил сезонность, аномалию или гипотезу, её можно проверить через дополнительные графики, фильтры и уточняющие вопросы.

Чего Нейроаналитик не делает

Важно понимать ограничения Нейроаналитика. Он не редактирует исходные данные, а работает с ними в режиме чтения.

Он может:

• подсветить странные значения;
• обратить внимание на аномалии;
• предположить проблемы в данных;
• дать рекомендации по предобработке;
• помочь сформулировать гипотезу.

Но исправлять исторические данные или менять источник он не будет. Если обнаружена проблема, человек или команда должны изменить предобработку, справочники, правила загрузки или модель данных.

Когда фреймворк BI.Qube особенно полезен

На вебинаре мы предложили смотреть на задачу через несколько критериев. Чем больше ответов «да», тем сильнее эффект от использования BI.Qube.

Если хотя бы по двум пунктам ответ «да», использование фреймворка уже может ощутимо ускорить работу. Чем сложнее данные и интеграции, тем выше эффект.

Что даёт такой подход бизнесу

Традиционный путь к аналитике часто требует большой команды:

• программиста 1С;
• дата-инженера;
• дата-архитектора;
• дата-сайентиста;
• аналитика;
• BI-разработчика.

В показанном подходе часть задач закрывается готовыми инструментами: BI.Qube помогает с загрузкой, трансформацией и моделью данных, Yandex DataLens — с визуализацией, Нейроаналитик — с интерпретацией и поиском гипотез.

Это не означает, что специалисты больше не нужны. Но трудоёмкость проекта снижается, а старт становится быстрее. Пилот можно запустить быстро: собрать модель на выгрузках CSV, Excel или данных из 1С, подготовить данные, сделать 1–2 дашборда в Yandex DataLens и начать работать с Нейроаналитиком.

Результат пилота — не просто статичный отчёт, а работающий прототип, который можно показать бизнесу и развивать дальше.

Как развивать проект после пилота

После первого прототипа проект можно расширять:

• подключать новые источники;
• обогащать модель данных;
• делать несколько витрин;
• развивать визуализации;
• улучшать предобработку;
• использовать рекомендации Нейроаналитика;
• уточнять бизнес-гипотезы;
• добавлять новые сценарии анализа.

В кейсе с АЗС Нейроаналитик был полезен не только для разового анализа, а как инструмент постоянного диалога с данными. Руководитель или аналитик могут смотреть на дашборд, задавать вопросы, уточнять выводы и постепенно находить точки роста.

Ключевые выводы

Данные из 1С можно превратить в бизнес-выводы, но для этого их недостаточно просто выгрузить в BI. Особенно если речь идёт о сотнях миллионов чеков и сложной структуре учётной системы.

Главные инсайты:

• Сырые данные из 1С нужно готовить перед визуализацией.
  Иначе большие объёмы приводят к таймаутам, медленной работе и сложностям анализа.

• Витрина данных — основа быстрого дашборда.
  В Yandex DataLens лучше передавать уже очищенные, связанные и агрегированные данные.

• BI.Qube помогает пройти путь от источников к модели.
  Фреймворк загружает данные из 1С и других источников, трансформирует их, собирает модель и формирует витрины.

• Нейроаналитик превращает дашборд в инструмент диалога.
  Он помогает искать сезонность, аномалии, закономерности, кластеры и направления дальнейшего анализа.

• ИИ полезен не только для анализа, но и для разработки дашборда.
  Он может помогать с формулами, вычисляемыми полями и кастомными визуализациями.

• Качество выводов зависит от качества данных и контекста.
  Чем чище данные, понятнее метаданные и точнее вопрос, тем полезнее ответы Нейроаналитика.

• Человек остаётся главным участником анализа.
  Нейроаналитик помогает быстрее находить гипотезы, но финальные решения принимает бизнес: аналитик или руководитель.

В итоге связка 1С, BI.Qube, Yandex DataLens и Нейроаналитика позволяет пройти путь от учётных данных к управленческим выводам: увидеть динамику, найти слабые и сильные точки, проверить гипотезы и быстрее перейти от отчётности к действиям.

Но ключевой принцип остаётся тем же: ИИ раскрывается не на сырых данных, а на подготовленной модели. Сначала нужно собрать качественную витрину, описать данные и выстроить понятный аналитический контекст — и уже после этого Нейроаналитик становится инструментом, который помогает быстрее находить инсайты и превращать дашборд в рабочий диалог с бизнесом.