О чем эта история

SevenTech — системный интегратор, разрабатывающий и подключающий мобильные сервисы для доставки текстовых и голосовых сообщений клиентам на телефон: на почту, через SMS, мессенджеры, социальные сети или мобильные приложения.

Построив аналитическое решение на базе Yandex Managed Service for ClickHouse и Yandex DataLens, компания смогла сэкономить до 450 часов работы менеджеров и технических специалистов в месяц, минимизировать риски возникновения дебиторской задолженности и кассового разрыва и увеличить эффективность работы аккаунт-менеджеров. Рассказываем, как им это удалось.

Собрать, обработать, визуализировать

Компания начала свою работу в августе 2018 года. Уже в первый месяц было подключено 20 компаний-партнеров и отправлено клиентам около 20 миллионов сообщений.

Каждое сообщение — это не просто текст. Надо было знать, кому и когда было отправлено сообщение, номер абонента и его имя, тип трафика, какой статус был получен и многое другое. Необходимо было решение, которое позволит оперативно собирать, обрабатывать, анализировать и визуализировать данные для отчетности перед партнерами и принятия решений по развитию бизнеса.

СУБД MS SQL Server, которой пользовались изначально, была неэффективна для аналитики на больших объемах: обработка данных занимала много времени, возникали проблемы. Решили протестировать ClickHouse. Проверили, как она работает в инфраструктуре облака своего провайдера, и удивились: производительность оказалась выше в несколько десятков раз — четыре миллиарда строк были обработаны за несколько минут, а раньше на это требовалось несколько часов. Поэтому от MS SQL Server отказались и стали использовать ClickHouse на мощностях отечественного сервис-провайдера.

Со сбором и обработкой данных разобрались, но появилась другая проблема: как оперативно предоставлять информацию клиентам и сотрудникам. В идеале — без привлечения программистов.

Пока данных было мало, справлялись так: менеджер говорил, какие данные нужны, например статистика по определенному оператору или типу сообщения, программист быстро писал SQL-запрос и через пару минут отправлял менеджеру результат.

Но через четыре месяца компаний-партнеров стало 65, а количество ежемесячно отправляемых сообщений превысило 70 миллионов. К тому же получение информации начало занимать очень много времени и ресурсов программистов. Нужно было найти другое решение для визуализации данных и представления отчетности.

По запросам SQL были написаны скрипты, которые экспортировали данные в файлы Excel. Теперь менеджеры могли самостоятельно получать нужные выборки и анализ. Визуализированные метрики выводили в Grafana.

В марте 2019 года у SevenTech было уже 89 партнерских подключений, 90 миллионов сообщений в месяц, несколько десятков Excel-файлов и бесчисленное количество визуализаций в Grafana. Чтобы партнеры могли отслеживать оперативную статистику, в компании создали несколько самописных веб-приложений на Django. «Костыли» множились и работать становилось сложнее.

К концу 2019 года через сервисы компании отправляли больше 190 миллионов сообщений в месяц. За два года компания из стартапа превратилась в бизнес с миллиардными оборотами. Появилась необходимость в сервисе, который будет визуализировать информацию для внутренних сотрудников и внешних партнеров, а также справляться с постоянным увеличением количества данных.

Yandex.Cloud и Yandex DataLens для визуализации

Сервис, который полностью подходил для задач визуализации и анализа данных компании, — Yandex DataLens. Он не требовал сложной настройки — начинать работать можно было сразу. А еще он позволял:

  • давать доступ всем сотрудникам компании и даже внешним партнерам;
  • полноценно работать даже в бесплатном тарифе;
  • самостоятельно создавать необходимые отчеты для бизнес-пользователей.

Узнали о нем на конференции Yandex Scale в 2019 году и сразу решили попробовать. Уже на следующий день аккаунт-менеджеры могли сами генерировать отчеты и составлять нужные им дашборды. Другие BI-решения не рассматривали: DataLens полностью закрывал потребности компании.

Но несмотря на то, что стали использовать облачный DataLens, работать в SevenTech продолжали с необлачным ClickHouse.

Переход на Yandex Managed Service for ClickHouse

Самостоятельная поддержка и развитие ClickHouse требует времени и денег. В компании рассчитали стоимость потребления облачного управляемого ClickHouse и решили переехать на Yandex Managed Service for ClickHouse.

Благодаря службе технической поддержки Yandex.Cloud удалось быстро справиться со всеми задачами миграции и в сентябре 2020 года компания полностью перешла на использование облачного Managed Service for ClickHouse.

Результаты

Сейчас менеджеры с помощью селекторов самостоятельно делают необходимые выборки и проводят анализ. Например, они могут выбрать период, клиента, сколько сообщений отправлено, сколько нужно протарифицировать.

Так выглядит табличный отчет в Yandex DataLens, который помогает делать сверки с операторами и партнерами.

Можно делать и более сложные аналитические отчеты для руководства или клиентов с ключевыми метриками — с визуализацией количества трафика по группам клиентов или планам по KPI. Например, директор по продажам может поставить менеджерам KPI и отслеживать исполнение по каждому из направлений, при необходимости может сравнить показатели за прошлые периоды.

К Yandex DataLens подключили сотрудников и партнеров — каждый может просматривать и анализировать статистику в том виде, в котором удобно, — это еще один плюс сервиса.

Вот так выглядит отчет в Yandex DataLens. Слева — показатели KPI по каждому направлению, разделенные по месяцам, справа — нормированные показатели суммарно по всем направлениям. Снизу — таблица, которая содержит в себе абсолютные цифры по ключевым метрикам и KPI в разрезе месяца и направления.

Мнение

Юрий Казанкин,
СTО SevenTech
Юрий Казанкин,
СTО SevenTech

Мы постоянно пробуем разные решения как в существующих продуктах, так и в новых разработках. Сейчас мы работаем над расширением платформы на Managed PG с использованием Yandex Managed Service for Apache Kafka®. Managed PG довольно органично занял место в нашем dev-окружении — коллеги со стороны разработки и QA довольны. Некоторые из наших внутренних приложений уже готовы к миграции из локальных инсталляций БД в managed-вариант, и мы будем пробовать это сделать в ближайшее время.