Сократить на 80% время внедрения изменений в дата‑продукты при снижении стоимости эксплуатации. Опыт М.Видео-Эльдорадо

Группа М.Видео-Эльдорадо — крупнейший в России продавец бытовой и цифровой техники, аксессуаров, игр, связанных устройств и сервисов. На фоне роста онлайн‑операций и цифровой трансформации бизнеса перед компанией стояла задача сократить время внедрения изменений при работе с данными, не увеличивая стоимость эксплуатации инфраструктуры и не вкладываясь в развитие дорогостоящей экспертизы по инфраструктурным решениям.

Проведя анализ рынка облачных провайдеров и on‑premise решений, компания выбрала платформу Yandex Cloud. В результате смены модели работы и перехода на Платформу данных удалось сократить время запуска новых проектов с трех месяцев до нескольких дней. При этом отказаться от капитальных затрат и оптимальным образом распоряжаться операционными расходами, перераспределив около 50% стоимости бизнес‑проекта на горизонте 3 лет в пользу более приоритетных инвестиций в дата-продукты. Компания также смогла обеспечить изменения более 20 000 ценников в день, теперь имея возможность быстро адаптировать ценовую политику и делать каждому покупателю персональные предложения.

Группа М.Видео-Эльдорадо в сфере аналитики данных долгое время работала по модели системного интегратора. Концентрируясь на основном бизнесе, для ИТ они не разрабатывали собственные, а использовали коробочные решения от крупных вендоров, которые самостоятельно или с помощью подрядчиков дорабатывались. Это дало компании очень быстрый старт, и такая модель была удобной для запуска бизнеса, но в процессе роста стало понятно, что она создавала очень большую зависимость от цикла развития вендора.

Чтобы обеспечить независимость и гибкость core-решений, было решено самим начинать создавать технологии. Однако развитие собственной инфраструктуры для новых задач — это долго и дорого, требует знаний и опыта. К тому же очень сложно сразу понять, пойдет ли эксперимент в продакшен, окупятся ли вложения. Заказывать оборудование под новые проекты нужно было за 12 недель, а цена ошибки в его выборе была очень высока. Более того, при работе в собственной инфраструктуре 80% времени специалистов уходило на внедрение и настройку, а только 20% — на создание продуктов и повышение добавленной стоимости.

Чтобы отказаться от поддержки и масштабирования инфраструктуры, сократить Time‑To‑Market выпуска продуктов и иметь возможность быстро тестировать гипотезы, было принято решение перейти в облако и использовать Платформу данных.

Выбор облакаВыбор облака

Для выбора облачной платформы М.Видео-Эльдорадо проанализировала рынок по ключевым параметрам:

• инфраструктурные сервисы и наличие дата-центров с возможностью организации надежного канала связи с ЦОДом ритейлера;
• единая платформа данных, реализующая полный цикл работы с данными;
• платформенные ML- и BI-сервисы;
• обеспечение безопасности и соблюдение законодательства;
• глубина знаний и опыта команды;
• единая точка входа для технической поддержки;
• понятное развитие платформы;
• стоимость.

Именно различные платформенные сервисы нужны компании для развития. Они позволяют быстро запускать продукты, экономить на обслуживании ресурсов и подключать уникальные ML- и BI‑технологии для решения задач и тестирования гипотез. А объединение сервисов на единой платформе данных дает уверенность в том, что практически любой, даже ранее не встречавшийся бизнес-сценарий можно будет реализовать без изменения архитектуры, длительных простоев и скачкообразного вливания средств.

В результате исследования компания приняла решение перенести инфраструктуру, разработку и эксплуатацию продуктов всего дата-офиса в Yandex Cloud. Собственные разработки и сервисы здесь объединены и интегрированы с партнерскими решениями в единую экосистему Платформа данных, позволяющую реализовать полный цикл работы с данными: от генерации до использования в моделях. Платформа данных Yandex Cloud обеспечивает весь сложный технологический стек ИТ: все необходимые для реализации бизнес-сценариев интеграции доступны из коробки, что дает возможность клиентам сфокусироваться на создании собственных решений.

В первую очередь была выстроена мощная масштабируемая инфраструктура и проведен быстрый канал связи с дата-центром Yandex Cloud с помощью сервиса Yandex Cloud Interconnect. Начали с рекомендательной системы и задач видеоаналитики, но затем практически весь Data Science стал работать в облачной платформе. В том числе:

• Все рекомендательные сервисы.
• Клиентская аналитика.
• Чат-боты.
• Аналитика по отзывам.
• Видеоаналитика.

При этом активно используются управляемые сервисы:

• Yandex Managed Service for PostgreSQL — классическая реляционная ACID ANSI SQL СУБД, преимущественно решает OLTP-задачи.
• Yandex Managed Service for ClickHouse — массивно-параллельная аналитическая колоночная СУБД, выполняющая операции сортировки, агрегации и фильтрации на больших объемах данных с фантастической скоростью.
• Yandex Managed Service for MongoDB — документно-ориентированная СУБД, позволяет хранить данные в рамках одной сущности без единой структуры.
• Yandex Managed Service for Apache Kafka^® — горизонтально масштабируемый брокер сообщений.
• Yandex Managed Service for Redis^™ — in-memory движок, чаще всего используется в качестве быстрого кеша, СУБД или очереди сообщений.
• Yandex DataLens — универсальный BI-инструмент для быстрого анализа и визуализации данных.

В 2020 году все решения в рамках бизнес-функций также начали разворачиваться в управляемых сервисах. В том числе очень важные для компании:

• Ассортиментное планирование.
• Промопланирование.
• Ценообразование.
• Управление запасами и фулфилмент (комплекс операций с момента оформления заказа покупателем и до момента получения им покупки).

Облачные технологии позволяют очень быстро и практически неограниченно масштабироваться под нагрузкой. Например, до внедрения Платформы данных у М.Видео-Эльдорадо не было возможности изменять более 20 000 ценников за день. Благодаря использованию облачных сервисов новый продукт удалось реализовать всего за три месяца и без ограничений количества изменений — теперь бизнес имеет возможность не только быстро адаптировать ценовую политику под рыночные тренды, но даже делать каждому покупателю персональные предложения.

Помимо платформы, дополнительным преимуществом Yandex Cloud стала возможность быстро подключить готовые ML-сервисы.

Например, для эксперимента по совершенствованию качества сервиса М.Видео-Эльдорадо для расшифровки разговоров продавцов и покупателей использовали распознавание речи (Speech-to-Text) в Yandex SpeechKit — речевые технологии голосового помощника Алисы, адаптированные для бизнес-решений. А для моделирования эффективности открытия магазинов — пространственную геоаналитику в сервисе анализа и визуализации данных DataLens.

На данный момент пиковое потребление ресурсов в Yandex Cloud при нормальном сценарии работы (продакшен + тестовая среда + среда для разработки + вспомогательные сервисы) такое:

• CPU — 600 ядер.
• RAM — 5 ТБ.
• HDD — 12 ТБ.
• SSD — 6 ТБ.
• Снимки дисков — 4 ТБ.
• GPU Tesla v100 — 1 ТБ.
• S3 — 100 ТБ.
• Поддержка небольших PostgreSQL-кластеров — 11 штук в различных конфигурациях, суммарно 100 ядер и 2 ТБ данных.
• Поддержка Kubernetes-кластеров (суммарно утилизируют 70% наших CPU и RAM) — 2 кластера суммарно на 150 узлов.

В Yandex Cloud стоимость такого же инфраструктурного стека оказывается ниже, чем покупка своего железа, на 15% — если разворачивать подобную инфраструктуру на собственных мощностях, то это стоило бы порядка 45-50 млн рублей на первый год и по 15 млн рублей на второй и третий год.

Основные преимущества Yandex Cloud:

1. Нет необходимости заранее приобретать оборудование, которое к тому же устаревает или может быть куплено не той мощности.
2. Нет необходимости платить деньги вперед за железо.
3. Нет необходимости оплачивать colocation.
4. Освободившиеся ресурсы и администраторы могут заняться другими задачами.

Переход на облачную модель потребления и использование Платформы данных позволил отказаться от CapEx и четко связал затраты в рамках OpEx, перераспределив таким образом порядка 50% стоимости бизнес-проекта на горизонте трех лет в пользу актуальных для развития компании продуктов, а не инфраструктуры. Финансовые расчеты показали, что операционные затраты в сравнении с закупкой и использованием собственного железа одинаковы, но для своей инфраструктуры еще нужно заложить большой бюджет на капитальные затраты, обслуживание, амортизацию и многое другое.

Использование сервисов Yandex Cloud дало возможность проводить быстрые эксперименты с данными, принимать правильные решения и быстро выпускать продукты, которые были востребованы внутри компании и у клиентов.