Как DEMETRA сократила расходы на инфраструктуру на 30%

Компания DEMETRA предоставляет сервис для автоматизации работы с маркетплейсами — с ним можно управлять любым количеством товаров и всеми магазинами в режиме одного окна. DEMETRA работает с несколькими маркетплейсами на территории Казахстана и России, в том числе с крупнейшей казахстанской площадкой Kaspi.

Ключевая особенность проекта — одномоментная обработка большого количества данных: сейчас сервис обрабатывает 25 миллионов запросов в сутки. Перенеся часть инфраструктуры в Yandex Cloud, DEMETRA снизила затраты на неё примерно на 30%.

DEMETRA помогает клиентам управлять ценами на их товары в онлайн-магазинах и на маркетплейсах, используя мониторинг позиций и автоматическую корректировку цен. Для этого нужно собирать и обрабатывать аналитику по продукции на маркетплейсах — а это миллионы позиций — и актуализировать информацию о товарах, которые уже загружены в систему.

Всего DEMETRA обрабатывает около 25 миллионов запросов в сутки. Собственная физическая инфраструктура компании с трудом справлялась с таким объёмом одновременно поступающих данных. Когда продукт «упёрся в потолок» запросов, стало ясно, что проекту нужны инфраструктурные изменения, а именно — быстрое и удобное решение для автоматического масштабирования вычислительных ресурсов.

Изначально проект развернули во внутренней инфраструктуре компании. Однако со временем команда пришла к выводу, что многие сервисы удобнее использовать в облаке. Решение в пользу облачной платформы позволило не только обрабатывать большое количество трафика, но и, используя управляемые сервисы, сократить время на настройку инфраструктуры. Компания перенесла часть сервисов на одну из крупных облачных платформ, но оказалось, что затраты на эту облачную инфраструктуру быстро растут, так как зависят от количества запросов. Команда стала искать нового облачного провайдера.

Основными критериями при выборе провайдера были прозрачная ценовая политика, наличие необходимых управляемых сервисов, отказоустойчивость, качественный алертинг, безопасность и, конечно, конфиденциальность данных. Протестировав разные облачные платформы, команда остановилась на решениях Yandex Cloud, потому что они полностью удовлетворяли требованиям.

DEMETRA обрабатывает около 5 ТБ внешнего трафика в месяц. Это свыше 20 миллионов внешних запросов в сутки. Кроме того, нужно обрабатывать внутренний трафик работы с личными кабинетами.

Выставив товар на маркетплейсе, пользователь может увидеть, сколько его товаров находится на первом месте среди прочих. Когда другие продавцы выставляют на аналогичный товар меньшую цену и товар партнёра спускается на позицию ниже, система передаёт данные о том, что товар был смещён, и автоматически понижает цену в пределах установленного продавцом диапазона, чтобы товар вернулся на первую позицию в списке.

Команда проекта переносила DEMETRA на новую инфраструктуру в один этап, основная часть которого заняла около недели. Крупных проблем при миграции не возникло, а все вопросы оперативно решались с поддержкой Yandex Cloud.

Основной поток данных компании DEMETRA собирается из маркетплейсов, от поставщиков и их клиентов. Эти данные поступают в различных форматах и часто меняются. Чтобы облегчить управление инфраструктурой проекта, команда стремится использовать управляемые сервисы и выбрала для работы несколько сервисов платформы данных Yandex Cloud. Система обрабатывает весь объём данных и хранит их в управляемой реляционной СУБД Yandex Managed Service for PostgreSQL. Для сбора аналитической информации DEMETRA использует базу Yandex Managed Service for ClickHouse^®, для горячего кеша — Yandex Managed Service for Redis^™. Для хранения файлов пользователей, например аватаров или информации о товарах, компания выбрала Yandex Object Storage.

Настройка инфраструктуры и сама миграция заняли не больше месяца. Благодаря использованию управляемых сервисов Yandex Cloud существенно менять архитектуру проекта и дописывать дополнительные модули не понадобилось.

Использование инструментов и управляемых сервисов Yandex Cloud позволило компании сократить время на запуск продуктов. Это немаловажный фактор, который сказался и на финансовых затратах. По расчётам компании, бюджет на похожую инфраструктуру у других облачных провайдеров был бы выше приблизительно на 30%.

Автоматизация процессов позволила увеличить наблюдаемость и контролируемость системы. Команда проекта отмечает удобное управление расходами, простоту использования управляемых сервисов, качественную поддержку платформы Yandex Cloud. Компания планирует расширять возможности продукта и привлекать в DEMETRA новые маркетплейсы из Беларуси, России и других стран.