Платформа для анализа данных в финтехе: опыт «Мокка» в Yandex Cloud

«Мокка» — это сервис оплаты покупок частями. Сервис предлагает клиентам финансовую услугу по модели BNPL (buy now pay later), которая позволяет разбивать оплату покупки на равные части. «Мокка» сотрудничает с крупными ритейлерами и представлен в более чем 7500 магазинах.

Чтобы оптимизировать бизнес‑процессы, компания решила снизить потери через управление рисками. Для этого команда «Мокка» создала в Yandex Cloud платформу, которая на основе данных, получаемых в том числе из внешних источников, определяет вероятность дефолта клиента. За год компания повысила показатель ROI с 300% до 450%. Время с несоблюдением SLA уменьшилось в 6 раз, а время восстановления после сбоя сократилось с 24 до 4 часов.

«Мокка» — это один из самых развитых сервисов BNPL на рынке. С сервисом можно оплачивать покупки равными частями в более чем 7500 магазинах-партнёрах. Для этого нужно скачать мобильное приложение и зарегистрироваться в нём или в магазинах. С одобренным лимитом от «Мокка» можно совершать покупки сразу и выбирать удобные сроки оплаты частями. В мобильном приложении «Мокка» также есть и другие популярные сервисы. Например, виртуальная карта MirPay для покупок в онлайн- и офлайн- магазинах с постоплатой, пополнение баланса телефона, покупки с подарочными сертификатами, получение средств на карту.

Компания запланировала оптимизацию сервиса, чтобы с 2022 к 2025 году увеличить Data ROI в 3 раза. По этому показателю можно оценить, насколько эффективно используются данные и как они влияют на достижение бизнес‑целей. Например, анализ данных помогает определить, сможет ли клиент вовремя вносить платежи.

Чтобы прийти к нужному результату, решили создать DWH и платформу анализа данных, которая способна хранить и обрабатывать большие объёмы данных и производить вычисления в режиме реального времени.

Учитывая высокую нагрузку на сервис, требовалось, чтобы такая платформа была надёжной и быстро масштабировалась. В «Мокка» понимали, что команде лучше сосредоточиться на достижении бизнес‑результатов, а обслуживание инфраструктуры передать на аутсорсинг. Поэтому команда решила развивать DWH в облаке.

Компания выделила 5 критериев для выбора облачного провайдера:

1. Отсутствие привязки к поставщику. Компания не хотела зависеть от сервисов одного облачного провайдера. «Мокка» планировала построить переносимую архитектуру: компания работает и в России, и в Европе, поэтому нужна была унифицированная инфраструктура.

2. Цена. Здесь учитывалась не только прямая стоимость инфраструктуры, но и косвенные затраты. Например, если потребуется помощь специалистов, работающих с редкими инструментами: таких экспертов трудно найти, и расходы на их услуги сильно «утяжеляют» ФОТ.

3. Сила бренда или доверие к бренду. Компании было важно найти надёжного и опытного облачного провайдера и быть уверенной, что при масштабировании не возникнет проблем с выделением мощностей.

4. Широкая линейка облачных сервисов. Команда «Мокка» обращала внимание на комплексный набор решений вендора. Он должен обеспечивать полный цикл работы с данными в облаке, а также гибкое и эффективное использование облачных ресурсов.

5. Экспертность и скорость технической поддержки.

Оценив поставщиков облачных услуг на рынке, компания решила, что всем заявленным требованиям лучше всего соответствует Yandex Cloud.

Основной целью трансформации было — повысить ROI от Data‑сервисов за счёт снижения time2market, а также стабильных SLA и RTO.

Кроме того, чтобы увеличить продажи, «Мокка» запланировала персонализировать мобильное приложение и веб‑сайт. Для этого решили внедрить маркетинговые стратегии X‑sell, Upsell и Service. В стратегии X‑sell, или «Кросс‑продажи», покупателю предлагают товары или услуги, дополняющие основную покупку, в Upsell — более дорогие версии продукта, а в Service — дополнительные услуги. Чтобы реализовать персонализацию, предстояло собрать единый профиль клиента из внешних и внутренних источников данных и разработать более точные ML‑модели, и в результате перейти к принятию решений, основываясь на полных и качественных данных.

Платформа «Мокка» должна была:

• быть гибкой и технологичной, чтобы обеспечить бизнес‑потребности;

• обрабатывать большой объём данных: для этого предстояло обеспечить интеграцию с внешними и внутренними источниками через различные интерфейсы;

• обрабатывать данные как в пакетном режиме, так и почти в реальном времени;

• масштабироваться горизонтально и вертикально.

Центральным элементом проекта стало хранилище, вокруг которого строились обвязки и микросервисы. Такая концепция позволила гибко подстраиваться под нужды бизнеса.

При проектировании выбрали модель данных Data Vault 2.0:

• её можно дорабатывать в процессе эксплуатации без полноценного редизайна;

• с ней проще проводить миграцию, если требования бизнеса и источники данных меняются;

• она легко масштабируется благодаря одновременной загрузке многих сущностей и высокой степени параллелизма;

• у неё есть базис для внедрения управляемого Data Quality.

В качестве основного решения для аналитической платформы «Мокка» выбрала связку сервисов платформы данных Yandex Cloud. Команда «Мокка» разделила все поступающие данные на два потока — для «холодной» и «горячей» обработки.

В «горячем» режиме обрабатываются данные для системы кредитного скоринга, а также данные внутренних антифрод-сервисов, которые в реальном времени защищают сервис от мошенников.

Данные для аналитики и отчётности обрабатываются в «холодном» режиме. Контур «холодного» хранилища — операционно‑аналитический: он не только нужен для аналитики, но и связан с промышленными процессами. Важно, чтобы нагрузка на сервисы была прогнозируемой, поэтому рабочие процессы дата‑сайентистов и аналитиков ведутся в лаборатории — отдельном вычислительном контуре.

Поступающие данные хешируют и отправляют в Data Lake, развёрнутый в Yandex Object Storage. Затем данные проходят оценку качества и отправляются в соответствующее хранилище.

«Холодное» DWH развернули на базе Yandex Managed Service for Greenplum^®. ML‑модели для обработки данных компания размещает в кластере Kubernetes. Обработанные данные отправляются в систему построения отчётов.

«Горячее» хранилище реализовали с помощью Managed Service for MongoDB.

Для обмена данными между основными системами команда «Мокка» использует два кластера Managed Service for Apache Kafka. Этот сервис решает сразу три задачи:

• снимает нагрузку с систем, так как не нужны прямые интеграции между ними;

• управляет потоками данных;

• обеспечивает однородность данных и результатов работы систем, так как разные системы используют одни и те же топики Apache Kafka.

Для хранения персональных данных предусмотрен отдельный защищённый контур. Это стало возможным в том числе и потому, что у Yandex Cloud есть необходимые сертификаты защиты для выполнения требований ФЗ‑152.

Компания хотела увеличить ROI, чтобы эффективнее использовать и анализировать данные о клиентах для достижения бизнес‑целей. В 2023 году в результате трансформации показатель вырос с 300% до 450%. А в ближайшее время его планируют поднять до 700%. При этом стандартное значение ROI в этом сегменте рынка составляет 1100%.

На второй квартал 2023 года время с несоблюдением SLA сократилось в 6 раз, а RTO, или время восстановления после сбоя, уменьшилось с 24 до 4 часов.

Платформа обрабатывает примерно 10 ТБ данных, а с ростом бизнеса этот показатель будет только расти. При этом работающие в режиме реального времени ML‑модели обрабатывают данные за 2 секунды. Это позволяет принимать кредитное решение всего за 10–15 секунд.

В ближайшие 1–2 года компания планирует унифицировать свою платформу для работы в Европе.