Когнитивные сервисы под капотом AR-приложения «Пятёрочки» «Тролли. Караоке» от Yode Group

Креативное агентство Yode Group выполняет весь цикл работ по проектированию и созданию нового покупательского опыта в Retail и FMCG-секторе.

Глубокая техническая экспертиза в дополненной и виртуальной реальности позволяет создавать креативные стратегии, направленные на эффективное и долгосрочное взаимодействие бренда со своей аудиторией с помощью интерактивных форматов контента.

Для федеральной маркетинговой акции «Большие Гастролли» от торговой сети «Пятёрочки», приуроченной к выходу анимационного фильма «Тролли. Мировой тур», агентство в короткие сроки разработало мобильное приложение «Тролли.Караоке» с элементами дополненной реальности.

Покупатели торговой сети получали за покупки карточки с 3D-эффектом, на которых были изображены герои мультфильма, а с помощью приложения можно было отсканировать «рубашку» и получить доступ к караоке-мелодиям известных европейских и русских хитов.

Также, в «Тролли. Караоке» можно было петь в караоке, записывать видео своих выступлений, применять разные АR-маски троллей, сохранять эти ролики, делиться ими в соцсетях, вызывать своих друзей на караоке-баттлы и получать призы за победу в них. Кроме того, записанное в приложении видео можно было загрузить на сайт акции «Большие ГасТролли» и принять участие в конкурсе за главный приз — поездку в Дубай.

Быстро разработать, быстро запустить и поддерживать приложение при высоких нагрузках — задача, которая сейчас относительно легко решается в облачных средах.
Однако, для этой маркетинговой акции важно было учесть много сложных требований:

• Основная аудитория приложения — это дети, а значит необходимо было не допустить размещения в нем любого «взрослого» и провокационного контента.
• В реальном времени модерировать приложение, которое было установлено более 2 млн раз и куда загрузили более 15 тыс. видеозаписей, практически невозможно. Ручная обработка заняла бы очень много времени и ресурсов.
• Акция проходила на территории России, а значит было необходимо обеспечить сохранность данных и соблюдение закона о персональных данных ФЗ-152.

Было необходимо быстро разработать автоматическую систему премодерации, которая должна пропускать через свои фильтры весь аудио и видеоконтент, а затем маркировать потенциально опасные, чтобы их внимательно смогли отсмотреть модераторы.

Если писать такой сервис с нуля (или покупать по частям и интегрировать в бэкенд), то это существенно увеличивает бюджет любого проекта, скорость его разработки и саму обработку контента. Более того, если какой-то процесс происходит «на стороне» через API, то также надо следить за тем, чтобы данные не ушли на сервера, находящиеся не в России.

Было решено полностью разместить сайт проекта и бэкенд мобильного приложения в Yandex Cloud, на котором есть нужные сервисы машинного обучения, способные анализировать и маркировать потенциально опасные видеоролики.

Все загружаемые в приложение видео попадают в объектное хранилище Yandex Cloud. После этого каждый ролик разбивается на кадры и обрабатывается сервисами платформы. Задачу можно условно разбить на две части: проверка картинки и проверка аудиодорожки.

Чтобы распознать элементы, которые не должны присутствовать в кадре, а также любой текстовый ненормативный контент, появляющийся на видео, был задействован сервис Yandex Vision. В его основе лежит анализ изображений с помощью моделей машинного обучения.

Модель обучается на определённом наборе изображений и затем оценивает, насколько загруженная картинка соответствует признакам, используемым при модерации. В свою очередь, все обнаруженные в кадре слова проверялись сервисом оптического распознавания текста (OCR). С его помощью определялись и исключались любые нецензурные слова.

Для распознания голоса использовался SpeechKit, на основе которого как раз работает Алиса — голосовой помощник Яндекса. Сервис работает с аудио на трёх языках: русском, английском и турецком. После распознавания голосовой дорожки, система проверяет текст на запрещённые слова.

Эти сервисы образовывали интеллектуальную систему премодерации контента, подобие которой используется во всём мире, например, в Facebook. Если AI находил в видео какое-либо отклонение от нормы, то оно помечалось специальным тегом и передавалось модераторам, людям, чтобы они могли проверить ролик на соответствие политикам безопасности приложения.

Проверка видео-контента антивирусомПроверка видео-контента антивирусом

Ещё одной важной задачей, которая ставилась перед разработчиками приложения службой безопасности, стало обеспечение возможности фильтрации и обработки загруженного видео-контента антивирусом. Изначально, в Yandex Cloud не было такой механики, но с помощью технической поддержки получилось реализовать его в Yandex Cloud Functions. Этот сервис позволяет создавать функции — бессерверные приложения, которым не нужны выделенные виртуальные машины. Это был первый случай реализации этого функционала в облаке.

Как уже было сказано, приложение «Тролли. Караоке» от «Пятёрочки» было установлено более 2 млн раз, а пользователи загрузили более 15 тыс. видеозаписей для участия в конкурсе. После модерации в голосование на сайте попало более 6 тыс. выступлений.

В первые несколько недель с момента выпуска мобильное приложение «Тролли. Караоке» сразу поднялось в топ и занимало первую строчку по популярности и скачиваниям в Google Play среди бесплатных приложений (по данным AppBrain) и вторую строчку по скачиваниям в категории «Развлечения» владельцами всех операционных систем (по данным App Annie).

Yandex Cloud справилось как с нагрузкой, а так и с премодерацией роликов. Выбор такого решения позволило полностью обеспечить сохранность данных и соблюдение закона о персональных данных ФЗ-152, а также удобство использования приложения для всех участников акции «Тролли. Караоке».

«Yandex Cloud — наша ключевая платформа. Мы планируем использовать ее и в дальнейшем для проектов, которые разрабатываем в России», — сообщил Андрей Иващенцев, директор по инновациям Yode Group.