Как AdsCompass переехали в облако, повысили стабильность и удержали расходы в растущем бизнесе
- AdsCompass — платформа для монетизации трафика, которая связывает издателей и рекламодателей.
- За шесть лет работы число рекламодателей AdsCompass выросло до более чем пяти тысяч, ежемесячно число рекламодателей увеличивается на 10–15%.
- Сервисы AdsCompass работают в двух ЦОД в Европе и США, обрабатывая более 4 млрд записей статистики в сутки.
- Компания столкнулась с необходимостью наращивать технические мощности и увеличивать затраты на поддержку кластера ClickHouse.
- Задачи компании: увеличить стабильность работы кластера и сократить затраты на поддержку и развитие инфраструктуры.
- AdsCompass перешла на Yandex Managed Service for ClickHouse, переезд занял меньше недели.
- В рамках тестирования проводились проверки на всплески трафика и функционирование сервиса при значительном увеличении объёма записей.
- После переезда сократились затраты времени на поддержку кластера и выросла стабильность его работы.
- AdsCompass планирует использовать другие сервисы Yandex.Cloud: управляемые базы данных PostgreSQL, облачные вычисления Compute Cloud, Container Registry, Message Queue.
- Ведущий разработчик AdsCompass отметил, что с Yandex Managed Service for ClickHouse компания забыла о рисках потери данных.
Кто монетизирует трафик
AdsCompass — это интеллектуальная платформа для монетизации трафика. Компания работает в сфере интернет-рекламы и служит связующим звеном между издателями и рекламодателями при покупке и продаже трафика по всему миру. Конкурентное преимущество AdsCompass в том и состоит, что компания занимается разработкой своей платформы, а не арендует стороннюю, как это распространено в сфере интернет-рекламы. AdsCompass начинала свою деятельность с нескольких десятков интернет-компаний, но за шесть лет развития партнёрская сеть расширилась. Сегодня у AdsCompass более пяти тысяч рекламодателей, число которых ежемесячно растет примерно на 10–15%. Кроме того, с 2018 года на платформе появилась возможность напрямую покупать интернет-рекламу через личный кабинет, а значит сеть пополнилась ещё и за счёт частных рекламодателей.
Следующий миллиард записей
Чтобы охватить всех партнёров из более чем 200 стран, сервисы, отвечающие за нагрузку, работают в двух ЦОД в Европе и США на собственном железе. На данный момент обрабатываемый трафик генерирует более 4 млрд записей статистики в сутки. Запись происходит с нескольких десятков серверов в один кластер ClickHouse. Ежемесячно происходит прирост объёма трафика в среднем на 6-10%.
Компания столкнулась с необходимостью постоянно наращивать технические мощности, увеличивать затраты на поддержку кластера ClickHouse на собственном железе. Также прямо пропорционально масштабу бизнеса росли потери от падений в работе кластера.
Тогда были определены задачи:
- увеличить стабильность работы кластера,
- сократить затраты на поддержку и развитие инфраструктуры, чтобы сосредоточиться непосредственно на продукте.
Миграция и тестирование
В этой статье:
Толчком к переходу на Yandex.Cloud стало появление Yandex Managed Service for ClickHouse.
Переезд кластера в Yandex Managed Service for ClickHouse был осуществлён силами главных разработчиков AdsCompass. Процесс, включавший тестирование и постепенный полный перевод трафика, занял меньше недели.
На начальном этапе одновременно писали данные в свой кластер и в Yandex.Cloud для того, чтобы выявить наличие неучтённых лимитов. Также в первые дни проведены еще несколько штатных проверок, в том числе:
- тестирование с целью «поймать» возможные всплески трафика,
- проверка функционирования облачного сервиса в ситуации, когда после паузы объём записей значительно увеличивается с целью «догнать запись».
Обновление кластера и сохранность данных
Первым результатом переезда стало почти полное сокращение затрат временных ресурсов на поддержку кластера, не считая короткого общения с поддержкой Yandex.Cloud. Также по итогам переезда в AdsCompass отмечают рост стабильности работы кластера. Регулярное обновление кластера до новых версий происходит с минимальным простоем. Уже был случай, когда поддержка Yandex.Cloud решала проблемы с железом, все данные остались целы. После переезда уже складывалась непростая для решения ситуация, когда место на дисках закончилось скачком. Через веб-интерфейс удалось быстро увеличить квоты и расширить место.
AdsCompass планирует использовать в своей деятельности также сервисы управляемых баз данных PostgreSQL, облачных вычислений Compute Cloud, а также сервис по управлению Docker образами — Container Registry, сервис очередей сообщений — Message Queue. Разработчики планируют написать скрипт для очистки партиций и рассчитывают на появление решений в этом направлении.
Мнение
