Открыли сервис для быстрого горизонтального масштабирования PostgreSQL

С помощью нового инструмента, созданного на базе технологии SPQR, компании смогут улучшить настройку PostgreSQL, а следовательно — быстрее обрабатывать миллионы коротких транзакций, например банковских операций или заказов в интернет-магазинах, в реальном времени.

Горизонтальное масштабирование баз данных нужно компаниям, чтобы справиться с огромными объёмами данных, когда вертикальное масштабирование, то есть увеличение мощности одного сервера, не работает. C технологией SPQR банки и компании из сферы электронной коммерции смогут быстрее масштабировать бизнес и запускать новые IT‑продукты в 3–4 раза быстрее. Инженеры не будут тратить ресурсы и время на ручную настройку и поддержку масштабирования PostgresSQL. Надёжность технологии проверили на проектах Яндекса и протестировали внешние организации.

SPQR для масштабирования системы лояльности: кейс Яндекс Пэй

Яндекс Пэй с помощью Yandex Managed Service for Sharded PostgreSQL масштабировал систему лояльности. Она управляет программой вознаграждений, начисляя пользователям баллы за транзакции и активности. Столкнувшись с экспоненциальным ростом нагрузки (90+ млн пользователей) и необходимостью ежемесячной массовой загрузки данных, команда выбрала SPQR для горизонтального масштабирования вместо ограниченного вертикального роста.

Первоначально данные хранились в нешардированных кластерах PostgreSQL. Критической проблемой стала загрузка данных персонализации, занимавшая до 48 часов и блокировавшая операционные процессы. При расширении аудитории и добавлении новых сервисов (например, системы лимитов) требовалось решение, которое:

• ускорит массовую загрузку данных в 5–10 раз;
• обеспечит линейное масштабирование при росте до 150 млн записей;
• интегрируется в текущий стек (Go, стандартные драйверы PostgreSQL) без переписывания кода.

SPQR внедрили в три этапа:

1. Пилот: шардирование по ID пользователей с ручным распределением диапазонов. Первые 2 шарда сократили время загрузки в два раза, с 48 до 24 часов.

2. Оптимизация: после выявления узких мест кластер расширили до четырёх шардов и снизили время загрузки до 10 часов.

3. Тиражирование: на основе успешного пилота на SPQR мигрировали ещё два сервиса — систему лимитов с высокой нагрузкой на запись и ещё один сервис с аналогичными требованиями к массовым операциям.

В результате время загрузки данных сократилось в 4,8 раза (с 48 до 10 часов), что позволило уложиться в жесткие операционные окна. Добавление новых шардов заняло менее дня, и система легко масштабируется под рост пользовательской базы. Кластеры работают устойчиво — SPQR берёт на себя управление шардированием, снижая риски потери данных. Команда избежала разработки кастомного шардинга, сэкономив 6–8 месяцев работы инженеров.

SPQR для управления персональными данными: кейс Datum

Datum — центральный сервис Яндекса для безопасного хранения персональных данных: адресов, документов и токенизированной информации. Он обеспечивает сквозное шифрование, контроль доступа и бесшовный обмен данными между всеми сервисами компании. На старте проекта команда предвидела экспоненциальный рост нагрузки, и стратегическим шагом для обеспечения масштабируемости и отказоуйстойчивости стало решение о переходе на шардированную PostgreSQL с помощью SPQR.

С расширением экосистемы Яндекса Datum столкнулся с необходимостью обработки миллионов запросов без потери производительности. Изначально данные хранились в нешардированных кластерах PostgreSQL, но у их вертикального масштабирования были физические ограничения. Команда искала решение, которое:

• автоматизирует решардинг при росте данных;
• обеспечит географическую распределённость для будущей локализации в Казахстане и Узбекистане;
• интегрируется в текущий стек (Go, GORM, S3, ClickHouse^®) без переписывания кода.

Команда разделила процесс миграции на этапы:

1. Проектирование: выбор ключа шардирования на основе ID сущностей и ручное распределение диапазонов для равномерной нагрузки.
2. Интеграция: настройка SPQR в качестве роутера запросов между приложением на Go и шардами PostgreSQL.
3. Стабилизация: кластер вышел на устойчивую работу за два месяца.

По данным Stack Overflow за 2025 год, PostgreSQL — самая популярная опенсорсная система управления базами данных. Её использует половина рынка (55,6%) профессиональных разработчиков баз данных в компаниях разного масштаба. Yandex Managed Service for PostgreSQL используют больше 5 тыс. компаний, в том числе девелопер «Самолет», маркетплейс ЦИАН, сервис для продажи автомобилей с пробегом Pango Cars, металлургическая компания Русполимет, хоккейный клуб «Авангард», стриминговая платформа Viju.ru. Кроме того, сервис использовали для анализа результатов крупных спортивных мероприятий с участием десятков тысяч человек.