В СУБД Яндекса реализовали поддержку аналитической обработки данных
Яндекс представил новый компонент YDB DWH для аналитической обработки данных в своей СУБД.
Автоматическое партиционирование — это автоматическое разделение большой таблицы на части (партиции) для ускорения обработки данных. СУБД сама управляет этими частями, чтобы данные обрабатывались быстрее.
Механизм для сброса части обрабатываемых данных на жёсткий диск в случаях, когда SQL‑запросу не хватает оперативной памяти (RAM). СУБД использует этот механизм при работе с большими объёмами данных, чтобы завершить операцию, несмотря на нехватку RAM.
Система горизонтально масштабируется за счёт автоматического партиционирования по объёму и нагрузке. Благодаря массивно‑параллельной архитектуре СУБД способна хранить сотни терабайт данных и быстро их обрабатывать.
Аналитическая функциональность YDB DWH включает колоночные таблицы с консистентным хранением данных и управление смешанной нагрузкой. Платформа выполняет запросы со спиллингом данных на диск, обладает стоимостным оптимизатором и поддерживает федеративные SQL‑запросы к внешним источникам данных: S3, PostgreSQL, Greenplum®, Oracle и MS SQL. Это позволяет создавать корпоративные хранилища данных. В разработке — поддержка SQL‑диалекта PostgreSQL для OLAP‑сценариев.
«YDB стала универсальным решением для высокопроизводительной обработки транзакций и аналитических запросов. Мы готовы поделиться этим решением с рынком, которому очевидно не хватает универсальных СУБД, способных работать в бизнес‑критичных сценариях. Созданные Яндексом центры компетенций и команда, которая разрабатывает СУБД уже больше десяти лет, позволят клиентам быстро достичь результатов при миграции. Это особенно актуально для решений финансового, телекоммуникационного и ритейл‑сектора».
В линейку YDB также входят решения для транзакционной обработки данных, шина данных YDB Topics и модуль YDB AI Vector Search для задач машинного обучения. Платформу используют Яндекс Маркет, Алиса, Метрика, Auto.ru, Яндекс Практикум, разработчик банковских систем «ФлексСофт» и сервис Битрикс24.
По оценке Яндекса, к 2025 году российский рынок систем обработки данных достигнет 55 млрд рублей. Треть этого объёма придётся на аналитические СУБД.
