Yandex Query: новый сервис для удобной работы с данными

В Yandex Cloud появился новый управляемый сервис Yandex Query. Он позволяет выполнять аналитические и потоковые запросы к структурированным и частично структурированным данным. С Yandex Query компании смогут упростить и ускорить цикл работы c большими массивами данных. А за счёт унификации аналитической и потоковой обработки выполнять анализ данных в реальном времени станет ещё проще.

Выполнять запросы к базам данных в Yandex Query можно с помощью YQL — диалекта SQL-языка, привычного для инженеров данных и аналитиков. Кроме того, сервис разработан с помощью технологии бессерверных вычислений, а значит, нет необходимости настраивать сервера и устанавливать ПО. Сервис автоматически настраивает вычислительные мощности, которые необходимы для выполнения запроса.

Сервис подходит для аналитической и потоковой обработки данных.

Аналитическая обработка данныхАналитическая обработка данных

Yandex Query может обращаться к объектному хранилищу Yandex Object Storage как к СУБД с помощью SQL, хотя данные в Object Storage хранятся в неструктурированном виде. Также Yandex Query может записывать результаты, полученные во время выполнения запросов, в хранилище Object Storage.

Потоковая обработка данныхПотоковая обработка данных

Yandex Query интегрирован с другими сервисами Yandex Cloud. Например, с помощью Cloud Logging можно передавать логи приложений в Yandex Query для обработки в реальном времени. Обработанные данные можно:

• отправить в Yandex Monitoring для нанесения на графики и алертинга;

• записать в другой поток Yandex Data Streams, откуда данные можно передать на обработку в Cloud Functions или в Data Transfer для отправки в различные системы хранения;

• подключить данные к сервису DataLens и визуализировать полученные результаты.

Надёжность Yandex Query проверена на масштабах Яндекса, где сервис используют больше 5 лет. Данные в Yandex Query обрабатывают команды Карт, Поиска, Такси и других сервисов компании.