Схема обработки логов
![](https://storage.yandexcloud.net/cloud-www-assets/blog-assets/ru/posts/2022/scale/yandex-query-preview/12_%20query_cover_blog.jpg)
Yandex Query: новый сервис для удобной работы с данными
С Yandex Query компании смогут упростить и ускорить цикл работы c большими массивами данных. Сервис поддерживает единый формат запросов для обработки потоковых данных и данных, хранимых в различных классах СУБД.
В Yandex Cloud появился новый управляемый сервис Yandex Query. Он позволяет выполнять аналитические и потоковые запросы к структурированным и частично структурированным данным. С Yandex Query компании смогут упростить и ускорить цикл работы c большими массивами данных. А за счёт унификации аналитической и потоковой обработки выполнять анализ данных в реальном времени станет ещё проще.
Выполнять запросы к базам данных в Yandex Query можно с помощью YQL — диалекта SQL-языка, привычного для инженеров данных и аналитиков. Кроме того, сервис разработан с помощью технологии бессерверных вычислений, а значит, нет необходимости настраивать сервера и устанавливать ПО. Сервис автоматически настраивает вычислительные мощности, которые необходимы для выполнения запроса.
Сервис подходит для аналитической и потоковой обработки данных.
Аналитическая обработка данных
Yandex Query может обращаться к объектному хранилищу Yandex Object Storage как к СУБД с помощью SQL, хотя данные в Object Storage хранятся в неструктурированном виде. Также Yandex Query может записывать результаты, полученные во время выполнения запросов, в хранилище Object Storage.
Потоковая обработка данных
Yandex Query интегрирован с другими сервисами Yandex Cloud. Например, с помощью Cloud Logging можно передавать логи приложений в Yandex Query для обработки в реальном времени. Обработанные данные можно:
-
отправить в Yandex Monitoring для нанесения на графики и алертинга;
-
записать в другой поток Yandex Data Streams, откуда данные можно передать на обработку в Cloud Functions или в Data Transfer для отправки в различные системы хранения;
-
подключить данные к сервису DataLens и визуализировать полученные результаты.
![](https://storage.yandexcloud.net/cloud-www-assets/blog-assets/ru/posts/2022/scale/yandex-query-preview/12_query-logging.png)
Надёжность Yandex Query проверена на масштабах Яндекса, где сервис используют больше 5 лет. Данные в Yandex Query обрабатывают команды Карт, Поиска, Такси и других сервисов компании.
Сервис находится на стадии Preview и не тарифицируется. Сервис доступен из консоли управления для всех пользователей.