Обзор сервиса Data Streams

Приложения генерируют данные, которые нужно сохранять для последующего анализа или обработки. Часть данных требуется долгосрочно хранить в холодных хранилищах с редким доступом, а часть — в аналитических СУБД для оперативной обработки.

Yandex Data Streams упрощает процесс переноса данных приложений пользователей в системы хранения Yandex Cloud.

Данные поступают в Data Streams как в шину данных, которая отказоустойчиво хранит их во всех зонах доступности и масштабируется по переносимому объему данных. Отправлять данные в шину можно с помощью систем поставки данных Fluentd, Logstash, log4j/log4net и других, а также через HTTP по протоколу, совместимому с Amazon Kinesis Data Streams API.

Данные, которые переносятся через шину, можно с помощью Yandex Data Transfer сохранять в принимающие системы – S3, ClickHouse® и другие. Настройка параметров переноса производится в консоли управления Yandex Cloud или через API.

Если при сохранении требуется изменить сами данные, их формат или произвести любую другую обработку (например, удаление чувствительной информации), это можно сделать с помощью функций Yandex Cloud Functions. Cloud Functions поддерживает различные языки программирования такие, как Python, Java, PHP и другие.

ПреимуществаПреимущества

• Поддержка большого числа приемников данных, широкие возможности кастомизации переносимых данных.
• Решение полностью интегрировано в экосистему Yandex Cloud и позволяет централизованно управлять потоками данных как из консоли управления Yandex Cloud, так и через API.
• Все компоненты являются полностью управляемыми, то есть не требуют администрирования или выделенных DevOps-инженеров.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.