Потоковая обработка с Data Streams
Data Streams способен непрерывно выполнять сбор данных из источников, таких как истории посещений веб‑сайтов, логи работы приложений, ленты социальных сетей и системные журналы.
Yandex Data Streams
Масштабируемый сервис для управления потоками данных в режиме реального времени на базе YDB Topics.
Упрощает обмен данными между компонентами в микросервисных архитектурах. При использовании в качестве транспорта для микросервисов упрощает интеграцию, увеличивает надёжность, улучшает масштабирование.
Совместим с протоколами Apache Kafka®, AWS Kinesis Data Streams.
Мгновенная передача данных
Запись данных и их чтение практически в режиме реального времени. Вы можете задать скорость передачи данных и время их хранения.
Эластичное выделение ресурсов
Гранулярно настраивайте ресурсы для обработки потоков данных (топиков) с разной пропускной способностью: от 100 КБ/с до 100 МБ/с и выше. Также доступно автоматическое масштабирование потоков данных (топиков).
Транзакции с потоками данных
В рамках одной транзакции можно работать с таблицами YDB и потоками данных (топиками) в Yandex Managed Service for YDB.
Репликация на несколько зон доступности
Данные автоматически реплицируются между несколькими географически распределёнными зонами доступности.
Простота эксплуатации
После создания вы можете централизованно управлять потоками данных (топиками) из консоли или с помощью API.
Управление потоком данных
С помощью Yandex Data Transfer один поток данных (топик) может быть передан в несколько приёмников с различными политиками хранения.
Решайте свои задачи с Data Streams
Запустили observability-платформу Monium
Получайте однозначный ответ о состоянии ваших систем в любой момент времени, в любом окружении.
Поставка и обработка данных с Data Streams
Обработка и передача данных с Data Transfer
Данные поступают извне в Data Streams. Data Transfer считывает данные из Data Streams, разбивает их на колонки и строки и сохраняет в одну или сразу несколько принимающих систем: в базы данных (например, ClickHouse), хранилище Yandex Object Storage и другие. Передаваемые данные можно обрабатывать в Cloud Functions для маскирования чувствительных данных, смены их формата или любой другой обработки.
Пример настройки
На видео показан пример поставки произвольных данных в ClickHouse через Data Streams. Для этого в Data Streams создаётся поток данных (топик), настраивается чтение этих данных с помощью сервиса Data Transfer. Передаваемые данные обрабатываются в Cloud Functions, а результат обработки сохраняется в ClickHouse.
Посмотрите видео о сервисе
Узнайте больше о потоках данных (топиках): зачем они нужны, какой протокол выбрать для работы с ними, какие существуют возможности интеграции с распределённой катастрофоустойчивой СУБД YDB
Вопросы и ответы
Data Streams способен непрерывно выполнять сбор данных из источников, таких как истории посещений веб‑сайтов, логи работы приложений, ленты социальных сетей и системные журналы.
Начните пользоваться Data Streams
Полезные ссылки
Logstash является зарегистрированным товарным знаком Elasticsearch BV в США и/или других странах.
Apache® и Apache Kafka являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах.
ClickHouse является зарегистрированным товарным знаком ClickHouse, Inc.