Потоковая обработка с Data Streams
Yandex Data Streams способен непрерывно выполнять сбор данных из источников, таких как истории посещений веб‑сайтов, логи работы приложений, ленты социальных сетей и системные журналы.
Yandex Data Streams
Масштабируемый сервис для управления потоками данных в режиме реального времени на базе YDB Topics.
Упрощает обмен данными между компонентами в микросервисных архитектурах. При использовании в качестве транспорта для микросервисов упрощает интеграцию, увеличивает надёжность, улучшает масштабирование.
Совместим с протоколами Apache Kafka®, AWS Kinesis Data Streams.
Мгновенная передача данных
Запись данных и их чтение практически в режиме реального времени. Вы можете задать скорость передачи данных и время их хранения.
Эластичное выделение ресурсов
Гранулярно настраивайте ресурсы для обработки потоков данных (топиков) с разной пропускной способностью: от 100 КБ/с до 100 МБ/с и выше. Также доступно автоматическое масштабирование потоков данных (топиков).
Транзакции с потоками данных
В рамках одной транзакции можно работать с таблицами YDB и потоками данных (топиками) в Managed Service for YDB.
Репликация на несколько зон доступности
Данные автоматически реплицируются между несколькими географически распределёнными зонами доступности.
Простота эксплуатации
После создания вы можете централизованно управлять потоками данных (топиками) из консоли или с помощью API.
Управление потоком данных
С помощью Yandex Data Transfer один поток данных (топик) может быть передан в несколько приёмников с различными политиками хранения.
Решайте свои задачи с Data Streams
Шина потоков данных
Упрощает обмен данными между компонентами в микросервисных архитектурах, особенно в сценарии многие-ко-многим. При использовании в качестве транспорта для микросервисов: упрощает интеграцию, увеличивает надежность, улучшает масштабирование. Совместим с протоколами Apache Kafka®, AWS Kinesis Data Streams.
Хранение журналов работы приложений
Интеграция с системами поставки типа fluentd®/logstash позволяет без написания кода поставлять журналы работы приложений в системы хранения данных Yandex Cloud:
- Object Storage,
- ClickHouse®,
- Yandex Database и другие.
Ввод данных в системы хранения
Позволяет вводить произвольные данные в системы хранения Yandex Cloud с любых источников: мобильных телефонов, устройств, серверов за счет поддержки HTTP протокола и протокола AWS Kinesis Data Streams. Вводимые данные можно обработать в Cloud Functions для очистки, маскирования чувствительных данных или для смены формата.
Работает в связке с
Cloud Functions
Поставка и обработка данных с Data Streams
Посмотрите видео о сервисе
Узнайте больше о потоках данных (топиках): зачем они нужны, какой протокол выбрать для работы с ними, какие существуют возможности интеграции с распределённой катастрофоустойчивой СУБД YDB.
Вопросы и ответы
Для чего нужен Data Streams?
Для чего нужен Data Streams?
Yandex Data Streams способен непрерывно выполнять сбор данных из источников, таких как истории посещений веб‑сайтов, логи работы приложений, ленты социальных сетей и системные журналы.
Какие типы данных можно передавать с Data Streams?
Какие типы данных можно передавать с Data Streams?
Как отправлять данные?
Как отправлять данные?
Чем Data Streams отличается от Apache Kafka®?
Чем Data Streams отличается от Apache Kafka®?
Начните пользоваться Data Streams
Полезные ссылки
Logstash является зарегистрированным товарным знаком Elasticsearch BV в США и/или других странах.
Apache® и Apache Kafka® являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах.
ClickHouse является зарегистрированным товарным знаком ClickHouse, Inc.