Новый сервис Yandex Data Streams вышел в стадии Preview
Сервис для создания потоков данных, обработки и поставки данных в системы хранения Yandex.Cloud без написания кода.
Новый сервис экосистемы Serverless Yandex Data Streams вышел в стадии Preview. С помощью Data Streams вы можете настраивать потоки данных, их обработку и поставку данных в системы хранения Yandex.Cloud без написания кода.
Data Streams способен непрерывно выполнять сбор данных из источников, таких как истории посещений веб сайтов, логи работы приложений, ленты социальных сетей и системные журналы. Сервис совместим с Amazon Kinesis Data Streams, поэтому данные можно отправлять из любых других приложений с использованием решений типа fluentd или logstash, AWS Kinesis SDK или с помощью стандартного HTTP-протокола. Все потоки данных в Data Streams реплицируются по всем зонам доступности.
Сохранение одного потока в несколько приемников с различными политиками хранения возможно с помощью сервиса Yandex Data Transfer. Данные из источников поступают в Data Streams, Data Transfer считывает эти данные, разбивает их на колонки и строки и сохраняет в одну или сразу в несколько принимающих систем типа: Yandex Database, ClickHouse, Object Storage и другие. Передаваемые данные можно обрабатывать в Yandex Cloud Functions, для обфускации чувствительных данных, смены их формата или любой другой обработки.
Data Streams является serverless сервисом, он не требует выделенных виртуальных машин для работы.
На стадии Preview сервис поддерживает потоки со скоростью передачи данных до 10 МБ/с и не тарифицируется. Подробное описание возможностей сервиса читайте в документации.
