Yandex Cloud
Поиск
Связаться с намиПодключиться
  • Документация
  • Блог
  • Все сервисы
  • Статус работы сервисов
    • Популярные
    • Инфраструктура и сеть
    • Платформа данных
    • Контейнеры
    • Инструменты разработчика
    • Бессерверные вычисления
    • Безопасность
    • Мониторинг и управление ресурсами
    • Машинное обучение
    • Бизнес-инструменты
  • Все решения
    • По отраслям
    • По типу задач
    • Экономика платформы
    • Безопасность
    • Техническая поддержка
    • Каталог партнёров
    • Обучение и сертификация
    • Облако для стартапов
    • Облако для крупного бизнеса
    • Центр технологий для общества
    • Облако для интеграторов
    • Поддержка IT-бизнеса
    • Облако для фрилансеров
    • Обучение и сертификация
    • Блог
    • Документация
    • Контент-программа
    • Мероприятия и вебинары
    • Контакты, чаты и сообщества
    • Идеи
    • Истории успеха
    • Тарифы Yandex Cloud
    • Промоакции и free tier
    • Правила тарификации
  • Документация
  • Блог
Проект Яндекса
© 2025 ООО «Яндекс.Облако»
Yandex Data Streams
    • Обзор
    • Термины и определения
    • Сегменты и ключи сегментов
    • Квоты и лимиты
    • Сравнение с Yandex Message Queue
    • Транзакции с участием потоков данных и таблиц YDB
  • Управление доступом
  • Правила тарификации
  • Вопросы и ответы

В этой статье:

  • Поток данных
  • Сегмент
  • Ключ сегмента
  • Пропускная способность сегмента
  • Сообщение
  • Тело сообщения
  • Порядковый номер сообщения
  • Время хранения сообщений
  • Потребители данных
  • Выделенные потребители данных
  1. Концепции
  2. Термины и определения

Термины и определения в Data Streams

Статья создана
Yandex Cloud
Улучшена
Dmitry A.
Обновлена 21 октября 2024 г.
  • Поток данных
  • Сегмент
    • Ключ сегмента
    • Пропускная способность сегмента
  • Сообщение
    • Тело сообщения
    • Порядковый номер сообщения
    • Время хранения сообщений
  • Потребители данных
  • Выделенные потребители данных

Поток данныхПоток данных

Поток данных (Stream) — это именованный набор сообщений. Запись и чтение сообщений в Data Streams ведется через потоки. Потоки данных создаются на основе Yandex Managed Service for YDB и хранятся в базах данных.

СегментСегмент

Для горизонтального масштабирования поток данных разделяется на сегменты (Shard), являющиеся единицами параллелизма. Каждый сегмент имеет ограниченную пропускную способность.

Примечание

В данный момент уменьшение количества сегментов в потоке данных поддерживается только при помощи удаления и повторного создания потока с меньшим количеством сегментов.

Возможна настройка потока данных таким образом, что количество сегментов будет увеличиваться при росте скорости записи в этот поток данных. Подробнее см. автопартиционирование в документации YDB.

Ключ сегментаКлюч сегмента

Для каждого сообщения, которое записывается в поток, указывается ключ сегмента. С помощью хеша ключа сообщение сопоставляется сегменту внутри потока.

Важно

При обновлении количества сегментов потока меняется их распределение по пространству хешей ключей. Сообщения, которые были записаны до обновления количества сегментов, остаются в тех же сегментах и в том же порядке. Новые сообщения будут распределяться по новому количеству сегментов.

Пропускная способность сегментаПропускная способность сегмента

Каждый сегмент имеет ограниченную пропускную способность, указываемую пользователем. Максимальная скорость записи данных в один сегмент — 1 МБ/с, максимальная скорость чтения — 2 МБ/с.

СообщениеСообщение

Сообщение (Message) — это минимальная неделимая единица пользовательской информации.

Сообщение состоит из тела и дополнительных системных свойств.

Тело сообщенияТело сообщения

Тело сообщения представляет собой набор байт. Data Streams никак не интерпретирует тело сообщения.

Порядковый номер сообщенияПорядковый номер сообщения

Во время записи в поток данных каждому сообщению присваивается порядковый номер. Порядковые номера сообщений уникальны внутри одного сегмента и последовательно возрастают.

Время хранения сообщенийВремя хранения сообщений

Для каждого потока данных определено время хранения сообщений. После истечения времени хранения сообщения автоматически удаляются.

Потребители данныхПотребители данных

Потребители данных — это приложения, которые получают и обрабатывают данные из Data Streams. Все потребители данных разделяют общую квоту на чтение.

Выделенные потребители данныхВыделенные потребители данных

Для некоторых случаев модель общей квоты для всех потребителей данных является слишком ограничительной, поэтому каждому потребителю выдают гарантированную скорость чтения. Потребители данных с гарантированной скоростью чтения называются выделенными потребителями данных.

Была ли статья полезна?

Предыдущая
Обзор
Следующая
Сегменты и ключи сегментов
Проект Яндекса
© 2025 ООО «Яндекс.Облако»