Yandex Cloud
Поиск
Связаться с намиПодключиться
  • Истории успеха
  • Документация
  • Блог
  • Все сервисы
  • Статус работы сервисов
    • Доступны в регионе
    • Инфраструктура и сеть
    • Платформа данных
    • Контейнеры
    • Инструменты разработчика
    • Бессерверные вычисления
    • Безопасность
    • Мониторинг и управление ресурсами
    • AI Studio
    • Бизнес-инструменты
  • Все решения
    • По отраслям
    • По типу задач
    • Экономика платформы
    • Безопасность
    • Техническая поддержка
    • Каталог партнёров
    • Обучение и сертификация
    • Облако для стартапов
    • Облако для крупного бизнеса
    • Центр технологий для общества
    • Партнёрская программа
    • Поддержка IT-бизнеса
    • Облако для фрилансеров
    • Обучение и сертификация
    • Блог
    • Документация
    • Мероприятия и вебинары
    • Контакты, чаты и сообщества
    • Идеи
    • Тарифы Yandex Cloud
    • Промоакции и free tier
    • Правила тарификации
  • Истории успеха
  • Документация
  • Блог
Проект Яндекса
© 2025 ТОО «Облачные Сервисы Казахстан»
Yandex Managed Service for Apache Kafka®
  • Начало работы
    • Взаимосвязь ресурсов сервиса
    • Топики и разделы
    • Брокеры
    • Протокол KRaft
    • Производители и потребители
    • Роли пользователей
    • Управление схемами данных
    • API в Managed Service for Apache Kafka®
    • Классы хостов
    • Высокая доступность кластера
    • Сеть в Managed Service for Apache Kafka®
    • Квоты и лимиты
    • Хранилище в Managed Service for Apache Kafka®
    • Коннекторы
    • Техническое обслуживание
    • Настройки Apache Kafka®
    • Политика работы с версиями Apache Kafka®
  • Управление доступом
  • Правила тарификации
  • Справочник Terraform
  • Метрики Yandex Monitoring
  • Аудитные логи Audit Trails
  • Публичные материалы
  • История изменений
  • Вопросы и ответы
  • Обучающие курсы

В этой статье:

  • Выбор типа диска при создании кластера
  • Минимальный размер хранилища
  • Максимальный размер сегмента логов
  • Управление дисковым пространством
  • Вывод кластера из режима read-only
  • Автоматическое увеличение размера хранилища
  • Примеры использования
  1. Концепции
  2. Хранилище в Managed Service for Apache Kafka®

Хранилище в Managed Service for Apache Kafka®

Статья создана
Yandex Cloud
Обновлена 4 июля 2025 г.
  • Выбор типа диска при создании кластера
  • Минимальный размер хранилища
  • Максимальный размер сегмента логов
  • Управление дисковым пространством
    • Вывод кластера из режима read-only
    • Автоматическое увеличение размера хранилища
  • Примеры использования

Managed Service for Apache Kafka® позволяет использовать сетевые и локальные диски для организации хранилища кластеров баз данных. Сетевые диски реализованы на базе сетевых блоков — виртуальных дисков в инфраструктуре Yandex Cloud. Локальные диски физически размещаются в серверах-брокерах.

При создании кластера вы можете выбрать для хранилища следующие типы дисков:

  • Сетевые HDD-диски (network-hdd) — самый экономичный вариант для кластеров, не требовательных к скорости записи и чтения.

  • Сетевые SSD-диски (network-ssd) — компромиссный вариант: медленнее, чем локальные SSD-диски, но, в отличие от них, обеспечивает сохранность данных при выходе из строя оборудования Yandex Cloud.

  • Нереплицируемые SSD-диски (network-ssd-nonreplicated) — сетевые диски с повышенной производительностью, реализованной за счет устранения избыточности.

    Объем такого хранилища можно увеличивать только с шагом 93 ГБ.

  • Сверхбыстрые сетевые SSD-диски с тремя репликами (network-ssd-io-m3) — сетевые диски с теми же скоростными характеристиками, что и нереплицируемые. Этот тип диска обеспечивает избыточность.

    Объем таких дисков можно увеличивать только с шагом 93 ГБ.

  • Локальные SSD-диски (local-ssd) — самые быстрые диски.

    Объем такого хранилища можно увеличивать:

    • для платформы Intel Cascade Lake — только с шагом 100 ГБ;

    • для платформы Intel Ice Lake — только с шагом 368 ГБ.

    Для кластеров, хосты которых располагаются в зоне доступности kz1-d, недоступно хранилище на локальных SSD-дисках при использовании платформы Intel Cascade Lake.

Примечание

До 5% дискового пространства резервируется для служебных нужд, поэтому на дисках может быть меньше доступного места, чем заявлено при создании кластера.

Подробнее о размерах и производительности разных типов дисков см. в документации Yandex Compute Cloud.

Выбор типа диска при создании кластераВыбор типа диска при создании кластера

Примечание

В регионе Казахстан доступны только платформы standard-v3 (Intel Ice Lake) и standard-v3-t4i (Intel Ice Lake with T4i). Другие типы платформ, кластеры GPU и выделенные хосты недоступны.

Количество хостов-брокеров, которые можно создать вместе с кластером Apache Kafka®, зависит от выбранного типа диска:

  • Вы можете создать кластер только из трех или более хостов-брокеров при использовании следующих типов дисков:

    • локальные SSD-диски (local-ssd);
    • нереплицируемые SSD-диски (network-ssd-nonreplicated).

    Такой кластер будет высокодоступным, только если выполнены все условия высокой доступности.

  • Вы можете добавить любое количество хостов-брокеров в пределах текущей квоты при использовании следующих типов дисков:

    • сетевые HDD-диски (network-hdd);
    • сетевые SSD-диски (network-ssd);
    • сверхбыстрые сетевые SSD-диски с тремя репликами (network-ssd-io-m3).

Подробнее об ограничениях на количество хостов-брокеров в кластере см. в разделе Квоты и лимиты.

Минимальный размер хранилищаМинимальный размер хранилища

Для работы каждого топика необходимо место в хранилище хостов-брокеров. Размер этого места зависит от фактора репликации и количества разделов. Если свободного места в хранилище меньше, создать новый топик невозможно.

Совет

Объем хранилища всегда можно увеличить в рамках действующих квот.

Минимальный размер хранилища для всех топиков рассчитывается по формуле:

2 × максимальный размер сегмента логов × количество разделов в кластере × фактор репликации.

Если разделы топиков распределены равномерно, для получения нужного размера хранилища разделите рассчитанное по формуле значение на число хостов-брокеров.

Максимальный размер сегмента логовМаксимальный размер сегмента логов

Для каждой реплики раздела топика необходимо как минимум два сегмента логов. Максимальный размер такого сегмента может быть определен:

  • на уровне топика — настройкой Segment bytes;
  • глобально на уровне кластера — настройкой Log segment bytes.

Таким образом, минимальный размер хранилища для всех топиков составляет: 2 × максимальный размер сегмента логов × количество разделов в кластере × фактор репликации. Если разделы кластера распределены равномерно, получившуюся сумму можно поделить на количество брокеров, чтобы определить требуемый размер хранилища для одного брокера.

По умолчанию размер сегмента равен 1 ГБ.

Управление дисковым пространствомУправление дисковым пространством

Когда доля логов Apache Kafka® достигает 97% от объема хранилища, хост автоматически переходит в режим read-only. Кластер Managed Service for Apache Kafka® блокирует запросы на запись в топик.

Вы можете отслеживать степень заполнения хранилища на хостах кластера, настроив алерты в Yandex Monitoring.

Вывод кластера из режима read-onlyВывод кластера из режима read-only

Воспользуйтесь одним из способов:

  • Увеличьте размер хранилища, чтобы выйти за пороговое значение. Тогда кластер Managed Service for Apache Kafka® снимет режим read-only автоматически.
  • Настройте автоматическое увеличение размера хранилища.

Автоматическое увеличение размера хранилищаАвтоматическое увеличение размера хранилища

Автоматическое увеличение размера хранилища позволяет избежать ситуаций, когда свободное место на диске закончилось и хост перешел в режим read-only. Хранилище увеличивается, когда достигнут установленный порог срабатывания — процент от общего объема хранилища. Есть два порога:

  • Порог для планового увеличения. Когда он достигнут, объем хранилища увеличивается во время ближайшего окна обслуживания.
  • Порог для незамедлительного увеличения. Когда он достигнут, объем хранилища увеличивается немедленно.

Можно использовать один либо оба порога. Если заданы оба, порог для незамедлительного увеличения должен быть выше, чем для планового.

Если заданный порог достигнут, размер хранилища увеличивается по-разному в зависимости от типа диска:

  • Для сетевых HDD- и SSD-дисков — на большее из двух значений: 20 ГБ или 20% от текущего размера диска.

  • Для нереплицируемых SSD-дисков — на 93 ГБ.

  • Для локальных SSD-дисков, в кластере на платформе:

    • Intel Cascade Lake — на 100 ГБ.
    • Intel Ice Lake — на 368 ГБ.

Если порог срабатывания достигнут повторно, размер хранилища будет автоматически увеличиваться, пока не достигнет заданного максимума. После этого вы можете задать новый максимальный размер хранилища вручную.

Настроить автоматическое увеличение размера хранилища можно при создании или изменении кластера. Если настроен порог для планового увеличения, настройте расписание окна обслуживания.

Важно

  • Размер хранилища нельзя уменьшить.
  • Во время изменения размера хранилища хосты кластера будут недоступны.

Примеры использованияПримеры использования

  • Настройка Kafka Connect для работы с кластером Managed Service for Apache Kafka®
  • Работа с управляемым реестром схем формата данных
  • Использование Confluent Schema Registry с Managed Service for Apache Kafka®

Была ли статья полезна?

Предыдущая
Квоты и лимиты
Следующая
Коннекторы
Проект Яндекса
© 2025 ТОО «Облачные Сервисы Казахстан»