История изменений в Yandex Managed Service for Apache Kafka®

Сентябрь 2025Сентябрь 2025

• Добавлена новая сервисная роль managed-kafka.interfaceUser, которая позволяет использовать веб-интерфейс Kafka UI.
• Добавлена возможность выбора сервиса координации при создании кластера:
  • ZooKeeper (на отдельных хостах);
  • KRaft (комбинированный режим);
  • KRaft (на отдельных хостах).
• Поддержано использование ZooKeeper в кластерах с версиями 3.6 — 3.9 (включительно).

Август 2025Август 2025

• Встроенная поддержка веб-интерфейса Kafka UI стала доступна в регионе Казахстан.
• Добавлены новые роли пользователей для управления ресурсами кластера Apache Kafka®: ACCESS_ROLE_TOPIC_PRODUCER, ACCESS_ROLE_TOPIC_CONSUMER, ACCESS_ROLE_SCHEMA_READER, ACCESS_ROLE_SCHEMA_WRITER.
• Добавлена возможность миграции с хостов ZooKeeper на KRaft.
• Добавлена возможность синхронизации даных из топиков Apache Kafka® в бакет Object Storage без использования интернета.
• Изменился лимит по объему данных на брокере при использовании хранилища на сетевых SSD-дисках — 32 768 ГБ.

Июль 2025Июль 2025

• Добавлена встроенная поддержка веб-интерфейса Kafka UI для кластера.
• Добавлена возможность получить скидку за резервируемый объем ресурсов KRaft.
• Добавлена политика обновления версий.
• Добавлена новая роль пользователя для управления топиками: ACCESS_ROLE_TOPIC_ADMIN.

Май 2025Май 2025

В консоли управления добавлен раздел Техническое обслуживание.

Март 2025Март 2025

• Добавлена поддержка новых версий Apache Kafka® 3.7, 3.8 и 3.9. Эти версии доступны в окружении PRODUCTION. Подробнее об изменениях см. в документации Apache Kafka®.
• С 1 марта 2025 года прекращена поддержка Apache Kafka® версий 2.8, 3.0, 3.1, 3.2 и 3.3. Создать кластер с этими версиями невозможно.

Июль 2024Июль 2024

Добавлено автоматическое увеличение размера диска. В настройках кластера пользователь может задать порог заполненности дискового хранилища и максимальное значение размера диска. При достижении порогового значения размер диска будет автоматически увеличиваться фиксированными шагами до максимального значения. Настройку можно задать для незамедлительного увеличения размера диска или для увеличения в ближайшее окно обслуживания.

Март 2024Март 2024

Добавлена возможность замены зоны доступности для кластеров Managed Service for Apache Kafka®.

IV квартал 2023IV квартал 2023

Новая версия Apache Kafka® 3.5.1 доступна в окружении PRODUCTION. Подробнее об изменениях см. в документации Apache Kafka® 3.5.0 и документации Apache Kafka® 3.5.1.

II квартал 2023II квартал 2023

Новая версия Apache Kafka® 3.4 доступна в окружении PRODUCTION. Подробнее об изменениях см. в документации Apache Kafka®.

I квартал 2023I квартал 2023

Новая версия Apache Kafka® 3.3 доступна в окружении PRODUCTION.

IV квартал 2022IV квартал 2022

• Добавлена поддержка настройки Sasl enabled mechanisms, позволяющей задать доступные при подключении к кластеру механизмы шифрования.
• Для пользователей с ролью admin добавлена возможность удалять группы потребителей (consumer groups).
• Коннектор S3 Sink теперь доступен в CLI.

III квартал 2022III квартал 2022

• Добавлена поддержка управления коннекторами в CLI с помощью команды yc managed-kafka connector и коннекторами типа MirrorMaker с помощью команды yc managed-kafka connector-mirrormaker.
• Ускорены операции по изменению прав пользователей при большом количестве топиков.
• Добавлена поддержка настроек Message max bytes, Offsets retention minutes, Replica fetch max bytes и Ssl cipher suites.
• Добавлена возможность создания кластера на локальных дисках на платформе Intel Ice Lake.
• Исправлен расчет метрики kafka_group_topic_partition_lag. Подробнее см. в справочнике метрик Yandex Monitoring.
• Новая версия Apache Kafka® 3.2 доступна в окружении PRODUCTION.

II квартал 2022II квартал 2022

• Доступен новый коннектор: S3 Sink.
• Новая версия Apache Kafka® 3.1 доступна в окружениях PRESTABLE и PRODUCTION.
• Добавлена возможность загружать SSL-сертификат для соединения с кластером через коннектор MirrorMaker.
• Добавлена поддержка офлайн-обслуживания.
• Добавлена возможность изменять настройку публичного доступа в CLI.
• Запрещено использование флага preallocate, провоцирующего CorruptRecordException (см. тикет KAFKA-13664).
• Добавлена поддержка стандартного сжатия (zstd) для реестра схем (schema registry).

I квартал 2022I квартал 2022

Доступна новая версия Apache Kafka® 3.0.