Yandex Cloud
КейсыДокументация
ПрезентацияСвязаться с намиНачать бесплатно
Создавайте контент и получайте гранты!Готовы написать своё руководство? Участвуйте в контент-программе и получайте гранты на работу с облачными сервисами!
Подробнее о программе
Сделано на Gravity UI
Проект Яндекса
© 2026 ООО «Яндекс.Облако»
Yandex Managed Service for Apache Kafka®
  • Начало работы
    • Взаимосвязь ресурсов сервиса
    • Топики и разделы
    • Брокеры
    • Протокол KRaft
    • Производители и потребители
    • Роли пользователей
    • Управление схемами данных
    • Веб-интерфейс для Apache Kafka®
    • API в Managed Service for Apache Kafka®
    • Классы хостов
    • Высокая доступность кластера
    • Сеть в Managed Service for Apache Kafka®
    • Квоты и лимиты
    • Хранилище в Managed Service for Apache Kafka®
    • Коннекторы
    • Техническое обслуживание
    • Настройки Apache Kafka®
    • Политика работы с версиями Apache Kafka®
  • Управление доступом
  • Правила тарификации
  • Справочник Terraform
  • Метрики Yandex Monitoring
  • Аудитные логи Audit Trails
  • Публичные материалы
  • История изменений
  • Вопросы и ответы
  • Обучающие курсы

В этой статье:

  • Поддерживаемые коннекторы
  • MirrorMaker
  • S3 Sink
  • Iceberg Sink
  • Примеры использования
  1. Концепции
  2. Коннекторы

Коннекторы

Статья создана
Yandex Cloud
Обновлена 16 октября 2026 г.
Открыть в Markdown
  • Поддерживаемые коннекторы
    • MirrorMaker
    • S3 Sink
    • Iceberg Sink
  • Примеры использования

Коннекторы — это встроенные в Managed Service for Apache Kafka® компоненты инструмента Kafka Connect для передачи информации между Apache Kafka® и другими хранилищами данных. Коннектор можно использовать для непрерывной миграции данных в кластер Managed Service for Apache Kafka® или из него. Работа с данными в коннекторе выполняется в отдельных потоках процесса-исполнителя Kafka Connect (worker). Подробнее о Kafka Connect в документации Apache Kafka®.

Коннектор выполняет следующие функции:

  • Подключение к кластеру Managed Service for Apache Kafka® и другим хранилищам данных.
  • Чтение и запись данных.
  • Управление процессом работы с данными.

Для любого типа коннекторов можно указать:

  • Лимит задач. Определяет количество одновременно запущенных процессов-исполнителей.
  • Дополнительные свойства.

Пошаговые инструкции по работе с коннекторами в разделе Управление коннекторами.

Поддерживаемые коннекторыПоддерживаемые коннекторы

MirrorMakerMirrorMaker

Примечание

В сервисе Managed Service for Apache Kafka® поддержан MirrorMaker версии 2.

Коннектор MirrorMaker используется для межкластерной репликации топиков Apache Kafka®.

Процесс-исполнитель обращается к хостам-брокерам кластера Managed Service for Apache Kafka® и реплицирует топики, указанные в шаблоне фильтрации коннектора. В зависимости от фактора репликации коннектора, подключение происходит к одному или нескольким брокерам.

По умолчанию имена топиков в кластере-приемнике имеют вид <псевдоним_кластера-источника>.<имя_топика>. Чтобы сохранить исходные имена топиков, создайте коннектор с помощью CLI и настройте перенос без префиксов.

Подробнее о том, как MirrorMaker выполняет перенос данных, в документации Apache Kafka®.

S3 SinkS3 Sink

Коннектор S3 Sink используется только в качестве приемника для экспорта данных из топиков Apache Kafka® в хранилище S3.

Коннектор периодически запрашивает данные из Apache Kafka® и загружает их в хранилище S3. Данные разделяются на куски (chunks), которые представляют собой файл-объекты S3. Размер каждого такого куска данных зависит от заданного максимального количества записей в нем.

Подробнее о том, как S3 Sink выполняет перенос данных, в документации коннектора.

Iceberg SinkIceberg Sink

Коннектор Iceberg Sink используется для передачи данных из топиков Apache Kafka® в таблицы Apache Iceberg™.

Подробнее о том, как Iceberg Sink выполняет перенос данных, в документации коннектора.

Примеры использованияПримеры использования

  • Настройка Kafka Connect для работы с кластером Managed Service for Apache Kafka®
  • Миграция базы данных из стороннего кластера Apache Kafka®
  • Перенос данных между кластерами Managed Service for Apache Kafka® с помощью Yandex Data Transfer

Была ли статья полезна?

Предыдущая
Хранилище в Managed Service for Apache Kafka®
Следующая
Техническое обслуживание
Создавайте контент и получайте гранты!Готовы написать своё руководство? Участвуйте в контент-программе и получайте гранты на работу с облачными сервисами!
Подробнее о программе
Сделано на Gravity UI
Проект Яндекса
© 2026 ООО «Яндекс.Облако»