Миграция базы данных из стороннего кластера Apache Kafka® в Yandex Managed Service for Apache Kafka®

Перенести топики из кластера-источника Apache Kafka® в кластер-приемник Managed Service for Apache Kafka® можно двумя способами:

• С помощью встроенного в Yandex Managed Service for Apache Kafka® MirrorMaker-коннектора.

  Этот способ прост в настройке и не требует создания промежуточной виртуальной машины.

• С помощью утилиты MirrorMaker 2.0.

  Для этого потребуется самостоятельная инсталляция и настройка утилиты на промежуточной виртуальной машине. Используйте этот способ только в том случае, если перенос данных с помощью встроенного MirrorMaker-коннектора по каким-либо причинам невозможен.

Оба способа подойдут в том числе для миграции кластера Managed Service for Apache Kafka® с одним хостом в другую зону доступности.

Перенос данных с использованием сервиса Yandex Managed Service for Apache Kafka® ConnectorПеренос данных с использованием сервиса Yandex Managed Service for Apache Kafka® Connector

Чтобы перенести данные с использованием сервиса Yandex Managed Service for Apache Kafka® Connector:

1. Подготовьте кластер-источник.
2. Создайте кластер-приемник и коннектор.
3. Проверьте наличие данных в топике кластера-приемника.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

• Кластер Managed Service for Apache Kafka®: использование выделенных хостам вычислительных ресурсов, объем хранилища и резервных копий (см. тарифы Managed Service for Apache Kafka®).
• Публичные IP-адреса, если для хостов кластера включен публичный доступ (см. тарифы Virtual Private Cloud).

Подготовьте кластер-источникПодготовьте кластер-источник

1. Создайте пользователя admin-source и назначьте ему роль ACCESS_ROLE_ADMIN на все топики (*).
2. Убедитесь, что настройки сети, в которой размещен кластер-источник, разрешают подключение к нему из интернета.

Создайте кластер-приемник и коннекторСоздайте кластер-приемник и коннектор

Проверьте наличие данных в топике кластера-приемникаПроверьте наличие данных в топике кластера-приемника

1. В консоли управления откройте кластер-приемник.

2. Убедитесь, что на вкладке Топики отображается перенесенный топик.

   К имени топика будет добавлен префикс, по умолчанию — source. Например, топик mytopic будет перенесен на кластер-приемник как source.mytopic.

3. Подключитесь к топику кластера-приемника с помощью утилиты kafkacat. К имени топика кластера-источника добавьте префикс.

4. Убедитесь, что в консоли отображаются сообщения из топика кластера-источника.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

Перенос данных с использованием утилиты MirrorMakerПеренос данных с использованием утилиты MirrorMaker

Чтобы перенести данные с использованием утилиты MirrorMaker:

1. Подготовьте инфраструктуру.
2. Настройте кластер-источник и ВМ.
3. Настройте конфигурацию MirrorMaker.
4. Запустите репликацию.
5. Проверьте наличие данных в топике кластера-приемника.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

• Кластер Managed Service for Apache Kafka®: использование выделенных хостам вычислительных ресурсов, объем хранилища и резервных копий (см. тарифы Managed Service for Apache Kafka®).
• Публичные IP-адреса, если для хостов кластера включен публичный доступ (см. тарифы Virtual Private Cloud).
• Виртуальная машина: использование вычислительных ресурсов, хранилища, публичного IP-адреса и операционной системы (см. тарифы Compute Cloud).

Подготовьте инфраструктуруПодготовьте инфраструктуру

Настройте кластер-источник и ВМНастройте кластер-источник и ВМ

1. Подготовьте кластер-источник:

   1. Создайте в кластере-источнике пользователя admin-source и назначьте ему роль ACCESS_ROLE_ADMIN на все топики (*).
   2. Включите настройку Auto create topics enable.

2. Подключитесь к виртуальной машине по SSH.

   1. Установите JDK:

      sudo apt update && sudo apt install --yes default-jdk
      

   2. Скачайте и распакуйте архив Apache Kafka® той же версии, которая установлена на кластере-приемнике. Например, для версии 3.9:

      wget https://archive.apache.org/dist/kafka/3.9.0/kafka_2.12-3.9.0.tgz && \
      tar -xvf kafka_2.12-3.9.0.tgz
      

   3. Скачайте SSL-сертификат для подключения к кластеру Managed Service for Apache Kafka®:

      sudo mkdir -p /usr/local/share/ca-certificates/Yandex && \
      sudo wget "https://storage.yandexcloud.net/cloud-certs/CA.pem" \
          --output-document /usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt && \
      sudo chmod 0655 /usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt
      

   4. Установите утилиту kafkacat:

      sudo apt update && sudo apt install --yes kafkacat
      

3. Настройте межсетевой экран (firewall) и группы безопасности, если это требуется для подключения MirrorMaker к кластеру-приемнику и кластеру-источнику.

Настройте конфигурацию MirrorMakerНастройте конфигурацию MirrorMaker

1. Подключитесь к ВМ с MirrorMaker по SSH.

2. В домашней директории создайте каталог mirror-maker для хранения сертификатов Java Keystore и конфигураций MirrorMaker:

   mkdir --parents /home/<домашняя_директория>/mirror-maker
   

3. Выберите пароль для хранилища сертификатов не короче 6 символов, создайте хранилище и добавьте в него SSL-сертификат для подключения к кластеру:

   sudo keytool --noprompt -importcert -alias YandexCA \
      -file /usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt \
      -keystore /home/<домашняя_директория>/mirror-maker/keystore \
      -storepass <пароль_хранилища_сертификатов>
   

4. Создайте в каталоге mirror-maker файл конфигурации MirrorMaker mm2.properties:

   # Kafka clusters
   clusters=source, cloud
   source.bootstrap.servers=<FQDN_брокера_кластера-источника>:9091
   cloud.bootstrap.servers=<FQDN_брокера_1_кластера-приемника>:9091, ..., <FQDN_брокера_N_кластера-приемника>:9091
   
   # Source and target cluster settings
   source->cloud.enabled=true
   cloud->source.enabled=false
   source.cluster.alias=source
   cloud.cluster.alias=cloud
   
   # Internal topics settings
   source.config.storage.replication.factor=<R>
   source.status.storage.replication.factor=<R>
   source.offset.storage.replication.factor=<R>
   source.offsets.topic.replication.factor=<R>
   source.errors.deadletterqueue.topic.replication.factor=<R>
   source.offset-syncs.topic.replication.factor=<R>
   source.heartbeats.topic.replication.factor=<R>
   source.checkpoints.topic.replication.factor=<R>
   source.transaction.state.log.replication.factor=<R>
   cloud.config.storage.replication.factor=<R>
   cloud.status.storage.replication.factor=<R>
   cloud.offset.storage.replication.factor=<R>
   cloud.offsets.topic.replication.factor=<R>
   cloud.errors.deadletterqueue.topic.replication.factor=<R>
   cloud.offset-syncs.topic.replication.factor=<R>
   cloud.heartbeats.topic.replication.factor=<R>
   cloud.checkpoints.topic.replication.factor=<R>
   cloud.transaction.state.log.replication.factor=<R>
   
   # Topics
   topics=.*
   groups=.*
   topics.blacklist=.*[\-\.]internal, .*\replica, __consumer_offsets
   groups.blacklist=console-consumer-.*, connect-.*, __.*
   replication.factor=<M>
   refresh.topics.enable=true
   sync.topic.configs.enabled=true
   refresh.topics.interval.seconds=10
   
   # Tasks
   tasks.max=<T>
   
   # Source cluster authentication parameters. Comment out if no authentication required
   source.client.id=mm2_consumer_test
   source.group.id=mm2_consumer_group
   source.security.protocol=SASL_PLAINTEXT
   source.sasl.mechanism=SCRAM-SHA-512
   source.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="admin-source" password="<пароль>";
   
   # Target cluster authentication parameters
   cloud.client.id=mm2_producer_test
   cloud.group.id=mm2_producer_group
   cloud.ssl.enabled.protocols=TLSv1.2,TLSv1.1,TLSv1
   cloud.ssl.truststore.location=/home/<домашняя_директория>/mirror-maker/keystore
   cloud.ssl.truststore.password=<пароль_хранилища_сертификатов>
   cloud.ssl.protocol=TLS
   cloud.security.protocol=SASL_SSL
   cloud.sasl.mechanism=SCRAM-SHA-512
   cloud.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="admin-cloud" password="<пароль>";
   
   # Enable heartbeats and checkpoints
   source->target.emit.heartbeats.enabled=true
   source->target.emit.checkpoints.enabled=true
   

   Пояснения к конфигурации MirrorMaker:

   • Выполняется односторонняя репликация (параметры source->cloud.enabled = true, cloud->source.enabled = false).
   • В параметре topics указывается список топиков, которые нужно перенести. Также можно указать регулярное выражение для выбора топиков. Для переноса всех топиков укажите .*. В данной конфигурации реплицируются все топики.
   • Названия топиков в кластере-приемнике совпадают с их названиями в кластере-источнике.
   • Параметр <R> — фактор репликации служебных топиков MirrorMaker. Значение этого параметра не должно превышать меньшего между количеством брокеров в кластере-источнике и количеством брокеров в кластере-приемнике.
   • Параметр <M> — фактор репликации по умолчанию, установленный для топиков в кластере-приемнике.
   • Параметр <T> — количество одновременно работающих процессов MirrorMaker. Рекомендуется указывать не менее 2 для равномерного распределения нагрузки репликации. Подробнее в документации Apache Kafka®.

   FQDN брокеров Managed Service for Apache Kafka® можно запросить со списком хостов в кластере.

Запустите репликациюЗапустите репликацию

1. Подключитесь к ВМ с MirrorMaker по SSH.

2. Запустите MirrorMaker на ВМ командой:

   <путь_установки_Apache_Kafka>/bin/connect-mirror-maker.sh /home/<домашняя_директория>/mirror-maker/mm2.properties
   

Проверьте наличие данных в топике кластера-приемникаПроверьте наличие данных в топике кластера-приемника

1. В консоли управления откройте кластер-приемник.

2. Убедитесь, что на вкладке Топики отображается перенесенный топик.

   К имени топика будет добавлен префикс, по умолчанию — source. Например, топик mytopic будет перенесен на кластер-приемник как source.mytopic.

3. Подключитесь к топику кластера-приемника с помощью утилиты kafkacat. К имени топика кластера-источника добавьте префикс.

4. Убедитесь, что в консоли отображаются сообщения из топика кластера-источника.

Подробнее о работе с сервисом MirrorMaker 2.0 в документации Apache Kafka®.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать: