Миграция коллекций из MongoDB в Managed Service for MongoDB

Чтобы перенести коллекции, хранящиеся в стороннем кластере MongoDB, в кластер Managed Service for MongoDB, нужно непосредственно перенести данные, запретить запись в старые базы данных и переключить нагрузку на кластер в Yandex Cloud.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за кластер-приемник Managed Service for MongoDB: использование вычислительных ресурсов, выделенных хостам, и дискового пространства (см. тарифы MongoDB).
• Плата за каждый трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Data Transfer).
• Плата за использование публичных IP-адресов, если для хостов кластера включен публичный доступ (см. тарифы Virtual Private Cloud).

Перед началом работыПеред началом работы

Убедитесь, что к хостам кластера-источника можно подключиться из интернета.

Миграция данных с использованием сервиса Yandex Data TransferМиграция данных с использованием сервиса Yandex Data Transfer

1. Подготовьте кластер-источник.

2. Подготовьте кластер-приемник.

3. Создайте эндпоинт для источника со следующими параметрами:

   • Тип базы данных — MongoDB.

   • Параметры эндпоинта → Настройки подключения — Пользовательская инсталляция.

     Укажите параметры подключения к кластеру-источнику.

   Примечание

   Так как сервис не поддерживает перенос коллекций Time Series, необходимо исключить такие коллекции в настройках эндпоинта.

4. Создайте эндпоинт для приемника со следующими параметрами:

   • Тип базы данных — MongoDB.

   • Параметры эндпоинта → Настройки подключения — Кластер Managed Service for MongoDB.

     Укажите идентификатор кластера-приемника.

5. Создайте трансфер типа Копирование и репликация, использующий созданные эндпоинты.

   Чтобы ускорить копирование больших коллекций (более 1 ГБ), включите параллельное копирование в настройках трансфера. Укажите два воркера или больше. Коллекция разделится на указанное количество частей, которые будут копироваться параллельно.

   Чтобы параллельное копирование работало, тип данных поля _id у всех документов коллекции должен быть одинаковым. Если трансфер обнаруживает неоднородность типов, то коллекция не разбивается на части и переносится в одном потоке. При необходимости перед началом трансфера удалите из коллекции документы с отличающимися типами данных.

   Примечание

   Если после активации трансфера в коллекцию добавится документ с отличающимся типом данных, трансфер перенесет его на стадии репликации, после параллельного копирования. Но при повторной активации трансфер не сможет разбить коллекцию на части, так как требование к типу поля _id во всех документах коллекции не будет выполнено.

6. Активируйте трансфер.

7. Дождитесь перехода трансфера в статус Реплицируется.

8. Переведите кластер-источник в режим только чтение и переключите нагрузку на кластер-приемник.

9. На странице мониторинга трансфера дождитесь снижения до нуля характеристики Maximum data transfer delay. Это значит, что на кластер-приемник перенесены все изменения, произошедшие в кластере-источнике после завершения копирования данных.

10. Деактивируйте трансфер и дождитесь его перехода в статус Остановлен.

    Подробнее о статусах трансфера см. в разделе Жизненный цикл трансфера.

11. Удалите остановленный трансфер.

12. Удалите эндпоинты для источника и приемника.

Пример миграции коллекцииПример миграции коллекции

1. Настройте кластер-источник.
2. Создайте и настройте кластер-приемник.
3. Настройте эндпоинты и трансфер.
4. Перенесите данные.
5. Удалите созданные ресурсы.

Настройте кластер-источникНастройте кластер-источник

1. Подключитесь к хосту mongos кластера-источника MongoDB с помощью утилиты mongosh.

2. Создайте базу данных db1.

3. Создайте пользователя с правами владельца базы данных db1 и авторизуйтесь под его именем:

   use admin
   db.createUser({
     user: "user1",
     pwd: passwordPrompt(),
     roles: [
         {
             role: "dbOwner",
             db: "db1"
         }
     ]
   })
   
   db.auth("user1")
   

4. Заполните коллекцию collection1 в базе db1 случайными значениями. В коллекцию будет вставлено 200 000 записей:

   use db1
   function randomName() {
     // Base 36 uses letters and digits to represent a number:
     return (Math.random()+1).toString(36).substring(2);
   }
   
   var day = 1000 * 60 * 60 * 24;
   function randomDate () {
     return new Date(Date.now() - (Math.floor(Math.random() * day)));
   }
   
   for (var i = 1; i <= 200000; ++i) {
     db.collection1.insertOne({
      name: randomName(),
      creationDate: randomDate(),
      uid: i
     });
   }
   

Создайте и настройте кластер-приемникСоздайте и настройте кластер-приемник

Настройте эндпоинты и трансферНастройте эндпоинты и трансфер

Перенесите данныеПеренесите данные

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

1. Деактивируйте трансфер и дождитесь его перехода в статус Остановлен.

   Подробнее о жизненном цикле трансфера читайте в документации Yandex Data Transfer.

2. Удалите остановленный трансфер.

3. Удалите эндпоинты для источника и приемника.

4. Удалите созданный кластер Managed Service for MongoDB.