Миграция данных в Managed Service for MongoDB

Чтобы перенести ваши данные в сервис Managed Service for MongoDB, нужно перенести данные, запретить запись в старую базу данных и переключить нагрузку на кластер-приемник в Yandex Cloud.

Перенести данные из стороннего кластера-источника в кластер-приемник Managed Service for MongoDB можно двумя способами:

• Перенос данных с использованием сервиса Yandex Data Transfer.

  Этот способ миграции позволяет:

  • перенести базу без остановки обслуживания пользователей;
  • мигрировать со старых версий MongoDB на более новые;
  • обойтись без создания промежуточной виртуальной машины или разрешения доступа к вашему кластеру-приемнику Managed Service for MongoDB из интернета.

  Чтобы использовать этот способ миграции, разрешите подключение к кластеру-источнику из интернета.

  Подробнее см. в разделе Какие задачи решает сервис Yandex Data Transfer.

• Миграция при помощи дампа базы.

  Дамп — набор файлов, который позволяет восстановить состояние базы данных. Чтобы перенести данные в кластер Managed Service for MongoDB, создайте дамп базы с помощью утилиты mongodump и восстановите его на кластере-приемнике с помощью утилиты mongorestore. Чтобы обеспечить полноту дампа, перед его созданием кластер-источник следует перевести в режим только чтение.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость переноса данных с использованием сервиса Yandex Data Transfer входят:

• Плата за кластер-приемник Managed Service for MongoDB: использование вычислительных ресурсов, выделенных хостам, и дискового пространства (см. тарифы MongoDB).
• Плата за использование публичных IP-адресов, если для хостов кластера включен публичный доступ (см. тарифы Virtual Private Cloud).
• Плата за каждый трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Data Transfer).

В стоимость переноса данных при помощи дампа базы входят:

• Плата за кластер-приемник Managed Service for MongoDB: использование вычислительных ресурсов, выделенных хостам, и дискового пространства (см. тарифы MongoDB).
• Плата за использование публичных IP-адресов, если для хостов кластера включен публичный доступ (см. тарифы Virtual Private Cloud).
• При создании виртуальной машины для загрузки дампа — плата за использование вычислительных ресурсов, хранилища, операционной системы (для отдельных ОС) и публичного IP-адреса (опционально) (см. тарифы Compute Cloud).

Перед началом работыПеред началом работы

Создайте кластер-приемник Managed Service for MongoDB, вычислительная мощность и размер хранилища которого соответствуют среде, в которой развернута мигрируемая база данных.

Имя базы в кластере-приемнике должно совпадать с именем базы-источника.

Миграция данных с использованием сервиса Yandex Data TransferМиграция данных с использованием сервиса Yandex Data Transfer

1. Подготовьте кластер-источник.

2. Подготовьте кластер-приемник.

3. Создайте эндпоинт для источника со следующими параметрами:

   • Тип базы данных — MongoDB.

   • Параметры эндпоинта → Настройки подключения — Пользовательская инсталляция.

     Укажите параметры подключения к кластеру-источнику.

   Примечание

   Так как сервис не поддерживает перенос коллекций Time Series, необходимо исключить такие коллекции в настройках эндпоинта.

4. Создайте эндпоинт для приемника со следующими параметрами:

   • Тип базы данных — MongoDB.

   • Параметры эндпоинта → Настройки подключения — Кластер Managed Service for MongoDB.

     Укажите идентификатор кластера-приемника.

5. Создайте трансфер типа Копирование и репликация, использующий созданные эндпоинты.

   Чтобы ускорить копирование больших коллекций (более 1 ГБ), включите параллельное копирование в настройках трансфера. Укажите два воркера или больше. Коллекция разделится на указанное количество частей, которые будут копироваться параллельно.

   Чтобы параллельное копирование работало, тип данных поля _id у всех документов коллекции должен быть одинаковым. Если трансфер обнаруживает неоднородность типов, то коллекция не разбивается на части и переносится в одном потоке. При необходимости перед началом трансфера удалите из коллекции документы с отличающимися типами данных.

   Примечание

   Если после активации трансфера в коллекцию добавится документ с отличающимся типом данных, трансфер перенесет его на стадии репликации, после параллельного копирования. Но при повторной активации трансфер не сможет разбить коллекцию на части, так как требование к типу поля _id во всех документах коллекции не будет выполнено.

6. Активируйте трансфер.

7. Дождитесь перехода трансфера в статус Реплицируется.

8. Переведите кластер-источник в режим только чтение и переключите нагрузку на кластер-приемник.

9. На странице мониторинга трансфера дождитесь снижения до нуля характеристики Maximum data transfer delay. Это значит, что на кластер-приемник перенесены все изменения, произошедшие в кластере-источнике после завершения копирования данных.

10. Деактивируйте трансфер и дождитесь его перехода в статус Остановлен.

    Подробнее о статусах трансфера см. в разделе Жизненный цикл трансфера.

11. Удалите остановленный трансфер.

12. Удалите эндпоинты для источника и приемника.

Миграция при помощи дампа базыМиграция при помощи дампа базы

Последовательность действий:

1. Создайте дамп мигрируемой базы с помощью утилиты mongodump.
2. При необходимости создайте виртуальную машину в Compute Cloud, чтобы восстанавливать базу из дампа в инфраструктуре Yandex Cloud.
3. Восстановите данные из дампа в кластере с помощью утилиты mongorestore.

Создайте дампСоздайте дамп

Создать дамп базы данных следует с помощью утилиты mongodump. Подробно утилита описана в документации MongoDB.

1. Установите mongodump и дополнительные утилиты для работы с MongoDB. Пример для Ubuntu 20.04 LTS:

   wget -qO - https://www.mongodb.org/static/pgp/server-4.4.asc | sudo apt-key add -
   echo "deb [ arch=amd64 ] https://repo.mongodb.org/apt/ubuntu focal/mongodb-org/4.4 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-4.4.list
   sudo apt update
   sudo apt install mongodb-org-shell mongodb-org-tools
   

   Инструкции для других платформ, а также более подробную информацию об установке утилит можно найти на странице Install MongoDB.

2. Перед созданием дампа рекомендуется переключить СУБД в режим «только чтение», чтобы не потерять данные, которые могут появиться за время создания дампа.

3. Создайте дамп базы данных:

   mongodump --host <адрес_сервера_СУБД> \
             --port <порт> \
             --username <имя_пользователя> \
             --password "<пароль>" \
             --db <имя_БД> \
             --out ~/db_dump
   

   Если вы можете использовать несколько ядер процессора для создания дампа, задайте флаг -j с количеством доступных ядер:

   mongodump --host <адрес_сервера_СУБД> \
             --port <порт> \
             --username <имя_пользователя> \
             --password "<пароль>" \
             -j <количество_ядер> \
             --db <имя_БД> \
             --out ~/db_dump
   

4. Архивируйте дамп:

   tar -cvzf db_dump.tar.gz ~/db_dump
   

(Опционально) Создайте виртуальную машину для загрузки дампа(Опционально) Создайте виртуальную машину для загрузки дампа

Промежуточная виртуальная машина в Yandex Compute Cloud понадобится, если:

• К вашему кластеру Managed Service for MongoDB нет доступа из интернета.
• Ваше оборудование или соединение с кластером в Yandex Cloud недостаточно надежны.

Чтобы подготовить виртуальную машину для восстановления дампа:

1. В консоли управления создайте новую виртуальную машину из образа Ubuntu 20.04 LTS. Нужное количество оперативной памяти и ядер процессора зависит от объема переносимых данных и требуемой скорости переноса.

   Минимальной конфигурации (1 ядро, 2 ГБ RAM, 10 ГБ дискового пространства) должно хватить для переноса базы до 1 ГБ. Чем больше переносимая база, тем больше должно быть дискового пространства (как минимум в два раза больше, чем размер базы) и оперативной памяти.

   Виртуальная машина должна находиться в той же сети и зоне доступности, что хост-мастер кластера Managed Service for MongoDB. Кроме того, виртуальной машине должен быть присвоен внешний IP-адрес, чтобы вы могли загрузить файл дампа извне Yandex Cloud.

2. Установите клиент MongoDB и дополнительные утилиты для работы с СУБД:

   wget -qO - https://www.mongodb.org/static/pgp/server-4.4.asc | sudo apt-key add -
   echo "deb [ arch=amd64 ] https://repo.mongodb.org/apt/ubuntu focal/mongodb-org/4.4 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-4.4.list
   sudo apt update
   sudo apt install mongodb-org-shell mongodb-org-tools
   

3. Перенесите дамп базы данных с вашего сервера на виртуальную машину, например, используя утилиту scp:

   scp ~/db_dump.tar.gz <имя_пользователя_ВМ>@<публичный_адрес_ВМ>:/tmp/db_dump.tar.gz
   

4. Распакуйте дамп на виртуальной машине:

   tar -xzf /tmp/db_dump.tar.gz
   

В результате вы получите виртуальную машину с дампом базы данных, который готов к восстановлению на кластер Managed Service for MongoDB.

Восстановите данныеВосстановите данные

Восстанавливать базу данных из дампа следует с помощью утилиты mongorestore.

• Если вы восстанавливаете дамп с виртуальной машины в Yandex Cloud:

  mongorestore --host <адрес_сервера_СУБД> \
               --port <порт> \
               --username <имя_пользователя> \
               --password "<пароль>" \
               -j <количество_потоков> \
               --authenticationDatabase <имя_БД> \
               --nsInclude '*.*' /tmp/db_dump
  

• Если вы восстанавливаете дамп с сервера вне Yandex Cloud, для mongorestore необходимо явно задать параметры SSL:

  mongorestore --host <адрес_сервера_СУБД> \
               --port <порт> \
               --ssl \
               --sslCAFile <путь_к_файлу_сертификата> \
               --username <имя_пользователя> \
               --password "<пароль>" \
               -j <количество_потоков> \
               --authenticationDatabase <имя_БД> \
               --nsInclude '*.*' ~/db_dump
  

• Если нужно перенести только определенные коллекции, задайте флаги --nsInclude и --nsExclude с указанием на пространства имен, которые нужно или не нужно включать для восстанавливаемого набора коллекций.