Связаться с намиПодключиться

Управление шардами MongoDB

Статья создана
Обновлена 17 октября 2024 г.

Кластер можно создать шардированным либо включить шардирование позже. Затем можно добавлять и настраивать шарды.

Для повышения доступности шарды должны состоять как минимум из трех хостов MONGOD. Небольшие коллекции обычно нет смысла шардировать: скорость обработки запросов будет выше в обычном кластере реплик.

Внимание

После того как шардирование кластера включено:

  • Выключить шардирование невозможно. В кластере всегда будет поддерживаться минимальное количество хостов MONGOS, MONGOCFG или MONGOINFRA в зависимости от типа шардирования.
  • Обращаться к базам данных следует только через хосты MONGOS или MONGOINFRA, которые маршрутизируют запросы к шардам. Измените адреса хостов в коде ваших приложений соответствующим образом.

Включить шардирование

Через интерфейс Managed Service for MongoDB вы можете быстро создать инфраструктуру шардирования MongoDB.

О том, как непосредственно шардировать базу и коллекции MongoDB, читайте в разделе Шардирование коллекций.

Для включения шардирования необходимо:

  • Не менее трех хостов MONGOINFRA при стандартном шардировании.
  • Не менее двух хостов MONGOS и не менее трех хостов MONGOCFG при расширенном шардировании.

Примечание

Шардирование не поддерживается для хостов с классами b1.medium и b2.medium. Если у вас нет вкладки Шарды, повысьте класс хостов кластера до поддерживаемого.

  1. Перейдите на страницу каталога и выберите сервис Managed Service for MongoDB.

  2. Нажмите на имя нужного кластера и выберите вкладку Шарды.

  3. Нажмите кнопку Включить.

  4. Выберите один из типов шардирования:

    • Стандартный — с использованием хостов MONGOINFRA.

    • Расширенный — с использованием хостов MONGOS и MONGOCFG.

      Подробнее см. в разделе Шардирование.

    Важно

    После включения шардирования будет невозможно поменять его тип.

  5. Задайте параметры хостов, которые будут обеспечивать доступ к шардированным данным.

  6. Нажмите кнопку Включить шардирование.

Кластер начнет обновляться, при этом будут созданы запрошенные хосты, а также первый шард кластера.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

  • Чтобы включить стандартное шардирование кластера с использованием хостов MONGOINFRA, выполните команду (в примере приведены не все доступные параметры):

    yc managed-mongodb cluster enable-sharding \
  --cluster-name=<имя_кластера> \
  --host type=mongoinfra,`
    `zone-id=<зона_доступности>,`
    `subnet-name=<имя_подсети> \
  --host type=mongoinfra,`
    `zone-id=<зона_доступности>,`
    `subnet-name=<имя_подсети> \
  --host type=mongoinfra,`
    `zone-id=<зона_доступности>,`
    `subnet-name=<имя_подсети> \
  --mongoinfra resource-preset=<класс_хоста>,`
    `disk-size=<размер_хранилища_ГБ>,`
    `disk-type=<тип_диска>

    Где:

  • Чтобы включить расширенное шардирование кластера с использованием хостов MONGOS и MONGOCFG, выполните команду (в примере приведены не все доступные параметры):

    yc managed-mongodb cluster enable-sharding \
  --cluster-name=<имя_кластера> \
  --host type=mongos,`
    `zone-id=<зона_доступности>,`
    `subnet-name=<имя_подсети> \
  --host type=mongos,`
    `zone-id=<зона_доступности>,`
    `subnet-name=<имя_подсети> \
  --mongos resource-preset=<класс_хоста>,`
    `disk-size=<размер_хранилища_ГБ>,`
    `disk-type=<тип_диска> \
  --host type=mongocfg,`
    `zone-id=<зона_доступности>,`
    `subnet-name=<имя_подсети> \
  --host type=mongocfg,`
    `zone-id=<зона_доступности>,`
    `subnet-name=<имя_подсети> \
  --host type=mongocfg,`
    `zone-id=<зона_доступности>,`
    `subnet-name=<имя_подсети> \
  --mongocfg resource-preset=<класс_хоста>,`
    `disk-size=<размер_хранилища_ГБ>,`
    `disk-type=<тип_диска>

    Где:

  1. Убедитесь, что установленная версия провайдера — 0.90 или выше:

    terraform version

    Пример результата:

    Terraform v1.4.6
on darwin_arm64
+ provider registry.terraform.io/yandex-cloud/yandex v0.91.0
    Если версия ниже

    Обновите версию провайдера:

    1. В каталоге с конфигурационным файлом .tf добавьте аутентификационные данные в переменные окружения.

    2. В этом же каталоге инициализируйте провайдера с новой версией, указанного в конфигурационном файле:

      terraform init -upgrade

    3. Проверьте версию провайдера:

      terraform version

  2. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

    О создании такого файла читайте в разделе Создание кластера.

  3. Добавьте дополнительные ресурсы в конфигурационный файл.

    Для стандартного шардирования кластера с использованием хостов MONGOINFRA
    resources_mongoinfra {
  resource_preset_id = "<класс_хоста>"
  disk_type_id       = "<тип_диска>"
  disk_size          = <размер_хранилища_ГБ>
}

host {
  zone_id   = "<зона_доступности>"
  subnet_id = "<идентификатор_подсети>"
  type      = "mongoinfra"
}

host {
  zone_id   = "<зона_доступности>"
  subnet_id = "<идентификатор_подсети>"
  type      = "mongoinfra"
}

host {
  zone_id   = "<зона_доступности>"
  subnet_id = "<идентификатор_подсети>"
  type      = "mongoinfra"
}
    Для расширенного шардирования кластера с использованием хостов MONGOS и MONGOCFG
    resources_mongos {
  resource_preset_id = "<класс_хоста>"
  disk_type_id       = "<тип_диска>"
  disk_size          = <размер_хранилища_ГБ>
}

resources_mongocfg {
  resource_preset_id = "<класс_хоста>"
  disk_type_id       = "<тип_диска>"
  disk_size          = <размер_хранилища_ГБ>
}

host {
  zone_id   = "<зона_доступности>"
  subnet_id = "<идентификатор_подсети>"
  type      = "mongos"
}

host {
  zone_id   = "<зона_доступности>"
  subnet_id = "<идентификатор_подсети>"
  type      = "mongos"
}

host {
  zone_id   = "<зона_доступности>"
  subnet_id = "<идентификатор_подсети>"
  type      = "mongocfg"
}

host {
  zone_id   = "<зона_доступности>"
  subnet_id = "<идентификатор_подсети>"
  type      = "mongocfg"
}

host {
  zone_id   = "<зона_доступности>"
  subnet_id = "<идентификатор_подсети>"
  type      = "mongocfg"
}

  4. Проверьте корректность настроек.

    1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

    2. Выполните команду:

      terraform validate

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  5. Подтвердите изменение ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Чтобы включить шардирование кластера, воспользуйтесь методом REST API enableSharding для ресурса Cluster или вызовом gRPC API ClusterService/EnableSharding и передайте в запросе идентификатор кластера в параметре clusterId.

Идентификатор кластера можно получить со списком кластеров в каталоге.

Получить список шардов в кластере

  1. Перейдите на страницу каталога и выберите сервис Managed Service for MongoDB.
  2. Нажмите на имя нужного кластера и выберите вкладку Шарды.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы получить список шардов в кластере, выполните команду:

yc managed-mongodb shards list --cluster-name <имя_кластера>

Результат:

+------+
| NAME |
+------+
| rs01 |
| rs02 |
+------+

Имя кластера можно запросить со списком кластеров в каталоге.

Чтобы получить список шардов кластера, воспользуйтесь методом REST API listShards для ресурса Cluster или вызовом gRPC API ClusterService/ListShards и передайте в запросе идентификатор кластера в параметре clusterId.

Идентификатор кластера можно получить со списком кластеров в каталоге.

Создать шард

Количество шардов в кластерах Managed Service for MongoDB ограничено квотами на количество CPU и объем памяти, которые доступны кластерам БД в вашем облаке. Чтобы проверить используемые ресурсы, откройте страницу Квоты и найдите блок Yandex Managed Service for MongoDB.

  1. Перейдите на страницу каталога и выберите сервис Managed Service for MongoDB.
  2. Нажмите на имя нужного кластера и выберите вкладку Шарды.
  3. Нажмите кнопку Создать шард.
  4. Укажите имя шарда и добавьте нужное количество хостов.
  5. Нажмите кнопку Создать шард.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать шард, выполните команду (в примере приведены не все доступные параметры):

yc managed-mongodb shards add <имя_нового_шарда> \
  --cluster-name=<имя_кластера> \
  --host zone-id=<зона_доступности>,`
    `subnet-name=<имя_подсети>

Где:

  1. Убедитесь, что установленная версия провайдера — 0.90 или выше:

    terraform version

    Пример результата:

    Terraform v1.4.6
on darwin_arm64
+ provider registry.terraform.io/yandex-cloud/yandex v0.91.0
    Если версия ниже

    Обновите версию провайдера:

    1. В каталоге с конфигурационным файлом .tf добавьте аутентификационные данные в переменные окружения.

    2. В этом же каталоге инициализируйте провайдера с новой версией, указанного в конфигурационном файле:

      terraform init -upgrade

    3. Проверьте версию провайдера:

      terraform version

  2. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

    О создании такого файла читайте в разделе Создание кластера.

  3. Добавьте к описанию кластера Managed Service for MongoDB нужное количество блоков host с типом MONGOD в параметре type и именем шарда в параметре shard_name:

    resource "yandex_mdb_mongodb_cluster" "<имя_кластера>" {
  ...
  host {
    zone_id    = "<зона_доступности>"
    subnet_id  = "<идентификатор_подсети>"
    type       = "mongod"
    shard_name = "<имя_шарда>"
  }
}

  4. Проверьте корректность настроек.

    1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

    2. Выполните команду:

      terraform validate

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  5. Подтвердите изменение ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Чтобы создать шард, воспользуйтесь методом REST API addShard для ресурса Cluster или вызовом gRPC API ClusterService/AddShard и передайте в запросе:

  • Идентификатор кластера в параметре clusterId.
  • Имя шарда в параметре shardName.
  • Конфигурацию хоста для шарда в массиве параметров hostSpecs.

Имя шарда можно получить со списком шардов в кластере, идентификатор кластера — со списком кластеров в каталоге.

Удалить шард

Вы можете удалить шард из кластера MongoDB, если это не единственный шард. Чтобы заменить единственный шард, сначала создайте новый шард, а затем удалите старый.

Примечание

Для удаляемого шарда будет вызвана операция removeShard, которая безопасно переносит данные на оставшиеся шарды.

  1. Перейдите на страницу каталога и выберите сервис Managed Service for MongoDB.
  2. Нажмите на имя нужного кластера и выберите вкладку Шарды.
  3. Нажмите на значок в строке нужного шарда и выберите пункт Удалить.
  4. В открывшемся окне нажмите кнопку Удалить.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы удалить шард из кластера, выполните команду:

yc managed-mongodb shards delete <имя_шарда> \
  --cluster-name=<имя_кластера>

Имя шарда можно запросить со списком шардов в кластере, имя кластера — со списком кластеров в каталоге.

  1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

    О создании такого файла читайте в разделе Создание кластера.

  2. Удалите из описания кластера Managed Service for MongoDB все блоки host, которые относятся к шарду.

  3. Проверьте корректность настроек.

    1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

    2. Выполните команду:

      terraform validate

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Введите слово yes и нажмите Enter.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Чтобы удалить шард, воспользуйтесь методом REST API deleteShard для ресурса Cluster или вызовом gRPC API ClusterService/DeleteShard и передайте в запросе:

Предыдущая
Управление пользователями БД
Следующая
Переключение первичной реплики