Анализ производительности и оптимизация MongoDB

В этом руководстве вы узнаете:

• как использовать инструменты диагностики производительности и мониторинга;
• как устранять обнаруженные проблемы.

Снижение производительности кластера Managed Service for MongoDB чаще всего происходит по одной из следующих причин:

• высокая утилизация CPU и дискового I/O,
• неэффективное выполнение запросов в MongoDB,
• блокировки,
• недостаток дискового пространства.

Ниже приводятся советы по диагностике и решению этих проблем.

Перед началом работыПеред началом работы

1. Установите на внешнем хосте, имеющем сетевой доступ к хосту MongoDB (см. Предварительная настройка для подключения к кластеру MongoDB), утилиты получения данных о производительности MongoDB mongostat и mongotop.
2. Определите, для каких баз данных нужно выявить проблемы.
3. Создайте пользователя MongoDB с ролью mdbMonitor для этих баз. Это необходимо для использования утилит mongostat и mongotop.

Диагностика дефицита ресурсовДиагностика дефицита ресурсов

Если какой-то из ресурсов CPU и дискового I/O «вышел на плато» — постоянно росший до этого момента график остановился на одном уровне — скорее всего, соответствующий ресурс стал дефицитным и это привело к падению производительности. Чаще всего это происходит потому, что использование ресурса достигло лимита.

В большинстве случаев высокая утилизация CPU и высокие Disk IO связаны с неоптимальными индексами или большой нагрузкой на хосты.

Начните диагностику с выяснения характера нагрузки и определения проблемных коллекций. Воспользуйтесь встроенными утилитами мониторинга MongoDB. Далее проанализируйте производительность конкретных запросов с помощью логов или данных профилировщика.

Обратите внимание на запросы:

• Не использующие индексы (planSummary: COLLSCAN). Такие запросы могут увеличивать как потребление I/O (чтений с диска будет больше), так и CPU (данные сжаты по умолчанию, для них требуется декомпрессия). Если необходимый индекс есть, но БД его не использует, можно форсировать использование индекса с помощью hint.
• С большими значениями параметра docsExamined (количества просканированных документов). Это может означать, что текущие индексы неэффективны или требуются дополнительные.

В момент падения производительности проблему можно диагностировать в реальном времени с помощью списка текущих запросов:

См. также примеры в документации MongoDB.

Устранение проблем с дефицитом ресурсовУстранение проблем с дефицитом ресурсов

Попробуйте оптимизировать найденные запросы. Если нагрузка все еще высокая или оптимизировать нечего, остается только поднять класс хостов.

Диагностика неэффективного выполнения запросовДиагностика неэффективного выполнения запросов

Чтобы выявить проблемные запросы в MongoDB:

• Изучите логи. Особое внимание обратите:

  • Для запросов на чтение — на поле responseLength (в логах отображается как reslen).
  • Для запросов на запись — на количество затронутых документов.
    В логах кластера они выводятся в полях nModified, keysInserted, keysDeleted. На странице мониторинга кластера изучите графики Documents affected on primary, Documents affected on secondaries, Documents affected per host.

• Изучите данные профилировщика. Выведите долго выполняемые запросы (регулируется настройкой СУБД slowOpThreshold).

Устранение проблем с неэффективными запросамиУстранение проблем с неэффективными запросами

Каждый отдельный запрос можно проанализировать с точки зрения его плана (query plan). Подробнее об этом можно прочитать в документации MongoDB:

• Руководство по анализу запросов.
• Справка по функции db.collection.explain.

Изучите графики на странице мониторинга кластера:

• Index size on primary, top 5 indexes,
• Scan and order per host,
• Scanned / returned.

Для ускорения выборок используйте индексы.

Чтобы оптимизировать запросы на чтение, используйте частичное извлечение (projection). Во многих случаях доставать документ целиком не нужно, достаточно нескольких его полей.

Если не удается ни оптимизировать найденные запросы, ни отказаться от них, поднимите класс хостов.

Диагностика наличия блокировок (locks)Диагностика наличия блокировок (locks)

Причиной низкой производительности запросов могут быть блокировки (locks).

MongoDB не предоставляет подробной информации по блокировкам. В частности, есть только косвенные способы узнать, чем заблокирован конкретный запрос:

• Обратите внимание на большие или растущие значения db.serverStatus().metrics.operation.writeConflicts — они могут говорить о высоком write contention на каких-то документах.

• Изучите большие или растущие значения на графике Write conflicts per hosts на странице мониторинга кластера.

• В момент падения производительности внимательно изучите список текущих запросов:

  Запросы всех пользователей

  Запросы текущего пользователя

  Для выполнения таких запросов пользователю необходима роль mdbMonitor.

  • Найдите запросы, которые удерживают эксклюзивные блокировки, например:

    db.currentOp({'$or': [{'locks.Global': 'W'}, {'locks.Database': 'W'}, {'locks.Collection': 'W'} ]}).inprog
    

  • Найдите запросы, ожидающие блокировок (в поле timeAcquiringMicros будет видно время ожидания):

    db.currentOp({'waitingForLock': true}).inprog
    db.currentOp({'waitingForLock': true, 'secs_running' : { '$gt' : 1 }}).inprog
    

  • Найдите запросы, которые удерживают эксклюзивные блокировки, например:

    db.currentOp({"$ownOps": true, '$or': [{'locks.Global': 'W'}, {'locks.Database': 'W'}, {'locks.Collection': 'W'} ]}).inprog
    

  • Найдите запросы, ожидающие блокировок (в поле timeAcquiringMicros будет видно время ожидания):

    db.currentOp({"$ownOps": true, 'waitingForLock': true}).inprog
    db.currentOp({"$ownOps": true, 'waitingForLock': true, 'secs_running' : { '$gt' : 1 }}).inprog
    

• В логах и профилировщике обратите внимание на следующее:

  • запросы, долго ожидавшие получения блокировок, будут иметь большие значения timeAcquiringMicros;
  • запросы, которые конкурировали за одни и те же документы, будут иметь большие значения writeConflicts.

Обратитесь к официальной документации MongoDB за информацией о том, какие блокировки выполняют стандартные клиентские и административные запросы.

Устранение проблем с блокировкамиУстранение проблем с блокировками

Найденные блокировки указывают на неоптимизированные запросы. Попробуйте оптимизировать проблемные запросы.

Диагностика недостатка дискового пространстваДиагностика недостатка дискового пространства

Если кластер демонстрирует низкую производительность в сочетании с малым объемом свободного дискового пространства, возможно, для одного или нескольких хостов кластера активировался режим только чтение.

Объем занятого пространства в хранилище отображается на странице мониторинга кластера на графиках Disk space usage per host, top 5 hosts.

Чтобы отслеживать степень заполнения хранилища на хостах кластера, настройте алерт.

Устранение проблем с дисковым пространствомУстранение проблем с дисковым пространством

Рекомендации по устранению проблем приведены в разделе Поддержка работоспособности кластера.