Регрессии нагрузочных тестов
Для каждого теста в Load Testing могут быть определены интегральные метрики. Они позволяют быстро оценить качество работы теста или тестируемого сервиса.
Используйте инструменты визуализации на странице Регрессии, чтобы создать для проведенных тестов графики зависимостей интегральных показателей от времени.
Виджеты с графиками регрессий, заголовки и пояснительные тексты находятся на дашборде регрессий. Он позволяет удобно представить информацию о нагрузочных тестах.
На дашборде можно задать графики регрессий с метриками для времени ответа, количества тестирующих потоков или RPS разладки.
В верхней части дашборда расположена шкала времени. На ней настраивается желаемый интервал для отображения графика регрессии. Над шкалой находится панель выбора длины интервала, а на ней — три вертикальные черты:
- Границы интервала — отмечены голубым.
- Текущий момент — отмечен красным.
Примечание
Значения метрик вне временного интервала на графиках регрессий не учитываются. Для крайних точек на графике линия тренда рисоваться не будет.
Виды регрессий
Время ответа: кумулятивные квантили
График отображает зависимость квантилей (более точно — перцентилей) разного уровня от времени.
Квантиль уровня N — время, в которое укладываются N% ответов. 50-й квантиль — медиана, 100-й квантиль — максимум.
Тестирующие потоки: количество
График отображает зависимость количества тестирующих потоков от времени.
Тестирующий поток — отдельный экземпляр генератора нагрузки. Обычно он также равен количеству соединений, установленных между агентом и тестируемым сервисом.
Точка разладки: RPS
График отображает зависимость RPS разладки от времени.
Пороги метрик регрессии
Для каждой метрики (линии) на графиках дашбордов регрессий можно добавить пороговое значение, превышение которого нужно считать аномальным. Области на графике, на которых превышены пороговые значения, подсвечиваются цветом линии соответствующей метрики.
Для конкретного теста, превышение порогов метрик также можно проверять с помощью команды check-regressions в CLI Yandex Cloud. Подробнее читайте в разделе Проверка превышения порогов метрик регрессий с помощью CLI.
Смотрите также
Создание дашборда регрессий.
Проверка превышения порогов метрик регрессий
Управление дашбордом регрессий