Регрессии нагрузочных тестов
У каждого теста, запущенного через сервис, можно определить некоторое количество интегральных метрик, таких как время ответа, количество ответов сервиса с ошибочными кодами, RPS разладки, и др. Интегральные метрики позволяют пользователю быстро оценить качество работы теста или самого тестируемого сервиса.
С помощью инструментов визуализации на странице Регрессии вы можете создать графики зависимостей интегральных показателей от времени для произвольного набора проведенных тестов.
Дашборды регрессий
Дашборд регрессий позволяет удобным образом скомпоновать информацию о серии нагрузочных тестов. Вы можете добавить на дашборд виджеты с графиками регрессий, заголовки и пояснительные тексты.
Шкала времени
На шкале времени, расположенной в верхней части станицы регрессий, настраивается интервал времени для отображения регрессии. На графике регрессии будут показаны только те значения метрик нагрузочных тестов, которые попадают в указанный интервал.
Важно
Значения метрик, выпадающие за рамки временного интервала, на графиках регрессий не учитываются совсем. Как следствие, для крайних точек на графике линия тренда к краю не будет рисоваться, даже если она видна при других значениях временного интервала.
Виды регрессий
Время ответа: кумулятивные квантили
График отображает зависимость квантилей (более точно — перцентилей) разного уровня от времени.
Квантиль уровня N — время, в которое укладываются N% ответов. 50-й квантиль — медиана, 100-й квантиль — максимум.
Тестирующие потоки: количество
График отображает зависимость количества тестирующих потоков от времени.
Тестирующий поток — отдельный экземпляр генератора нагрузки. Обычно он также равен количеству соединений, установленных между агентом и тестируемым сервисом.
Точка разладки: RPS
График отображает зависимость RPS разладки от времени.
Пороги метрик регрессии
Для каждой метрики (линии) на графиках дашбордов регрессий можно добавить пороговое значение, превышение которого нужно считать аномальным. Области на графике, на которых превышены пороговые значения, подсвечиваются цветом линии соответствующей метрики.
Для конкретного теста, превышение порогов метрик также можно проверять с помощью команды check-regressions в CLI Yandex Cloud. Подробнее читайте в разделе Проверка превышения порогов метрик регрессий с помощью CLI.
Смотрите также
Создание дашборда регрессий.
Проверка превышения порогов метрик регрессий