Сравнение результатов нагрузочных тестов
В данном сценарии вы настроите окружение для нагрузочного тестирования, проведете тесты и сравните результаты нагрузочных тестов.
В сценарии используется генератор нагрузки Pandora и простейший веб-сервис в качестве цели тестирования.
Чтобы провести нагрузочное тестирование и сравнить результаты тестов:
- Подготовьте облако к работе.
- Подготовьте инфраструктуру.
- Подготовьте цель тестирования.
- Создайте агент.
- Подготовьте файл с тестовыми данными.
- Запустите тест.
- Перезапустите тест несколько раз.
- Сравните результаты.
Если созданные ресурсы вам больше не нужны, удалите их.
Подготовьте облако к работе
Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:
- Перейдите в консоль управления
, затем войдите в Yandex Cloud или зарегистрируйтесь. - На странице Yandex Cloud Billing
убедитесь, что у вас подключен платежный аккаунт, и он находится в статусеACTIVE
илиTRIAL_ACTIVE
. Если платежного аккаунта нет, создайте его и привяжите к нему облако.
Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака
Подробнее об облаках и каталогах.
Необходимые платные ресурсы
Если агент размещается на платформе Yandex Cloud, взимается плата за вычислительные ресурсы (см. тарифы Yandex Compute Cloud).
На стадии Preview использование сервиса Load Testing не тарифицируется.
Подготовьте инфраструктуру
Создайте сервисный аккаунт
- Создайте сервисный аккаунт
sa-loadtest
в каталоге, где будет размещаться агент, с которого будет подаваться нагрузка. - Назначьте сервисному аккаунту роль
loadtesting.generatorClient
.
Настройте сеть
Создайте и настройте NAT-шлюз в подсети, где будет размещаться цель тестирования и будет размещен агент. Это обеспечит доступ агента к сервису Load Testing.
Настройте группы безопасности
-
Настройте группу безопасности агента тестирования:
- Создайте группу безопасности агента
agent-sg
. - Добавьте правила:
-
Правило для исходящего HTTPS-трафика к публичному API Load Testing:
- Диапазон портов:
443
. - Протокол:
TCP
. - Назначение:
CIDR
. - CIDR блоки:
0.0.0.0/0
.
Это позволит подключить агент к сервису Load Testing, чтобы управлять тестами из интерфейса и получать результаты тестирования.
- Диапазон портов:
-
Правило для входящего SSH-трафика:
- Диапазон портов:
22
. - Протокол:
TCP
. - Назначение:
CIDR
. - CIDR блоки:
0.0.0.0/0
.
Это позволит подключаться к агенту по протоколу SSH и управлять тестами из консоли или собирать отладочную информацию.
- Диапазон портов:
-
Правило для исходящего трафика при подаче нагрузки к цели тестирования:
- Диапазон портов:
0-65535
. - Протокол:
Любой
. - Назначение:
Группа безопасности
.
ВыберитеИз списка
. Укажите группу безопасности, в которой находится нужная цель тестирования.
Создайте такое правило для каждой цели тестирования с уникальной группой безопасности.
- Диапазон портов:
-
- Создайте группу безопасности агента
-
Настройте группу безопасности цели тестирования:
-
Создайте группу безопасности цели тестирования
load-target-sg
. -
Добавьте правило для входящего трафика при подаче нагрузки к цели тестирования:
- Диапазон портов:
0-65535
. - Протокол:
Любой
. - Назначение:
Группа безопасности
.
ВыберитеИз списка
. Укажите группу безопасности, в которой находится нужная цель тестирования.
Это правило позволит агентам подавать нагрузку на эту цель или подключать дополнительные средства мониторинга.
- Диапазон портов:
-
Подготовьте цель тестирования
Чтобы подготовить цель тестирования:
-
Создайте ВМ из публичного образа Linux:
- В качестве имени задайте
load-target
. - В качестве логина укажите, например,
ycuser
. - Укажите группу безопасности
load-target-sg
в блоке сетевых настроек.
- В качестве имени задайте
-
Подключитесь к ВМ по SSH, выполнив комманду:
ssh ycuser@<публичный_IP-адрес_ВМ>
-
Создайте файл веб-сервиса, выполнив:
mkdir app cd app nano app.py
-
Скопируйте в файл веб-сервиса следующий код:
from flask import Flask, make_response from flask_cors import CORS import os app = Flask(__name__) CORS(app) @app.route('/') def index(): res = make_response({"message":"Root URL"}, status_code=200) return res @app.route('/test') def get_test(): res = make_response({"message":"Get test URL"}, status_code=200) return res # Run application if __name__ == '__main__': app.run(host='0.0.0.0', debug=False, port=443)
-
Установите необходимые пакеты:
pip install flask flask-cors
-
Запустите сервис:
python3 app.py
Сервис будет ожидать запросы на порт 443. Убедитесь что порт открыт и сконфигурирован для HTTPS-запросов.
Создайте агент тестирования
-
Если у вас еще нет пары SSH-ключей, создайте их.
-
Создайте агент:
Консоль управления-
В консоли управления
выберите каталог, в котором будет создан агент. -
В списке сервисов выберите Load Testing.
-
На вкладке Агенты нажмите кнопку Создать агент.
-
Укажите имя агента, например
agent-008
. -
Укажите ту же зону доступности, в которой находится цель тестирования.
-
В блоке Агент:
- Выберите подходящий тип агента. Подробнее см. в разделе Производительность агентов.
- Укажите подсеть, в которой находится цель тестирования. В подсети должен быть создан и настроен NAT-шлюз.
- Если вам доступны группы безопасности, выберите заранее настроенную группу безопасности агента.
-
В блоке Доступ укажите данные для доступа к агенту:
-
Выберите сервисный аккаунт
sa-loadtest
. -
В поле Логин введите имя пользователя.
Внимание
Не используйте логин
root
или другие имена, зарезервированные операционной системой. Для выполнения операций, требующих прав суперпользователя, используйте командуsudo
. -
В поле SSH-ключ вставьте содержимое файла открытого ключа.
-
-
Нажмите Создать.
-
Дождитесь завершения процесса создания виртуальной машины. Статус агента должен смениться на
Ready for test
.Примечание
Процесс создания агента может остановиться на статусе
Initializing connection
, если не выполнены условия:- У агента есть доступ к
loadtesting.api.cloud.yandex.net:443
и публичный IP-адрес. - В целевой подсети настроен NAT-шлюз.
- У сервисного аккаунта, который назначен агенту, есть необходимые роли.
- У агента есть доступ к
-
-
Привяжите публичный IP-адрес к агенту для доступа по протоколу SSH:
Консоль управления- В консоли управления
выберите каталог, в котором размещен агент. - Выберите сервис Compute Cloud.
- Выберите ВМ с именем
agent-008
. - В блоке Сетевой интерфейс в правом верхнем углу нажмите
и выберите Добавить публичный IP-адрес. - В открывшемся окне:
- В поле Публичный адрес выберите получение адреса Автоматически.
- Нажмите Добавить.
- В консоли управления
Подготовьте файл с тестовыми данными
-
Сформируйте тестовые данные в формате URI:
[Host: <внутренний_IP_адрес_цели_тестирования>] [Connection: Close] / index /test?param1=1¶m2=2 get_test
Обратите внимание на заголовок
Connection: Close
— каждое соединение будет закрываться после запроса. Для приложения и генератора нагрузки такой режим тяжелее. Если не нужно закрывать соединения, следует указать значениеKeep-Alive
.Также указаны два запроса, отмеченные тегами
index
иget_test
. Генератор будет повторять их по очереди в пределах заданного профиля нагрузки. -
Сохраните тестовые данные в файл
data.uri
.
Запустите тест
-
В консоли управления
выберите сервис Load Testing. -
На панели слева выберите
Тесты. Нажмите Создать тест. -
В параметре Агенты выберите агент
agent-008
. -
В блоке Прикрепленные файлы нажмите Выбрать файлы и выберите сохраненный ранее файл
data.uri
. -
В блоке Настройки теста выберите способ настройки: Форма или Конфигурационный файл.
-
В зависимости от выбранного способа задайте параметры теста:
ФормаКонфигурационный файл-
В поле Генератор нагрузки выберите PANDORA.
-
В поле Адрес цели укажите внутренний IP-адрес тестируемого сервиса.
-
В поле Порт цели укажите
443
(порт для HTTPS по умолчанию). Разрешите использовать защищенное соединение. -
В поле Тестирующие потоки укажите значение
5000
.Это означает, что генератор нагрузки сможет параллельно обрабатывать 5000 операций: создать 5000 соединений или ждать 5000 ответов от сервиса одновременно.
Совет
Для большинства тестов хватит 1000–10 000 потоков.
Использование большего количества тестирующих потоков задействует больше ресурсов виртуальной машины, на которой запущен агент. Также существует ограничение Compute Cloud на 50 000 одновременных соединений с ВМ.
-
В меню Тип нагрузки выберите
RPS
. -
Нажмите
Профиль нагрузки и введите описание:- Профиль 1 —
step
. - От —
1000
. - До —
5000
. - Шаг —
1000
. - Длительность —
120s
.
Это указание генератору наращивать нагрузку от 1000 до 5000 запросов в секунду с шагом в 1000 запросов, с длительностью каждого шага 120 секунд.
- Профиль 1 —
-
В поле Тип запросов выберите
URI
. -
В поле Прикрепленные файлы выберите Прикрепленный файл.
-
В меню Автостоп нажмите
Автостоп и введите описание:- Тип автостопа 1 —
QUANTILE
. - Квантиль —
75
. - Лимит времени ответов —
100ms
. - Размер окна —
10s
.
Этот критерий остановит тест, если в течение 10 секунд 75 процентиль превысит 100 миллисекунд (в течение 10 секунд время обработки 25% запросов превысит 100 миллисекунд).
- Тип автостопа 1 —
-
Укажите еще один автостоп:
- Тип автостопа 2 —
INSTANCES
. - Предел —
90%
. - Размер окна —
60s
.
Этот критерий остановит тест, если в течение 60 секунд будет занято 90% тестирующих потоков.
При увеличении нагрузки ожидается, что в какой-то момент тестируемая система начнет деградировать. Дальнейшее повышение нагрузки приведет к увеличению времени ответа или росту количества ошибок. Чтобы избежать существенного увеличения времени тестирования, обязательно выставляйте в таких тестах критерий завершения — Автостоп.
- Тип автостопа 2 —
-
В поле Время принудительной остановки теста укажите время, после которого сработает автостоп, если тест не будет остановлен по другим причинам. Значение параметра должно быть немного больше ожидаемой продолжительности теста.
-
В блоке Информация о тесте укажите имя, описание и номер тестируемой версии. Это поможет сделать отчет читаемым.
-
В поле для ввода конфигурации введите настройки тестирующих потоков в формате
yaml
:pandora: enabled: true package: yandextank.plugins.Pandora config_content: pools: - id: HTTP gun: type: http # Протокол. target: <внутренний_IP_адрес_цели_тестирования>:443 ssl: true ammo: type: uri file: data.uri result: type: phout destination: ./phout.log rps: - duration: 120s # Время теста. type: step # Тип нагрузки. from: 1000 to: 5000 step: 1000 startup: type: once times: 5000 # Количество тестирующих потоков. log: level: error monitoring: expvar: enabled: true port: 1234 autostop: # Автостоп. enabled: true package: yandextank.plugins.Autostop autostop: - limit (5m) # Обязательно укажите предельное время работы теста. - quantile(75,100ms,10s) # Завершение теста, если в течение 10 секунд 75 процентиль # превысит 100 миллисекунд (в течение 10 секунд время # обработки 25% запросов превысит 100 миллисекунд). - instances(90%,60s) # Завершение теста, если в течение 60 секунд будет занято # 90% тестирующих потоков. core: {} uploader: enabled: true package: yandextank.plugins.DataUploader job_name: '[example][pandora][step]' job_dsc: 'example' ver: '0.5.5' api_address: loadtesting.api.cloud.yandex.net:443
При увеличении нагрузки ожидается, что в какой-то момент тестируемая система начнет деградировать. Дальнейшее повышение нагрузки приведет к увеличению времени ответа или росту количества ошибок. Чтобы избежать существенного увеличения времени тестирования, обязательно выставляйте в таких тестах критерий завершения — Автостоп.
Совет
Посмотрите пример файла конфигурации. Также пример файла конфигурации можно посмотреть в уже имеющихся тестах.
-
-
Нажмите Создать.
После этого конфигурация пройдет проверки, и агент начнет нагружать тестируемый сервис.
Перезапустите тест
- По завершении теста справа вверху нажмите кнопку
Перезапустить. - На открывшейся странице создания теста загрузите тот же файл
data.uri
, который использовали при создании теста. - Нажмите Создать.
Повторите эти действия несколько раз, чтобы получить несколько завершенных тестов.
Сравните результаты
Чтобы сравнить результаты:
- На панели слева выберите Тесты и в таблице тестов выберите завершенные тесты, которые нужно сравнить.
- Внизу на всплывающей панели нажмите Добавить к сравнению.
- На панели слева выберите Сравнение и просмотрите совмещенные графики результатов нагрузочных тестов.
- Для сравнения результатов по конкретному запросу (например, по запросу
get_test
), выберите нужный запрос в выпадающем списке Case вверху страницы. - Сравнение результатов в табличном виде можно посмотреть на странице Таблицы.
Как удалить созданные ресурсы
Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать: