Связаться с намиПодключиться

HTTPS-тест со ступенчатой нагрузкой с помощью Pandora

Статья создана
Обновлена 15 ноября 2024 г.

Load Testing можно использовать для тестирования сервиса со ступенчатой нагрузкой по протоколу HTTPS с помощью генератора нагрузки Pandora.

Чтобы провести нагрузочное тестирование:

  1. Подготовьте облако к работе.
  2. Подготовьте цель тестирования.
  3. Подготовьте инфраструктуру.
  4. Создайте агент.
  5. Подготовьте файл с тестовыми данными.
  6. Создайте и запустите тест.

Если созданные ресурсы вам больше не нужны, удалите их.

Подготовьте облако к работе

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
  2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Если агент размещается на платформе Yandex Cloud, взимается плата за вычислительные ресурсы (см. тарифы Yandex Compute Cloud).

На стадии Preview использование сервиса Load Testing не тарифицируется.

Подготовьте цель тестирования

В качестве цели тестирования создайте виртуальную машину из публичного образа Linux.

В этом примере будет тестироваться сервис с внутренним IP-адресом 172.17.0.10 в той же подсети, где будет размещен агент.

Убедитесь, что для доступа к сервису по протоколу HTTPS используется порт по умолчанию — 443.

Load Testing также можно использовать для нагрузочного тестирования сервиса, доступного публично или находящегося в другой подсети и группе безопасности относительно агента.

Для сервиса, доступного публично, разрешите входящий HTTPS-трафик на порт 443.

Для сервиса, находящегося в другой подсети и группе безопасности относительно агента, создайте правило для входящего HTTPS-трафика на порт 443 в группе безопасности, где размещается цель тестирования.

Подготовьте инфраструктуру

Создайте сервисный аккаунт

  1. Создайте сервисный аккаунт sa-loadtest в каталоге, где будет размещаться агент, с которого будет подаваться нагрузка.
  2. Назначьте сервисному аккаунту роль loadtesting.generatorClient.

Настройте сеть

Создайте и настройте NAT-шлюз в подсети, где размещается цель тестирования и будет размещен агент. Это обеспечит доступ агента к сервису Load Testing.

Настройте группы безопасности

  1. Настройте группу безопасности агента тестирования:

    1. Создайте группу безопасности агента agent-sg.
    2. Добавьте правила:

      1. Правило для исходящего HTTPS-трафика к публичному API Load Testing:

        • Диапазон портов: 443.
        • Протокол: TCP.
        • Назначение: CIDR.
        • CIDR блоки: 0.0.0.0/0.

        Это позволит подключить агент к сервису Load Testing, чтобы управлять тестами из интерфейса и получать результаты тестирования.

      2. Правило для входящего SSH-трафика:

        • Диапазон портов: 22.
        • Протокол: TCP.
        • Назначение: CIDR.
        • CIDR блоки: 0.0.0.0/0.

        Это позволит подключаться к агенту по протоколу SSH и управлять тестами из консоли или собирать отладочную информацию.

      3. Правило для исходящего трафика при подаче нагрузки к цели тестирования:

        • Диапазон портов: 0-65535.
        • Протокол: Любой.
        • Назначение: Группа безопасности.
          Выберите Из списка. Укажите группу безопасности, в которой находится нужная цель тестирования.

        Создайте такое правило для каждой цели тестирования с уникальной группой безопасности.

  2. Настройте группу безопасности цели тестирования:

    1. Создайте группу безопасности цели тестирования load-target-sg.

    2. Добавьте правило для входящего трафика при подаче нагрузки к цели тестирования:

      • Диапазон портов: 0-65535.
      • Протокол: Любой.
      • Назначение: Группа безопасности.
        Выберите Из списка. Укажите группу безопасности, в которой находится нужная цель тестирования.

      Это правило позволит агентам подавать нагрузку на эту цель или подключать дополнительные средства мониторинга.

Создайте агент тестирования

  1. Если у вас еще нет пары SSH-ключей, создайте их.

  2. Создайте агент:

    1. В консоли управления выберите каталог, в котором будет создан агент.

    2. В списке сервисов выберите Load Testing.

    3. На вкладке Агенты нажмите кнопку Создать агент.

    4. Укажите имя агента, например agent-008.

    5. Укажите ту же зону доступности, в которой находится цель тестирования.

    6. В блоке Агент:

    7. В блоке Доступ укажите данные для доступа к агенту:

      • Выберите сервисный аккаунт sa-loadtest.

      • В поле Логин введите имя пользователя.

        Внимание

        Не используйте логин root или другие имена, зарезервированные операционной системой. Для выполнения операций, требующих прав суперпользователя, используйте команду sudo.

      • В поле SSH-ключ вставьте содержимое файла открытого ключа.

    8. Нажмите Создать.

    9. Дождитесь завершения процесса создания виртуальной машины. Статус агента должен смениться на Ready for test.

      Примечание

      Если процесс создания агента остановился на статусе Initializing connection, проверьте выполнение условий:

      • У агента есть доступ к loadtesting.api.cloud.yandex.net:443 и публичный IP-адрес.
      • В целевой подсети настроен NAT-шлюз.
      • У сервисного аккаунта, который назначен агенту, есть необходимые роли.

  3. Привяжите публичный IP-адрес к агенту для доступа по протоколу SSH:

    1. В консоли управления выберите каталог, в котором размещен агент.
    2. Выберите сервис Compute Cloud.
    3. Выберите ВМ с именем agent-008.
    4. В блоке Сетевой интерфейс в правом верхнем углу нажмите и выберите Добавить публичный IP-адрес.
    5. В открывшемся окне:
      • В поле Публичный адрес выберите получение адреса Автоматически.
      • Нажмите Добавить.

Подготовьте файл с тестовыми данными

  1. Сформируйте тестовые данные в формате URI:

    [Host: 172.17.0.10]
[Connection: Close]
/ index
/test?param1=1&param2=2 get_test

    Параметр Host определяет IP-адрес цели тестирования. Параметр Connection: Close указывает, будет ли соединение закрываться после каждого запроса. Для приложения и генератора нагрузки такой режим тяжелее. В случае, если нет необходимости закрывать соединения, выберите значение Keep-Alive.

    Также указаны два запроса, отмеченные тегами index и get_test. Генератор будет повторять их по очереди в пределах заданного профиля нагрузки.

  2. Сохраните тестовые данные в файл data.uri.

Создайте и запустите тест

  1. В консоли управления выберите сервис Load Testing.

  2. На панели слева выберите Тесты. Нажмите Создать тест.

  3. В параметре Агенты выберите агент agent-008.

  4. В блоке Прикрепленные файлы нажмите Выбрать файлы и выберите сохраненный ранее файл data.uri.

  5. В блоке Настройки теста выберите способ настройки: Форма или Конфигурационный файл.

  6. В зависимости от выбранного способа задайте параметры теста:

    1. В поле Генератор нагрузки выберите PANDORA.

    2. В поле Адрес цели укажите IP-адрес тестируемого сервиса: 172.17.0.10.

    3. В поле Порт цели укажите 443 (порт для HTTPS по умолчанию). Разрешите использовать защищенное соединение.

    4. В поле Тестирующие потоки укажите значение 5000.

      Это означает, что генератор нагрузки сможет параллельно обрабатывать 5000 операций: создать 5000 соединений или ждать 5000 ответов от сервиса одновременно.

      Совет

      Для большинства тестов хватит 1000–10 000 потоков.

      Использование большего количества тестирующих потоков задействует больше ресурсов виртуальной машины, на которой запущен агент. Также существует ограничение Compute Cloud на 50 000 одновременных соединений с ВМ.

    5. В меню Тип нагрузки выберите RPS.

    6. Нажмите Профиль нагрузки и введите описание:

      • Профиль 1 — step.
      • От — 1000.
      • До — 5000.
      • Шаг — 1000.
      • Длительность — 120s.

      Это указание генератору наращивать нагрузку от 1000 до 5000 запросов в секунду с шагом в 1000 запросов, с длительностью каждого шага 120 секунд.

    7. В поле Тип запросов выберите URI.

    8. В поле Прикрепленные файлы выберите Прикрепленный файл.

    9. В меню Автостоп нажмите Автостоп и введите описание:

      • Тип автостопа 1 — QUANTILE.
      • Квантиль — 75.
      • Лимит времени ответов — 100ms.
      • Размер окна — 10s.

      Этот критерий остановит тест, если в течение 10 секунд 75 процентиль превысит 100 миллисекунд (в течение 10 секунд время обработки 25% запросов превысит 100 миллисекунд).

    10. Укажите еще один автостоп:

      • Тип автостопа 2 — INSTANCES.
      • Предел — 90%.
      • Размер окна — 60s.

      Этот критерий остановит тест, если в течение 60 секунд будет занято 90% тестирующих потоков.

      При увеличении нагрузки ожидается, что в какой-то момент тестируемая система начнет деградировать. Дальнейшее повышение нагрузки приведет к увеличению времени ответа или росту количества ошибок. Чтобы избежать существенного увеличения времени тестирования, обязательно выставляйте в таких тестах критерий завершения — Автостоп.

    11. В поле Время принудительной остановки теста укажите время, после которого сработает автостоп, если тест не будет остановлен по другим причинам. Значение параметра должно быть немного больше ожидаемой продолжительности теста.

    12. В блоке Информация о тесте укажите имя, описание и номер тестируемой версии. Это поможет сделать отчет читаемым.

    1. В поле для ввода конфигурации введите настройки тестирующих потоков в формате yaml:

      pandora:
  enabled: true
  package: yandextank.plugins.Pandora
  config_content:
    pools:
      - id: HTTP
        gun:
          type: http # Протокол.
          target: 172.17.0.10:443 # IP-адрес цели тестирования.
          ssl: true
        ammo:
          type: uri
          file: data.uri
        result:
          type: phout
          destination: ./phout.log
        rps:
          - duration: 120s # Время теста.
            type: step # Тип нагрузки.
            from: 1000
            to: 5000
            step: 1000
        startup:
          type: once
          times: 5000 # Количество тестирующих потоков.
    log:
      level: error
    monitoring:
      expvar:
        enabled: true
        port: 1234
autostop: # Автостоп.
  enabled: true
  package: yandextank.plugins.Autostop
  autostop:
    - limit(5m) # Обязательно укажите предельное время работы теста. 
    - quantile(75,100ms,10s) # Завершение теста, если в течение 10 секунд 75 процентиль
                             # превысит 100 миллисекунд (в течение 10 секунд время
                             # обработки 25% запросов превысит 100 миллисекунд).
    - instances(90%,60s)  # Завершение теста, если в течение 60 секунд будет занято
                          # 90% тестирующих потоков.
core: {}
uploader:
  enabled: true
  package: yandextank.plugins.DataUploader
  job_name: '[example][pandora][step]'
  job_dsc: 'example'
  ver: '0.5.5'
  api_address: loadtesting.api.cloud.yandex.net:443

    При увеличении нагрузки ожидается, что в какой-то момент тестируемая система начнет деградировать. Дальнейшее повышение нагрузки приведет к увеличению времени ответа или росту количества ошибок. Чтобы избежать существенного увеличения времени тестирования, обязательно выставляйте в таких тестах критерий завершения — Автостоп.

    Совет

    Посмотрите пример файла конфигурации. Также пример файла конфигурации можно посмотреть в уже имеющихся тестах.

  7. Нажмите Создать.

После этого конфигурация пройдет проверки, и агент начнет нагружать тестируемый сервис.

Чтобы наблюдать за результатами выполнения тестирования, выберите созданный тест и перейдите на вкладку Результаты теста.

Как удалить созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

  1. Удалите агент.
  2. Удалите таблицу маршрутизации.
  3. Удалите NAT-шлюз.
Предыдущая
HTTPS-тест с постоянной нагрузкой с помощью Phantom
Следующая
Нагрузочное тестирование с нескольких агентов