Yandex Cloud
Поиск
Связаться с намиПодключиться
  • Документация
  • Блог
  • Все сервисы
  • Статус работы сервисов
    • Популярные
    • Инфраструктура и сеть
    • Платформа данных
    • Контейнеры
    • Инструменты разработчика
    • Бессерверные вычисления
    • Безопасность
    • Мониторинг и управление ресурсами
    • Машинное обучение
    • Бизнес-инструменты
  • Все решения
    • По отраслям
    • По типу задач
    • Экономика платформы
    • Безопасность
    • Техническая поддержка
    • Каталог партнёров
    • Обучение и сертификация
    • Облако для стартапов
    • Облако для крупного бизнеса
    • Центр технологий для общества
    • Облако для интеграторов
    • Поддержка IT-бизнеса
    • Облако для фрилансеров
    • Обучение и сертификация
    • Блог
    • Документация
    • Контент-программа
    • Мероприятия и вебинары
    • Контакты, чаты и сообщества
    • Идеи
    • Истории успеха
    • Тарифы Yandex Cloud
    • Промоакции и free tier
    • Правила тарификации
  • Документация
  • Блог
Проект Яндекса
© 2025 ООО «Яндекс.Облако»
Практические руководства
    • Все руководства
    • Организация сине-зеленого и канареечного развертывания версий веб-сервиса
    • Автоматизация сборки образов с помощью Jenkins и Packer
    • Непрерывное развертывание контейнеризованных приложений с помощью GitLab
    • Тестирование приложений с помощью GitLab
    • Создание тестовых ВМ через GitLab CI
    • Интеграция GitLab с Tracker
    • Высокопроизводительные вычисления (HPC) на прерываемых ВМ
    • Нагрузочное тестирование gRPC-сервиса
    • HTTPS-тест с постоянной нагрузкой с помощью Phantom
    • HTTPS-тест со ступенчатой нагрузкой с помощью Pandora
    • HTTP-тест с нагрузкой по сценарию с помощью Pandora
    • Нагрузочное тестирование с нескольких агентов
    • Миграция результатов нагрузочного тестирования из OverLoad
    • Запуск внешних агентов для нагрузочного тестирования
    • Нагрузочный тест с помощью JMeter
    • Получение статистики запросов к объектам Object Storage с использованием Query
    • Получение количества запросов к объектам Object Storage
    • Вызов нагрузочного тестирования из GitLab CI
    • Развертывание GitLab Runner на виртуальной машине Compute Cloud
    • Сравнение результатов нагрузочных тестов

В этой статье:

  • Подготовьте облако к работе
  • Необходимые платные ресурсы
  • Создайте сервисный аккаунт
  • Создайте бакеты
  • Включите механизм логирования
  • Настройте подключения в Query
  • Получите статистику запросов
  • Примеры запросов
  • Как удалить созданные ресурсы
  1. Разработка и тестирование
  2. Получение статистики запросов к объектам Object Storage с использованием Query

Получение статистики запросов к объектам Yandex Object Storage с использованием Yandex Query

Статья создана
Yandex Cloud
Обновлена 6 марта 2025 г.
  • Подготовьте облако к работе
    • Необходимые платные ресурсы
    • Создайте сервисный аккаунт
  • Создайте бакеты
  • Включите механизм логирования
  • Настройте подключения в Query
  • Получите статистику запросов
    • Примеры запросов
  • Как удалить созданные ресурсы

Из этого руководства вы узнаете, как получить статистику запросов к объектам Yandex Object Storage с использованием Yandex Query. Вы создадите бакет и настроите логирование в Object Storage, создадите соединение в Query и получите статистику с помощью SQL-запросов.

Чтобы получить статистику:

  1. Подготовьте облако к работе.
  2. Создайте бакеты.
  3. Включите механизм логирования.
  4. Настройте подключения в Query.
  5. Получите статистику запросов.

Если созданные ресурсы вам больше не нужны, удалите их.

Подготовьте облако к работеПодготовьте облако к работе

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
  2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки инфраструктуры входят:

  • плата за хранение данных (см. тарифы Yandex Object Storage);
  • плата за объем считанных данных (см. тарифы Yandex Query).

Создайте сервисный аккаунтСоздайте сервисный аккаунт

С помощью сервисного аккаунта Query сможет отправлять запросы к Object Storage.

Создайте сервисный аккаунт с именем yq-sa и назначьте ему роли storage.viewer и yq.editor.

Создайте бакетыСоздайте бакеты

Создайте два бакета: object-bucket и logs-bucket. Один бакет будет служить источником данных, другой — хранилищем логов.

Чтобы создать бакет:

Консоль управления
  1. В консоли управления выберите каталог, в котором хотите создать бакет.
  2. В списке сервисов выберите Object Storage.
  3. Справа сверху нажмите кнопку Создать бакет.
  4. В поле Имя укажите имя бакета object-bucket.
  5. Нажмите кнопку Создать бакет.

Аналогичным образом создайте бакет с именем logs-bucket.

Включите механизм логированияВключите механизм логирования

Чтобы получать информацию о запросах к объектам, включите механизм логирования действий с бакетом:

Консоль управления
  1. В консоли управления выберите каталог, в котором вы создали бакеты.

  2. В списке сервисов выберите Object Storage.

  3. Выберите бакет object-bucket.

  4. Включите механизм логирования:

    1. На панели слева выберите Настройки.
    2. Перейдите на вкладку Логирование.
    3. Включите опцию Запись логов.
    4. В поле Бакет для хранения логов выберите бакет logs-bucket.
    5. Нажмите кнопку Сохранить.
  5. На панели слева выберите Объекты и загрузите объекты. Например, пару простых текстовых файлов.

Настройте подключения в QueryНастройте подключения в Query

Чтобы получать данные из Object Storage, создайте соединение и привязку:

Интерфейс Yandex Query
  1. Перейдите в сервис Query.

  2. На панели слева выберите Соединения.

  3. Нажмите кнопку Создать.

  4. Введите имя соединения, например bucket-logs-connection.

  5. Выберите тип соединения Object Storage и укажите Параметры типа соединения.

  6. В поле Аутентификация бакета выберите Приватный и задайте параметры:

    • Облако и каталог — выберите облако и каталог, в которых вы создали бакеты.
    • Бакет — logs-bucket.
    • Сервисный аккаунт — yq-sa.
  7. Нажмите кнопку Проверить. После успешной проверки нажмите кнопку Создать.

  8. Нажмите кнопку Автоматически заполнить настройки для и в выпадающем списке выберите Object Storage Access Logs.

    1. Введите имя привязки, например bucket-logs-binding.
    2. В поле Путь укажите путь к данным статистики внутри бакета. Если данные статистики хранятся в корневой директории бакета, укажите /.
    3. Нажмите кнопку Предпросмотр для проверки правильности настроек.
    4. Нажмите кнопку Создать для завершения создания привязки.

Получите статистику запросовПолучите статистику запросов

Используйте соединение, чтобы создать SQL-запросы и получить статистику запросов к объектам Object Storage:

Интерфейс Yandex Query
  1. Перейдите в сервис Query.

  2. На панели слева выберите Соединения.

  3. Выберите соединение bucket-logs-connection.

  4. В редакторе справа введите запрос:

    SELECT `timestamp`, request_id, handler, object_key, status, request_time
    FROM `bucket-logs-binding`
    LIMIT 100;
    

    Такой запрос вернет 100 записей со статистикой запросов к объектам Object Storage. Лимит записей можно снять, а результаты фильтровать с помощью WHERE.

  5. Нажмите кнопку Выполнить и посмотрите результат.

Примеры запросовПримеры запросов

Поиск запросов по коду ответаПоиск запросов по коду ответа

SELECT `timestamp`, request_id, handler, object_key, status, request_time
FROM `bucket-logs-binding`
WHERE status >= 400

Поиск долго обрабатываемых запросовПоиск долго обрабатываемых запросов

SELECT `timestamp`, request_id, handler, object_key, status, request_time
FROM `bucket-logs-binding`
WHERE request_time >= 1000

Среднее время обработки запросовСреднее время обработки запросов

В примере используется агрегатная функция AVG.

SELECT AVG(request_time) AS `avg` FROM `bucket-logs-binding`

Как удалить созданные ресурсыКак удалить созданные ресурсы

Чтобы остановить работу инфраструктуры и перестать платить за созданные ресурсы:

  1. Удалите привязку.
  2. Удалите соединение.
  3. Удалите объекты в бакетах.
  4. Удалите бакеты.

Была ли статья полезна?

Предыдущая
Нагрузочный тест с помощью JMeter
Следующая
Получение количества запросов к объектам Object Storage
Проект Яндекса
© 2025 ООО «Яндекс.Облако»