Связаться с намиПодключиться

Получение статистики запросов к объектам Object Storage с использованием Yandex Query

Статья создана
Обновлена 22 октября 2024 г.

Из этого руководства вы узнаете, как получить статистику запросов к объектам Yandex Object Storage с использованием Yandex Query. Вы создадите бакет и настроите логирование в Object Storage, создадите соединение в Query и получите статистику с помощью SQL-запросов.

Чтобы получить статистику:

  1. Подготовьте облако к работе.
  2. Создайте бакеты.
  3. Включите механизм логирования.
  4. Настройте подключения в Query.
  5. Получите статистику запросов.

Если созданные ресурсы вам больше не нужны, удалите их.

Подготовьте облако к работе

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
  2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

В стоимость поддержки инфраструктуры входят:

Создайте сервисный аккаунт

С помощью сервисного аккаунта Query сможет отправлять запросы к Object Storage.

Создайте сервисный аккаунт с именем yq-sa и назначьте ему роли storage.viewer и yq.editor.

Создайте бакеты

Создайте два бакета: object-bucket и logs-bucket. Один бакет будет служить источником данных, другой — хранилищем логов.

Чтобы создать бакет:

  1. В консоли управления выберите каталог, в котором хотите создать бакет.
  2. В списке сервисов выберите Object Storage.
  3. Справа сверху нажмите кнопку Создать бакет.
  4. В поле Имя укажите имя бакета object-bucket.
  5. Нажмите кнопку Создать бакет.

Аналогичным образом создайте бакет с именем logs-bucket.

Включите механизм логирования

Чтобы получать информацию о запросах к объектам, включите механизм логирования действий с бакетом:

  1. В консоли управления выберите каталог, в котором вы создали бакеты.

  2. В списке сервисов выберите Object Storage.

  3. Выберите бакет object-bucket.

  4. Включите механизм логирования:

    1. На панели слева выберите Настройки.
    2. Перейдите на вкладку Логирование.
    3. Включите опцию Запись логов.
    4. В поле Бакет для хранения логов выберите бакет logs-bucket.
    5. Нажмите кнопку Сохранить.

  5. На панели слева выберите Объекты и загрузите объекты. Например, пару простых текстовых файлов.

Настройте подключения в Query

Чтобы получать данные из Object Storage, создайте соединение и привязку:

  1. Перейдите в сервис Query.

  2. На панели слева выберите Соединения.

  3. Нажмите кнопку Создать.

  4. Введите имя соединения, например bucket-logs-connection.

  5. Выберите тип соединения Object Storage и укажите Параметры типа соединения.

  6. В поле Аутентификация бакета выберите Приватный и задайте параметры:

    • Облако и каталог — выберите облако и каталог, в которых вы создали бакеты.
    • Бакет — logs-bucket.
    • Сервисный аккаунт — yq-sa.

  7. Нажмите кнопку Проверить. После успешной проверки нажмите кнопку Создать.

  8. Нажмите кнопку Автоматически заполнить настройки для и в выпадающем списке выберите Object Storage Access Logs.

    1. Введите имя привязки, например bucket-logs-binding.
    2. В поле Путь укажите путь к данным статистики внутри бакета. Если данные статистики хранятся в корневой директории бакета, укажите /.
    3. Нажмите кнопку Предпросмотр для проверки правильности настроек.
    4. Нажмите кнопку Создать для завершения создания привязки.

Получите статистику запросов

Используйте соединение, чтобы создать SQL-запросы и получить статистику запросов к объектам Object Storage:

  1. Перейдите в сервис Query.

  2. На панели слева выберите Соединения.

  3. Выберите соединение bucket-logs-connection.

  4. В редакторе справа введите запрос:

    SELECT `timestamp`, request_id, handler, object_key, status, request_time
FROM `bucket-logs-binding`
LIMIT 100;

    Такой запрос вернет 100 записей со статистикой запросов к объектам Object Storage. Лимит записей можно снять, а результаты фильтровать с помощью WHERE.

  5. Нажмите кнопку Выполнить и посмотрите результат.

Примеры запросов

Поиск запросов по коду ответа

SELECT `timestamp`, request_id, handler, object_key, status, request_time
FROM `bucket-logs-binding`
WHERE status >= 400

Поиск долго обрабатываемых запросов

SELECT `timestamp`, request_id, handler, object_key, status, request_time
FROM `bucket-logs-binding`
WHERE request_time >= 1000

Среднее время обработки запросов

В примере используется агрегатная функция AVG.

SELECT AVG(request_time) AS `avg` FROM `bucket-logs-binding`

Как удалить созданные ресурсы

Чтобы остановить работу инфраструктуры и перестать платить за созданные ресурсы:

  1. Удалите привязку.
  2. Удалите соединение.
  3. Удалите объекты в бакетах.
  4. Удалите бакеты.
Предыдущая
Получение статистики посещения сайта с использованием S3 Select
Следующая
Формирование отчета по ресурсной детализации расходов с использованием S3 Select