Чтение логов кластера через SQL

Yandex MPP Analytics for PostgreSQL предоставляет доступ к логам кластера непосредственно через SQL-запросы. Это позволяет анализировать логи с помощью стандартных SQL-инструментов: фильтровать, агрегировать и соединять данные с другими таблицами.

Как это работаетКак это работает

В базе данных postgres в схеме mdb_toolkit автоматически создается представление gp_log, которое объединяет логи мастер-узла и всех первичных сегментов кластера. Представление обновляется автоматически при изменении топологии кластера (расширение, восстановление из резервной копии, переключение мастера).

Перед началом работыПеред началом работы

Для чтения логов через SQL пользователю необходимо иметь роль mdb_log_reader. Выдать ее может администратор кластера (gpadmin или пользователь с правами SUPERUSER):

GRANT mdb_log_reader TO <имя_пользователя>;

Чтение логовЧтение логов

Подключитесь к базе данных postgres и выполните запрос к представлению mdb_toolkit.gp_log:

SELECT * FROM mdb_toolkit.gp_log
ORDER BY logtime DESC
LIMIT 100;

Фильтрация по времениФильтрация по времени

SELECT logtime, logseverity, logmessage, logdatabase, loguser
FROM mdb_toolkit.gp_log
WHERE logtime >= NOW() - INTERVAL '1 hour'
ORDER BY logtime DESC;

Поиск ошибокПоиск ошибок

SELECT logtime, logseverity, logmessage, logdatabase, loguser, loghost
FROM mdb_toolkit.gp_log
WHERE logseverity IN ('ERROR', 'FATAL', 'PANIC')
  AND logtime >= NOW() - INTERVAL '24 hours'
ORDER BY logtime DESC;

Поиск медленных запросовПоиск медленных запросов

SELECT logtime, logdatabase, loguser, logmessage
FROM mdb_toolkit.gp_log
WHERE logmessage LIKE '%duration:%'
  AND logtime >= NOW() - INTERVAL '1 hour'
ORDER BY logtime DESC;

Фильтрация по базе данныхФильтрация по базе данных

SELECT logtime, logseverity, logmessage
FROM mdb_toolkit.gp_log
WHERE logdatabase = '<имя_базы_данных>'
  AND logtime >= NOW() - INTERVAL '6 hours'
ORDER BY logtime DESC;

Структура представленияСтруктура представления

Представление mdb_toolkit.gp_log содержит следующие столбцы:

Особенности и ограниченияОсобенности и ограничения

• Глубина хранения логов: CSV-логи на узлах кластера ротируются ежедневно. По умолчанию хранятся последние 10 ротаций, то есть не более 10 последних дней. Запросы к более старым данным вернут пустой результат.

• Маскирование чувствительных данных: в столбцах logmessage, logdetail, logquery и logdebug автоматически скрываются пароли из команд CREATE/ALTER ROLE ... PASSWORD и URL-адреса внешних таблиц (PXF, S3, gpfdist). Это сделано для защиты учетных данных.

• Только база данных postgres: представление mdb_toolkit.gp_log доступно только в базе данных postgres. Для работы с ним подключитесь именно к этой базе.

• Нагрузка на кластер: запросы без фильтра по logtime читают все доступные логи со всех узлов кластера, что может создавать значительную нагрузку. Рекомендуется всегда указывать временной диапазон в условии WHERE.

• Параллельное чтение: данные читаются параллельно со всех первичных сегментов и мастера, поэтому порядок строк без ORDER BY не гарантирован.

• Актуальность топологии: при изменении топологии кластера (расширение, восстановление из резервной копии) представление автоматически обновляется в течение нескольких минут.

Примеры аналитических запросовПримеры аналитических запросов

Количество ошибок по базам данных за последние суткиКоличество ошибок по базам данных за последние сутки

SELECT logdatabase, logseverity, COUNT(*) AS cnt
FROM mdb_toolkit.gp_log
WHERE logseverity IN ('ERROR', 'FATAL', 'PANIC')
  AND logtime >= NOW() - INTERVAL '24 hours'
GROUP BY logdatabase, logseverity
ORDER BY cnt DESC;

Активность пользователей по часамАктивность пользователей по часам

SELECT DATE_TRUNC('hour', logtime) AS hour,
       loguser,
       COUNT(*) AS events
FROM mdb_toolkit.gp_log
WHERE logtime >= NOW() - INTERVAL '7 days'
  AND logdatabase = '<имя_базы_данных>'
GROUP BY 1, 2
ORDER BY 1 DESC, 3 DESC;

Топ-10 самых частых сообщений об ошибкахТоп-10 самых частых сообщений об ошибках

SELECT logmessage, COUNT(*) AS cnt
FROM mdb_toolkit.gp_log
WHERE logseverity = 'ERROR'
  AND logtime >= NOW() - INTERVAL '7 days'
GROUP BY logmessage
ORDER BY cnt DESC
LIMIT 10;

См. такжеСм. также

• Просмотр логов кластера Greenplum®
• Передача логов кластера Greenplum® в Yandex Cloud Logging