Начало работы с LLM-трейсами
Что такое LLM-мониторинг
Когда AI-агент ведет себя неожиданно — возвращает странный ответ, вызывает не тот инструмент или вовсе не вызывает его — разобраться в происходящем через обычные логи и трейсы сложно. Ключевая информация теряется среди атрибутов: промпты на несколько тысяч символов, несколько вызовов к моделям, цепочки инструментов — все перемешано.
LLM-мониторинг в Monium Traces — это специализированный режим просмотра трейсов, адаптированный для диагностики AI-агентов. Интерфейс оптимизирован для работы с большими текстами — промптами, системными инструкциями и ответами модели: именно эти данные чаще всего нужны, чтобы понять, почему агент принял то или иное решение.
LLM-мониторинг работает поверх стандартных трейсов OpenTelemetry — никакой отдельной инфраструктуры не требуется. Если вы еще не настроили отправку трейсов в Monium Traces, начните с раздела Настройка подключения.
Как это устроено
В основе LLM-мониторинга лежит стандарт OpenTelemetry Semantic Conventions для GenAI. Согласно этому стандарту, все данные о диалоге с моделью — промпты, ответы, системные инструкции, описания инструментов — передаются в специальных атрибутах спанов. Благодаря этим атрибутам Monium Traces выделяет LLM-специфичные данные и структурирует их для удобного анализа.
Для LLM-мониторинга важны два типа спанов:
Спан генерации. Обертывает вызов к модели. В атрибутах этого спана хранятся: история диалога с промптами (gen_ai.input.messages), ответ модели (gen_ai.output.messages), название используемой модели (gen_ai.request.model), количество входных и выходных токенов. Именно из этих атрибутов интерфейс строит читаемую ленту диалога.
Спан вызова инструмента. Дочерний спан генерации, который обертывает вызов к внешнему инструменту, выбранному агентом. Содержит описание инструмента, параметры вызова и результат выполнения.
Примечание
Если вы впервые работаете с трейсингом, прочитайте раздел Основные понятия — там описаны базовые сущности: трейс, спан, атрибуты.
Описание интерфейса просмотра LLM-трейсов — в разделе Просмотр и анализ LLM-трейсов.
Как подключить LLM-мониторинг
Подключение выполняется через стандартный механизм отправки трейсов в Monium Traces — следуйте инструкциям в разделе Настройка подключения. Дополнительное требование — отправлять трейсы с атрибутами GenAI: без них интерфейс не сможет корректно распознать LLM-спаны и отобразить диалоги в удобном формате.
Есть два способа добавить атрибуты GenAI в трейсы:
Автоматически — если вы используете OpenAI SDK, OpenAI Agents SDK, LangChain или другой поддерживаемый фреймворк. Подключите библиотеку автоинструментации OpenTelemetry для вашего фреймворка — она автоматически создаст спаны и добавит атрибуты GenAI, почти без изменений в коде. Это самый быстрый способ начать, особенно если отправка трейсов уже настроена.
Подробнее про автоматическую инструментацию LLM-приложений читайте в разделе Инструментирование LLM-приложений: автоматически.
Вручную — если нужен полный контроль над данными трейсов или ваш фреймворк не поддерживается автоинструментацией. Добавьте атрибуты GenAI в спаны самостоятельно по стандарту OpenTelemetry Semantic Conventions. Этот способ требует минимальных изменений в коде, но дает максимальную гибкость.
Подробнее про ручную инструментацию LLM-приложений читайте в разделе Инструментирование LLM-приложений: вручную.