Как оценивать и улучшать ответы генеративных моделей

Рассказали и показали, как системно подходить к оценке качества моделей, подбору промтов, отладке пайплайнов и трейсингу. Эти задачи становятся всё более актуальными в мире растущего числа LLM- и VLM-моделей.

Вы узнаете, как:

• использовать опенсорсные фреймворки в Yandex Foundation Models;
• внедрять LLM-as-a-Judge для разметки плохих и хороших ответов;
• сравнивать ответы разных моделей для вашей задачи.

Вебинар полезен разработчикам, которые интегрируют языковые модели в собственные приложения, а также всем тем, кто хочет разобраться, какие из доступных моделей лучше справляются на конкретной задаче.