AI Assistant API
Функциональность AI Assistant API находится на стадии Preview.
AI Assistant API — это функциональность Foundation Models для создания AI-ассистентов. С его помощью можно создать персонализированных помощников, реализовывать сценарий генеративного ответа с учетом информации из внешних источников (RAG, Retrieval Augmented Generation), а также сохранять контекст запросов к модели.
Вы можете создать своего AI-ассистента с помощью Yandex Cloud ML SDK или реализуя запросы к API на языке программирования.
Чтобы использовать AI Assistant API в Yandex Foundation Models, необходимы роли ai.assistants.editor и ai.languageModels.user или выше на каталог.
Из чего состоят AI-ассистенты
AI Assistant API предоставляет несколько абстракций для реализации чат-ботов и AI-ассистентов.
Ассистент определяет, к какой модели нужно обратиться, а также какие параметры и инструкции использовать. Это позволяет настроить модель один раз и использовать эти настройки в будущем без необходимости каждый раз передавать их.
Для хранения контекста истории общения используются треды. Каждый тред — это отдельный диалог с пользователем. Запустив ассистента для треда, вы вызовете модель и передадите весь сохраненный в нем контекст. Вы можете получить промежуточные результаты генерации, прослушивая текущий запуск, а итоговый результат генерации будет добавлен к треду.
Совет
По умолчанию при каждом запуске модель будет обрабатывать содержимое треда заново. Если в треде хранится большой контекст, а вы запускаете ассистента после каждого сообщения от пользователя, стоимость работы ассистента может стать существенной. Чтобы оптимизировать расходы, попробуйте ограничить размер передаваемого контекста с помощью параметра customPromptTruncationOptions при запуске.
Подробнее о стоимости использования ассистентов см. Правила тарификации ассистентов.
Простой ассистент может быть удобен для автоматизации рутинных операций над разными данными. Например, если вы подобрали эффективный промт и настройки для модели, вы можете создать для себя ассистента и запускать его для разных тредов. Однако с помощью дополнительных инструментов можно расширить возможности ассистентов.
AI Assistant API позволяет подключать к ассистенту инструменты для работы с дополнительными источниками информации для реализации сценария RAG и инструменты для вызова внешних функций (function calling) — дополнительных обработчиков и сторонних API.
Примечание
Время хранения ассистентов, тредов, поисковых индексов и пользователей ограничено. Вы можете задать его при создании объекта с помощью параметра ExpirationConfig. По умолчанию файлы будут удалены, если в течение 7 дней они не используются.
После создания объекта изменить время и политику его хранения не получится.
Примеры использования
- Создать простого ассистента
- Создать RAG-ассистента с инструментом VectorStore
- Создать RAG-ассистента с получением промежуточных результатов генерации ответа
- Создать AI-ассистента с RAG по PDF-файлам со сложным форматированием
- Создать AI-ассистента для RAG с сохранением метаданных исходных файлов и индексов
- Создать ассистента для RAG с перефразированием запросов пользователя