AI-ассистент

Общие вопросы о работе AI-ассистентовОбщие вопросы о работе AI-ассистентов

Как правильно сформулировать инструкцию для AI-ассистента?Как правильно сформулировать инструкцию для AI-ассистента?

При создании ассистента в поле instruction максимально подробно и естественным языком напишите, что требуется от ассистента. Например:

Ты — сотрудник технической поддержки. Твоя задача — отвечать на вопросы по теме. 
Если ответ не содержится в контексте, то не придумывай. 
Отвечай строго по переданному контексту. 
Ответы должны быть короткими, но информативными.

Ожидает ли ассистент завершения ответа модели перед переходом к следующему событию?Ожидает ли ассистент завершения ответа модели перед переходом к следующему событию?

Да. Один запуск ассистента — одно обращение к модели. Модель получает промпт, вызывает инструменты, дожидается результата и делает генерацию.

Можно ли отменить запрос и прервать ответ модели?Можно ли отменить запрос и прервать ответ модели?

Нет, отменить отправленный запрос нельзя. Если вы хотите ограничить длину ответа модели, используйте параметр maxTokens.

Можно ли параллельно отправлять несколько запросов к одному треду от разных ассистентов?Можно ли параллельно отправлять несколько запросов к одному треду от разных ассистентов?

Да, ограничений на одновременное использование нет.

Как избежать переноса контекста из предыдущего запроса?Как избежать переноса контекста из предыдущего запроса?

Вы можете указать количество сообщений из треда, которые передаются в модель при каждом новом запросе, с помощью параметра thread_num_messages. Он позволяет контролировать объем контекста, учитываемого при генерации ответа. При этом учитываются сообщения от пользователя и от модели.

Также вы можете для каждого запроса создавать новый тред и удалять старый.

Может ли ассистент обнаружить в текстовых файлах изображение?Может ли ассистент обнаружить в текстовых файлах изображение?

Мы планируем добавить поддержку работы с изображениями.

Имеются ли в AI Studio инструменты мониторинга и оценки качества?Имеются ли в AI Studio инструменты мониторинга и оценки качества?

Мы работаем над развитием AI Studio и планируем добавить инструменты для мониторинга и оценки качества.

Какие языки поддерживает AI-ассистент?Какие языки поддерживает AI-ассистент?

Основные языки YandexGPT Pro — русский и английский. В ближайшее время у нас появятся новые опенсорс-модели большого размера, которые будут хорошо работать с другими языками.

В чем отличия между версиями RC и Latest?В чем отличия между версиями RC и Latest?

Мы постоянно работаем над качеством ответом и функциональностью наших моделей. Когда внутренние метрики показывают, что новая версия модели готова, мы публикуем изменения для тестирования в ветку RC и сообщаем об этом в истории изменений сервиса.

Подробнее о жизненном цикле модели см. в разделе Жизненный цикл модели.

Токены и тарификацияТокены и тарификация

На что расходуются токены при работе с AI-ассистентом?На что расходуются токены при работе с AI-ассистентом?

Как и при работе с моделями генерации, тарифицируются токены текста запроса и ответа модели. Кроме того, учитывается также контекст из базы знаний и история переписки. Вы можете использовать параметр maxTokens, чтобы ограничить количество токенов в ответе модели.

Как предварительно оценить количество токенов в текстовых файлах?Как предварительно оценить количество токенов в текстовых файлах?

Оценить размер текста в токенах можно с помощью токенизатора. Подробнее см. в разделе Оценить размер в токенах.

Тарифицируется ли ответ модели, на который сработал встроенный фильтр этики?Тарифицируется ли ответ модели, на который сработал встроенный фильтр этики?

Нет, не тарифицируется.

Тарифицируются ли создание поисковых индексов, загрузка файлов через Files API, хранение файлов и индексов?Тарифицируются ли создание поисковых индексов, загрузка файлов через Files API, хранение файлов и индексов?

Создание и хранение файлов, тредов и индексов не тарифицируется.

Работа с индексамиРабота с индексами

Как реализовать базу знаний для работы с ассистентом?Как реализовать базу знаний для работы с ассистентом?

Чтобы создать базу знаний для работы с AI-ассистентом:

• Используйте Markdown-файлы для оформления документации.
• Старайтесь, чтобы как можно больше информации было представлено в виде текста.
• Уберите из текста все сноски и комментарии, чтобы он был более лаконичным и понятным.
• Если в документах есть таблицы, переведите их в формат Markdown.
• Подбирайте размер блоков текста (чанков) так, чтобы в них помещались самые большие таблицы из ваших документов.

Как реализовать ассистента, который может искать по набору документов, генерировать ответ на их основе и предоставлять релевантные ссылки?Как реализовать ассистента, который может искать по набору документов, генерировать ответ на их основе и предоставлять релевантные ссылки?

Загрузите ваши документы в поисковый индекс ассистента. Тогда вместе с ответом ассистента будут возвращаться ссылки на документы, откуда была взята информация, и фрагменты текста, на которые опиралась модель.

Подробнее см. в разделе Создать RAG-ассистента с инструментом Vector Store.

Как добавить, изменить или удалить документы из индекса?Как добавить, изменить или удалить документы из индекса?

Добавить новый документ в индекс можно с помощью операции append.

Обновить документ можно только через перестроение всего индекса.

Как загружать файлы напрямую из объектного хранилища без скачивания файлов на локальную машину?Как загружать файлы напрямую из объектного хранилища без скачивания файлов на локальную машину?

Вы можете написать скрипт, который будет брать данные из хранилища и подгружать их сразу в ассистента, используя метод sdk.files.upload_bytes().

Какой метод использовать для загрузки файлов из оперативной памяти?Какой метод использовать для загрузки файлов из оперативной памяти?

Для такой задачи лучше использовать метод sdk.files.upload_bytes().

Что произойдет при удалении файла, используемого в индексе?Что произойдет при удалении файла, используемого в индексе?

После создания поисковый индекс не зависит от файла. При удалении файла AI-ассистент будет работать корректно, но возвращать ответ будет без ссылки на этот файл.

Можно ли настроить ассистента так, чтобы при отсутствии релевантной информации в индексе он не возвращал ссылок?Можно ли настроить ассистента так, чтобы при отсутствии релевантной информации в индексе он не возвращал ссылок?

На данный момент настроить ассистента таким образом нельзя.

Можно ли подключить несколько индексов к одному ассистенту?Можно ли подключить несколько индексов к одному ассистенту?

На данный момент к ассистенту можно подключить только один поисковый индекс.

Вы можете обновлять ассистента и менять индекс или создать сразу двух ассистентов с двумя индексами.

Можно ли при обращении к ассистенту указать, в каком файле искать ответ?Можно ли при обращении к ассистенту указать, в каком файле искать ответ?

Чтобы ассистент отвечал по какому-то конкретному файлу, создайте для него отдельный поисковый индекс, а затем подключите его к ассистенту через обновление ассистента.

Также вы можете создать несколько ассистентов с разными индексами.

Работа функций и взаимодействие с инструментамиРабота функций и взаимодействие с инструментами

Умеет ли модель работать с цепочкой инструментов?Умеет ли модель работать с цепочкой инструментов?

Для работы с цепочкой инструментов понадобится обертка, например LangGraph. Сценарий работы с цепочкой инструментов с использованием LangGraph см. в репозитории.

Как повысить качество вызова функций?Как повысить качество вызова функций?

Чтобы повысить качество вызова функций:

• Добавьте примеры использования в описание функций.
• Пропишите в ассистенте, в каких случаях нужно вызывать каждую функцию.
• Расширьте описания параметров, указав типичные значения.

Как управлять выбором функций и условиями их вызова на уровне ассистента?Как управлять выбором функций и условиями их вызова на уровне ассистента?

Реализуйте fallback-логику, если функция не выбрана явно, но в сообщении есть ключевые слова. Подключите внешний анализатор намерений, если нужно повысить качество распознавания.