Модели генерации текста
YandexGPT API предоставляет доступ к большим текстовым моделям:
- стандартной YandexGPT Lite, подходящей для решения задач в режиме реального времени;
- большой YandexGPT Pro, которая дает более точные ответы на сложные запросы.
Если стандартных моделей вам недостаточно, вы можете дообучить YandexGPT Lite и Llama 8b1, чтобы они точнее отвечали на ваши запросы.
Чтобы обратиться к модели по API, в параметре modelUri укажите ее URI, содержащий идентификатор каталога. Сегменты /latest, /rc и /deprecated указывают версию модели. По умолчанию используется сегмент /latest.
Модели генерации
При обновлении моделей поколения, доступные в разных ветках (сегменты /latest, /rc и /deprecated), могут меняться.
|
Модель |
URI |
Поколение |
|
|
YandexGPT Lite |
|
344 |
Асинхронный, синхронный |
|
YandexGPT Pro |
|
344 |
Асинхронный, синхронный |
|
YandexGPT Pro 32k |
|
44 |
Синхронный2 |
|
Модель, дообученная в Yandex DataSphere |
|
3 |
Асинхронный, синхронный |
|
Llama 8b1 |
|
3.1 |
Асинхронный, синхронный |
|
Llama 70b1 |
|
3.1 |
Асинхронный, синхронный |
Модифицированные модели делят квоты на использование со своими базовыми моделями.
1 Llama создана компанией Meta. Meta признана экстремистской организацией, ее деятельность в России запрещена.
2 Модель YandexGPT Pro 32k обладает расширенным контекстом и создана специально для обработки больших текстов в синхронном режиме. В асинхронном режиме модель YandexGPT Pro поддерживает тот же объем контекста.
Жизненный цикл модели
Каждая модель имеет набор характеристик жизненного цикла: название модели, ветка и дата публикации. Эти характеристики позволяют однозначно определить версию модели. Обновление моделей происходит по определенным ниже правилам, чтобы вы могли адаптировать свои решения под новую версию, если это будет необходимо.
Существует три ветки модели (от более старой к новой): Deprecated, Latest, Release Candidate (RC). Для каждой из этих веток действует SLA сервиса.
Ветка RC обновляется по мере готовности новой модели и может измениться в любой момент. Когда модель в ветке RC будет готова к общему использованию, в истории изменений и сообществе пользователей в Telegram появится уведомление о предстоящем релизе.
Через месяц после объявления версия RC становится Latest, а Latest переносится в Deprecated. Поддержка версии Deprecated осуществляется в течение следующего месяца, после чего модели в ветках Deprecated и Latest будут идентичны.
Возможности дообучения
Модели генерации текста не получится дообучить новой информации, например базе знаний службы поддержки. Однако вы можете обучить модель отдавать ответ в определенном формате или анализировать текст. Так, модель можно обучить:
- пересказывать и изменять формулировки текстов;
- генерировать вопросы к тексту и ответы на них;
- форматировать ответы в определенной стилистике или формате;
- классифицировать тексты, обращения и диалоги;
- извлекать сущности из текста.