Связаться с намиПодключиться

Модели генерации текста

Статья создана
Обновлена 17 января 2025 г.

Сервис Yandex Foundation Models предоставляет доступ к большим текстовым моделям, разработанных разными компаниями. Если стандартных моделей вам недостаточно, вы можете дообучить некоторые модели, чтобы они точнее отвечали на ваши запросы.

Модели генерации

Для всех базовых моделей действуют правила обновления, описанные в разделе Жизненный цикл модели. При обновлении моделей поколения, доступные в разных ветках (сегменты /latest, /rc и /deprecated), могут меняться.

Модель

URI

Поколение

Режимы работы

YandexGPT Lite

gpt://<идентификатор_каталога>/yandexgpt-lite/deprecated
gpt://<идентификатор_каталога>/yandexgpt-lite/latest
gpt://<идентификатор_каталога>/yandexgpt-lite/rc

3
4
4

Асинхронный, синхронный

YandexGPT Pro

gpt://<идентификатор_каталога>/yandexgpt/deprecated
gpt://<идентификатор_каталога>/yandexgpt/latest
gpt://<идентификатор_каталога>/yandexgpt/rc

3
4
4

Асинхронный, синхронный

YandexGPT Pro 32k

gpt://<идентификатор_каталога>/yandexgpt-32k/deprecated
gpt://<идентификатор_каталога>/yandexgpt-32k/latest
gpt://<идентификатор_каталога>/yandexgpt-32k/rc

4
4
4

Синхронный2

Llama 8b1

gpt://<идентификатор_каталога>/llama-lite/deprecated
gpt://<идентификатор_каталога>/llama-lite/latest
gpt://<идентификатор_каталога>/llama-lite/rc

3.1
3.1
3.1

Асинхронный, синхронный

Llama 70b1

gpt://<идентификатор_каталога>/llama/deprecated
gpt://<идентификатор_каталога>/llama/latest
gpt://<идентификатор_каталога>/llama/rc

3.1
3.1
3.1

Асинхронный, синхронный

Дообученная модель

gpt://<URI_базовой_модели>/<версия>@<суффикс_дообучения>

Зависит от базовой модели

Асинхронный, синхронный

Модель, дообученная в Yandex DataSphere

ds://<идентификатор_каталога>/<идентификатор_дообученной_модели>

3

Асинхронный, синхронный

Модифицированные модели делят квоты на использование со своими базовыми моделями.

1 Llama создана компанией Meta. Meta признана экстремистской организацией, ее деятельность в России запрещена.

2 Модель YandexGPT Pro 32k обладает расширенным контекстом и создана специально для обработки больших текстов в синхронном режиме. В асинхронном режиме модель YandexGPT Pro поддерживает тот же объем контекста.

Жизненный цикл модели

Каждая модель имеет набор характеристик жизненного цикла: название модели, ветка и дата публикации. Эти характеристики позволяют однозначно определить версию модели. Обновление моделей происходит по определенным ниже правилам, чтобы вы могли адаптировать свои решения под новую версию, если это будет необходимо.

Существует три ветки модели (от более старой к новой): Deprecated, Latest, Release Candidate (RC). Для каждой из этих веток действует SLA сервиса.

Ветка RC обновляется по мере готовности новой модели и может измениться в любой момент. Когда модель в ветке RC будет готова к общему использованию, в истории изменений и сообществе пользователей в Telegram появится уведомление о предстоящем релизе.

Через месяц после объявления версия RC становится Latest, а Latest переносится в Deprecated. Поддержка версии Deprecated осуществляется в течение следующего месяца, после чего модели в ветках Deprecated и Latest будут идентичны.

Обращение к моделям

Вы можете обращаться к моделям генерации текста разных версий несколькими способами.

При работе с моделями генерации текста через Yandex Cloud ML SDK используйте один из следующих форматов:

  • Название модели, передается в виде строки. Доступны только версии Latest.

    model = (
  sdk.models.completions("yandexgpt")
)

  • Название и версия модели, передаются в виде строк в полях model_name и model_version соответственно.

    model = (
  sdk.models.completions(model_name="yandexgpt-32k", model_version="rc")
)

    В приведенном примере явно задана модель YandexGPT Pro 32k версии Release Candidate.

  • URI модели, передается в виде строки, содержащей полный URI нужной версии модели. Также используйте этот способ для обращения к дообученным моделям.

    model = (
  sdk.models.completions("gpt://b1gt6g8ht345********/llama/deprecated")
)

    В приведенном примере явно задана модель Llama 70b версии Deprecated модели.

Чтобы обратиться к модели через REST API или gRPC API, в поле modelUri тела запроса укажите URI модели, содержащий идентификатор каталога. Сегменты /latest, /rc и /deprecated указывают на версию модели. По умолчанию используется сегмент /latest.

Примеры:

  • Обращение к версии Latest модели YandexGPT Lite:

    {
  "modelUri":
    gpt://b1gt6g8ht345********/yandexgpt-lite/latest
  ...
}

    Для обращения к Latest версиям моделей необязательно задавать версию модели явно, поскольку версия Latest используется по умолчанию.

    Например, по данному URI также произойдет обращение к версии Latest модели YandexGPT Lite: gpt://<идентификатор_каталога>/yandexgpt-lite.

  • Обращение к версии RC модели Llama 70b:

    {
  "modelUri":
    gpt://b1gt6g8ht345********/llama/rc
  ...
}

См. также

Предыдущая
Обзор
Следующая
Токены