Миграция с API v1alpha на YandexGPT API v1 и Embeddings API v1
API версии v1alpha устарел и в ближайшее время перестанет поддерживаться. Для работы с YandexGPT используйте YandexGPT API v1 и Embeddings API v1. Максимальное суммарное количество токенов, которое может содержаться в запросе пользователя и ответе модели в новой версии API, составляет 8000.
Если ваш продукт использует методы устаревшего API, переведите его на использование нового интерфейса. Подробный обзор необходимых изменений для REST API приведен ниже. Изменения для gRPC API аналогичны.
Выбор модели
В YandexGPT API v1 и Embeddings API v1 указывайте название модели в параметре modelUri
(вместо model
в устаревшем API):
Модель | API v1alpha | YandexGPT API v1 и Embeddings API v1 |
---|---|---|
YandexGPT Pro | "model": "yagpt-2.0:hq" |
"modelUri": "gpt://<идентификатор_каталога>/yandexgpt/latest" |
YandexGPT Lite | "model": "general" |
"modelUri": "gpt://<идентификатор_каталога>/yandexgpt-lite/latest" |
Генерация
TextGeneration.instruct (промт-режим)
API-эндпойнт:
API v1alpha | YandexGPT API v1 |
---|---|
https://llm.api.cloud.yandex.net/llm/v1alpha/instruct |
https://llm.api.cloud.yandex.net/foundationModels/v1/completion |
Общая структура запроса:
API v1alpha |
YandexGPT API v1 |
|
|
Поля тела запроса:
API v1alpha |
YandexGPT API v1 |
Описание |
model |
modelUri |
Идентификатор модели, которая будет использоваться для генерации ответа. Параметр содержит идентификатор каталога Yandex Cloud или идентификатор дообученной в DataSphere модели. |
instructionText |
|
В YandexGPT API v1 блок
|
instructionUri |
modelUri |
В YandexGPT API v1 параметр |
requestText |
|
В YandexGPT API v1 блок
|
partialResults |
stream |
Включает потоковую передачу частично сгенерированного текста. Принимает значения |
generationOptions |
completionOptions |
Задает параметры конфигурации запроса. |
maxTokens |
maxTokens |
Имя параметра |
TextGeneration.chat (режим чата)
API-эндпойнт:
API v1alpha | YandexGPT API v1 |
---|---|
https://llm.api.cloud.yandex.net/llm/v1alpha/chat |
https://llm.api.cloud.yandex.net/foundationModels/v1/completion |
Общая структура запроса:
API v1alpha |
YandexGPT API v1 |
|
|
Поля тела запроса:
API v1alpha |
YandexGPT API v1 |
Описание |
model |
modelUri |
Идентификатор модели, которая будет использоваться для генерации ответа. Параметр содержит идентификатор каталога Yandex Cloud или идентификатор дообученной в DataSphere модели. |
instructionText |
|
В YandexGPT API v1 блок
|
partialResults |
stream |
Включает потоковую передачу частично сгенерированного текста. Принимает значения |
generationOptions |
completionOptions |
Задает параметры конфигурации запроса. |
maxTokens |
maxTokens |
Имя параметра |
role |
role |
Имя параметра |
API-эндпойнт:
API v1alpha | YandexGPT API v1 |
---|---|
https://llm.api.cloud.yandex.net/llm/v1alpha/instructAsync |
https://llm.api.cloud.yandex.net/foundationModels/v1/completionAsync |
Общая структура запроса:
API v1alpha |
YandexGPT API v1 |
|
|
Поля тела запроса:
API v1alpha |
YandexGPT API v1 |
Описание |
model |
modelUri |
Идентификатор модели, которая будет использоваться для генерации ответа. Параметр содержит идентификатор каталога Yandex Cloud или идентификатор дообученной в DataSphere модели. |
instructionText |
|
В YandexGPT API v1 блок
|
instructionUri |
modelUri |
В YandexGPT API v1 параметр |
requestText |
|
В YandexGPT API v1 блок
|
partialResults |
stream |
Включает потоковую передачу частично сгенерированного текста. Принимает значения |
generationOptions |
completionOptions |
Задает параметры конфигурации запроса. |
maxTokens |
maxTokens |
Имя параметра |
Токенизация
Метод используется только с методами генерации.
API-эндпойнт:
API v1alpha | YandexGPT API v1 |
---|---|
https://llm.api.cloud.yandex.net/llm/v1alpha/tokenize |
https://llm.api.cloud.yandex.net/foundationModels/v1/tokenizeCompletion |
Общая структура запроса:
API v1alpha |
YandexGPT API v1 |
|
|
Поля тела запроса:
API v1alpha |
YandexGPT API v1 |
Описание |
model |
modelUri |
Идентификатор модели, которая будет использоваться для генерации ответа. Параметр содержит идентификатор каталога Yandex Cloud или идентификатор дообученной в DataSphere модели. |
Метод используется со всеми методами, кроме генерации.
API-эндпойнт:
API v1alpha | YandexGPT API v1 |
---|---|
https://llm.api.cloud.yandex.net/llm/v1alpha/tokenize |
https://llm.api.cloud.yandex.net/foundationModels/v1/tokenize |
Общая структура запроса осталась без изменений:
API v1alpha |
YandexGPT API v1 |
|
|
Поля тела запроса:
API v1alpha |
YandexGPT API v1 |
Описание |
model |
modelUri |
Идентификатор модели, которая будет использоваться для генерации ответа. Параметр содержит идентификатор каталога Yandex Cloud или идентификатор дообученной в DataSphere модели. |
Векторизация
API-эндпойнт:
API v1alpha | Embeddings API v1 |
---|---|
https://llm.api.cloud.yandex.net/llm/v1alpha/embedding |
https://llm.api.cloud.yandex.net/foundationModels/v1/textEmbedding |
Общая структура запроса:
API v1alpha |
Embeddings API v1 |
|
|
Поля тела запроса:
API v1alpha |
Embeddings API v1 |
Описание |
model |
— |
В Embeddings API v1 модель векторного представления текста задается в параметре |
|
|
Векторизация коротких текстов: поисковых запросов, обращений и т.п. |
|
|
Векторизация больших текстов исходных данных, например статей документации. |