Совместимость с OpenAI
API генерации текста сервиса Foundation Models частично совместим с OpenAI API. Вы можете быстро адаптировать существующие приложения, разработанные для работы с OpenAI, изменив несколько параметров в запросе.
Для доступа ко всем возможностям Foundation Models используйте API и библиотеку Yandex Cloud ML SDK.
Настройка OpenAI для работы с Foundation Models
Чтобы использовать модели генерации текста Foundation Models в библиотеках OpenAI, измените базовый эндпоинт и укажите API-ключ:
import openai
client = openai.OpenAI(
api_key="<значение_API-ключа>",
base_url="https://llm.api.cloud.yandex.net/v1"
)
import OpenAI from "openai";
const openai = new OpenAI(
api_key="<значение_API-ключа>",
base_url="https://llm.api.cloud.yandex.net/v1");
Как получить API-ключ для работы с Foundation Models.
Пример запроса к модели
Прежде чем отправлять запрос, в URI модели укажите идентификатор каталога, в котором вы получали API-ключ.
# Установите OpenAI SDK с помощью pip
# pip install openai
import openai
client = openai.OpenAI(
api_key="<значение_API-ключа>",
base_url="https://llm.api.cloud.yandex.net/v1"
)
response = client.chat.completions.create(
model="gpt://<идентификатор_каталога>/yandexgpt/latest",
messages=[
{"role": "assistant", "content": "Ты очень умный ассистент."},
{"role": "user", "content": "Сколько стоит запрос к YandexGPT Pro?"}
],
max_tokens=10000,
temperature=0.7,
stream=True
)
for chunk in response:
if chunk.choices[0].delta.content is not None:
print(chunk.choices[0].delta.content, end="")
import OpenAI from "openai";
const openai = new OpenAI(
api_key="<значение_API-ключа>",
base_url="https://llm.api.cloud.yandex.net/v1");
async function main() {
const completion = await openai.chat.completions.create({
messages: [{"role": "assistant", "content": "Ты очень умный ассистент."},
{"role": "user", "content": "Сколько стоит запрос к YandexGPT Pro?"}],
model: "gpt://<идентификатор_каталога>/yandexgpt/latest",
});
console.log(completion.choices[0]);
}
main();
curl https://llm.api.cloud.yandex.net/v1/chat/completions
-H "Content-Type: application/json"
-H "Authorization: Bearer <API-ключ>"
-d '{
"model": "gpt://<идентификатор_каталога>/yandexgpt/latest",
"messages": [
{
"role": "system",
"content": "Ты очень умный ассистент."
},
{
"role": "user",
"content": "Сколько стоит запрос к YandexGPT Pro?"
}
]
}'
Текущие ограничения
Сервис Foundation Models частично совместим с OpenAI API. Если вы еще не используете OpenAI SDK, рекомендуем сразу разрабатывать свои приложения на Yandex Cloud ML SDK или для API Foundation Models.