Отправить запрос к дообученной модели
Статья создана
Обновлена 13 июня 2024 г.
В YandexGPT можно отправлять запросы к дообученным моделям. Поддерживаются запросы к следующим моделям:
- модель YandexGPT, дообученная для краткого пересказа содержимого текста — суммаризации;
- дообученные фундаментальные модели в сервисе Yandex DataSphere.
Перед началом работы
Получите данные для аутентификации в API, как описано в разделе Аутентификация в API Yandex Foundation Models.
Отправить запрос для краткого пересказа текста
-
Создайте файл с телом запроса (например,
body.json
):{ "modelUri": "gpt://<идентификатор_каталога>/summarization", "completionOptions": { "stream": false, "temperature": 0.1, "maxTokens": "2000" }, "messages": [ { "role": "user", "text": "<текст_статьи>" } ] }
-
modelUri
— идентификатор модели, которая будет использоваться для генерации ответа. Параметр содержит идентификатор каталога Yandex Cloud или идентификатор дообученной в DataSphere модели. -
completionOptions
— параметры конфигурации запроса:stream
— включает потоковую передачу частично сгенерированного текста. Принимает значенияtrue
илиfalse
.temperature
— чем выше значение этого параметра, тем более креативными и случайными будут ответы модели. Принимает значения от0
(включительно) до1
(включительно). Значение по умолчанию:0.3
.maxTokens
— устанавливает ограничение на выход модели в токенах. Максимальное число токенов генерации зависит от модели. Подробнее см. в разделе Квоты и лимиты в Yandex Foundation Models.
-
messages
— список сообщений, которые задают контекст для модели:-
role
— роль отправителя сообщения:user
— предназначена для отправки пользовательских сообщений к модели.system
— позволяет задать контекст запроса и определить поведение модели.assistant
— используется для ответов, которые генерирует модель. При работе в режиме чата ответы модели, помеченные рольюassistant
, включаются в состав сообщения для сохранения контекста беседы. Не передавайте сообщения пользователя с этой ролью.
-
text
— текстовое содержимое сообщения.
-
-
-
Отправьте запрос к модели, выполнив команду:
curl --request POST \ -H "Content-Type: application/json" \ -H "Authorization: Bearer <IAM-токен>" \ -d "@<путь_к_файлу_json>" \ "https://llm.api.cloud.yandex.net/foundationModels/v1/completion"
Где:
<путь_к_файлу_json>
— относительный или абсолютный путь к файлу, содержащему тело запроса к модели.<IAM-токен>
— значение IAM-токена, полученного перед началом работы.
Пример результата для статьи Протокол SSH:
{ "result": { "alternatives": [ { "message": { "role": "assistant", "text": "- SSH - сетевой протокол для безопасного взаимодействия между компьютерами.\n - SSH используется для подключения к удаленным серверам, выполнения команд, копирования и редактирования файлов.\n - SSH широко применяется в корпоративной инфраструктуре для установки обновлений и управления бизнес-критичными системами.\n - Поддержка SSH встроена в операционные системы Unix и Linux, а также в Windows с бесплатными SSH-клиентами.\n - В работе по SSH участвуют SSH-сервер и SSH-клиент, которые создают безопасное соединение для передачи зашифрованных данных.\n - Надежность SSH обеспечивается аутентификацией пользователей и обработкой передаваемых данных.\n - SSH-сервер поддерживает три способа аутентификации: по IP-адресу, по логину/паролю и по ключу.\n - Ключи SSH обеспечивают высокую степень защиты и удобство использования в скриптах для автоматизации рутинных операций." }, "status": "ALTERNATIVE_STATUS_FINAL" } ], "usage": { "inputTextTokens": "1609", "completionTokens": "168", "totalTokens": "1777" }, "modelVersion": "06.12.2023" } }