Отправить запрос в промт-режиме

Чтобы воспользоваться примерами, установите cURL.

Пример ниже разработан для выполнения в операционных системах MacOS и Linux. Чтобы выполнить его в системе Windows, ознакомьтесь с особенностями работы с Bash в Microsoft Windows.

1. Создайте файл с телом запроса (например, body.json):

   {
     "modelUri": "gpt://<идентификатор_каталога>/yandexgpt-lite",
     "completionOptions": {
       "stream": false,
       "temperature": 0.1,
       "maxTokens": "1000"
     },
     "messages": [
       {
         "role": "system",
         "text": "Переведи текст"
       },
       {
         "role": "user",
         "text": "To be, or not to be: that is the question."
       }
     ]
   }
   

   Где:

   • modelUri — идентификатор модели, которая будет использоваться для генерации ответа. Параметр содержит идентификатор каталога Yandex Cloud или идентификатор дообученной в DataSphere модели.

   • completionOptions — параметры конфигурации запроса:

     • stream — включает потоковую передачу частично сгенерированного текста. Принимает значения true или false.
     • temperature — чем выше значение этого параметра, тем более креативными и случайными будут ответы модели. Принимает значения от 0 (включительно) до 1 (включительно). Значение по умолчанию: 0.3.
     • maxTokens — устанавливает ограничение на выход модели в токенах. Максимальное число токенов генерации зависит от модели. Подробнее см. в разделе Квоты и лимиты в Yandex Foundation Models.

   • messages — список сообщений, которые задают контекст для модели:

     • role — роль отправителя сообщения:

       • user — предназначена для отправки пользовательских сообщений к модели.
       • system — позволяет задать контекст запроса и определить поведение модели.
       • assistant — используется для ответов, которые генерирует модель. При работе в режиме чата ответы модели, помеченные ролью assistant, включаются в состав сообщения для сохранения контекста беседы. Не передавайте сообщения пользователя с этой ролью.

     • text — текстовое содержимое сообщения.

2. Отправьте запрос к модели, выполнив команду:

   export FOLDER_ID=<идентификатор_каталога>
   export IAM_TOKEN=<IAM-токен>
   curl \
     --request POST \
     --header "Content-Type: application/json" \
     --header "Authorization: Bearer ${IAM_TOKEN}" \
     --header "x-folder-id: ${FOLDER_ID}" \
     --data "@<путь_до_файла_json>" \
     "https://llm.api.cloud.yandex.net/foundationModels/v1/completion"
   

   Где:

   • FOLDER_ID— идентификатор каталога, на который у вашего аккаунта есть роль ai.languageModels.user или выше.
   • IAM_TOKEN — IAM-токен, полученный перед началом работы.
   Результат:

   {
     "result": {
       "alternatives": [
         {
           "message": {
             "role": "assistant",
             "text": "Быть или не быть - вот в чём вопрос."
           },
           "status": "ALTERNATIVE_STATUS_FINAL"
         }
       ],
       "usage": {
         "inputTextTokens": "28",
         "completionTokens": "10",
         "totalTokens": "38"
       },
       "modelVersion": "06.12.2023"
     }
   }
   

Пример ниже разработан для выполнения в операционных системах MacOS и Linux. Чтобы выполнить его в системе Windows, ознакомьтесь с особенностями работы с Bash в Microsoft Windows.

1. Склонируйте репозиторий Yandex Cloud API, вставив код в ячейку ноутбука:

   git clone https://github.com/yandex-cloud/cloudapi
   

2. Установите пакет grpcio-tools с помощью менеджера пакетов pip:

   pip install grpcio-tools
   

3. Перейдите в папку со склонированным репозиторием Yandex Cloud API:

   cd <путь_к_папке_cloudapi>
   

4. Создайте папку output:

   mkdir output
   

5. Сгенерируйте код интерфейса клиента:

   python -m grpc_tools.protoc -I . -I third_party/googleapis \
     --python_out=output \
     --grpc_python_out=output \
       google/api/http.proto \
       google/api/annotations.proto \
       yandex/cloud/api/operation.proto \
       google/rpc/status.proto \
       yandex/cloud/operation/operation.proto \
       yandex/cloud/validation.proto \
       yandex/cloud/ai/foundation_models/v1/text_generation/text_generation_service.proto \
       yandex/cloud/ai/foundation_models/v1/text_common.proto
   

6. В папке output создайте файл test.py с кодом запроса к модели:

   # coding=utf8
   import argparse
   import grpc
   
   import yandex.cloud.ai.foundation_models.v1.text_common_pb2 as pb
   import yandex.cloud.ai.foundation_models.v1.text_generation.text_generation_service_pb2_grpc as service_pb_grpc
   import yandex.cloud.ai.foundation_models.v1.text_generation.text_generation_service_pb2 as service_pb
   
   def run(iam_token, folder_id, user_text):
       cred = grpc.ssl_channel_credentials()
       channel = grpc.secure_channel('llm.api.cloud.yandex.net:443', cred)
       stub = service_pb_grpc.TextGenerationServiceStub(channel)
   
       request = service_pb.CompletionRequest(
           model_uri=f"gpt://{folder_id}/yandexgpt",
           completion_options=pb.CompletionOptions(
               max_tokens={"value": 2000}, 
               temperature={"value": 0.5}
           ),
       )
       message_system = request.messages.add()
       message_system.role = "system"
       message_system.text = "Исправь ошибки в тексте."
   
       message_user = request.messages.add()
       message_user.role = "user"
       message_user.text = user_text
   
       it = stub.Completion(request, metadata=(
           ('authorization', f'Bearer {iam_token}'),
       ))
       for response in it:
           for alternative in response.alternatives:
               print (alternative.message.text)
   
   if __name__ == '__main__':
       parser = argparse.ArgumentParser()
       parser.add_argument("--iam_token", required=True, help="IAM token")
       parser.add_argument("--folder_id", required=True, help="Folder id")
       parser.add_argument("--user_text", required=True, help="User text")
       args = parser.parse_args()
       run(args.iam_token, args.folder_id, args.user_text)
   

7. Запустите файл test.py, подставив значение IAM-токена и идентификатор каталога:

   export IAM_TOKEN=<IAM-токен>
   export FOLDER_ID=<идентификатор_каталога>
   export TEXT='Ашипки саме сибя ни исрпвят'
   python output/test.py \
     --iam_token ${IAM_TOKEN} \
     --folder_id ${FOLDER_ID} \
     --user_text ${TEXT}
   

   Результат:

   Ошибки сами себя не исправят.