Как начать работать с YandexGPT Lite и YandexGPT Pro

Чтобы воспользоваться примерами запросов с использованием SDK:

1. Создайте сервисный аккаунт и назначьте ему роль ai.languageModels.user.

2. Получите и сохраните API-ключ сервисного аккаунта.

   В примерах используется аутентификация с помощью API-ключа. Yandex Cloud ML SDK также поддерживает аутентификацию с помощью IAM-токена и OAuth-токена. Подробнее см. в разделе Аутентификация в Yandex Cloud ML SDK.

3. С помощью менеджера пакетов pip установите библиотеку ML SDK:

   pip install yandex-cloud-ml-sdk
   

Чтобы воспользоваться примерами запроса через API, установите cURL.

Для работы с API YandexGPT необходимо аутентифицироваться со своего аккаунта:

1. Получите IAM-токен: см. инструкцию для аккаунта на Яндексе или федеративного аккаунта.

2. Получите идентификатор каталога, на который у вашего аккаунта есть роль ai.languageModels.user или выше.

3. При обращении к YandexGPT Lite или YandexGPT Pro через API передайте полученные параметры:

   • в файле запроса в параметре modelUri указывайте идентификатор каталога;
   • в запросе в заголовке Authorization указывайте IAM-токен.

   Authorization: Bearer <IAM-токен>
   

Другие способы аутентификации в API описаны на странице Аутентификация в API Yandex Foundation Models.

1. Создайте файл generate-text.py и добавьте в него следующий код:

   #!/usr/bin/env python3
   
   from __future__ import annotations
   from yandex_cloud_ml_sdk import YCloudML
   
   messages = [
       {
           "role": "system",
           "text": "Найди ошибки в тексте и исправь их",
       },
       {
           "role": "user",
           "text": """Ламинат подойдет для укладке на кухне или в детской 
   комнате – он не боиться влаги и механических повреждений благодаря 
   защитному слою из облицованных меламиновых пленок толщиной 0,2 мм и 
   обработанным воском замкам.""",
       },
   ]
   
   
   def main():
       sdk = YCloudML(
           folder_id="<идентификатор_каталога>",
           auth="<API-ключ>",
       )
   
       result = (
           sdk.models.completions("yandexgpt").configure(temperature=0.5).run(messages)
       )
   
       for alternative in result:
           print(alternative)
   
   
   if __name__ == "__main__":
       main()
   

   Где:

   Примечание

   В качестве входных данных для запроса Yandex Cloud ML SDK может принимать строку, словарь, объект класса TextMessage или массив, содержащий любое сочетание указанных типов данных. Подробнее см. в разделе Использование Yandex Cloud ML SDK.

   • messages — массив сообщений, которые задают контекст для модели:

     • role — роль отправителя сообщения:

       • user — предназначена для отправки пользовательских сообщений к модели.
       • system — позволяет задать контекст запроса и определить поведение модели.
       • assistant — используется для ответов, которые генерирует модель. При работе в режиме чата ответы модели, помеченные ролью assistant, включаются в состав сообщения для сохранения контекста беседы. Не передавайте сообщения пользователя с этой ролью.

     • text — текстовое содержимое сообщения.

   • <идентификатор_каталога> — идентификатор каталога, в котором создан сервисный аккаунт.

   • <API-ключ> — API-ключ сервисного аккаунта, полученный ранее и необходимый для аутентификации в API.

     В примерах используется аутентификация с помощью API-ключа. Yandex Cloud ML SDK также поддерживает аутентификацию с помощью IAM-токена и OAuth-токена. Подробнее см. в разделе Аутентификация в Yandex Cloud ML SDK.

   Подробнее о том, как обращаться к определенной версии модели, см. в разделе Обращение к моделям.

2. Выполните созданный файл:

   python3 generate-text.py
   

   Результат:

   Alternative(role='assistant', text='Ламинат подойдёт для укладки на кухне или в детской комнате. Он не боится влаги и механических повреждений благодаря защитному слою из облицованных меламиновых плёнок толщиной 0,2 мм и обработанным воском замкам.', status=<AlternativeStatus.FINAL: 3>)
   

1. Создайте файл с телом запроса (например, prompt.json):

   {
     "modelUri": "gpt://<идентификатор_каталога>/yandexgpt",
     "completionOptions": {
       "stream": false,
       "temperature": 0.6,
       "maxTokens": "2000",
       "reasoningOptions": {
         "mode": "DISABLED"
       }
     },
     "messages": [
       {
         "role": "system",
         "text": "Найди ошибки в тексте и исправь их"
       },
       {
         "role": "user",
         "text": "Ламинат подойдет для укладке на кухне или в детской комнате – он не боиться влаги и механических повреждений благодаря защитному слою из облицованных меламиновых пленок толщиной 0,2 мм и обработанным воском замкам."
       }
     ]
   }
   

   Где:

   • modelUri — идентификатор модели, которая будет использоваться для генерации ответа. Параметр содержит идентификатор каталога Yandex Cloud или идентификатор дообученной модели.

   • completionOptions — параметры конфигурации запроса:

     • stream — включает потоковую передачу частично сгенерированного текста. Принимает значения true или false.

     • temperature — чем выше значение этого параметра, тем более креативными и случайными будут ответы модели. Принимает значения от 0 (включительно) до 1 (включительно). Значение по умолчанию: 0.3.

     • maxTokens — устанавливает ограничение на выход модели в токенах. Максимальное число токенов генерации зависит от модели. Подробнее см. в разделе Квоты и лимиты в Yandex Foundation Models.

     • reasoningOptions.mode — параметры режима рассуждений. Необязательный параметр. Значение по умолчанию — DISABLED. Возможные значения:

       • DISABLED — режим рассуждений выключен.
       • ENABLED_HIDDEN — режим рассуждений включен. При этом модель самостоятельно принимает решение о необходимости использования этого режима для каждого конкретного запроса.

   • messages — массив сообщений, которые задают контекст для модели:

     • role — роль отправителя сообщения:

       • user — предназначена для отправки пользовательских сообщений к модели.
       • system — позволяет задать контекст запроса и определить поведение модели.
       • assistant — используется для ответов, которые генерирует модель. При работе в режиме чата ответы модели, помеченные ролью assistant, включаются в состав сообщения для сохранения контекста беседы. Не передавайте сообщения пользователя с этой ролью.

     • text — текстовое содержимое сообщения.

2. Отправьте запрос нейросети с помощью метода completion, выполнив команду:

   export FOLDER_ID=<идентификатор_каталога>
   export IAM_TOKEN=<IAM-токен>
   curl \
     --request POST \
     --header "Content-Type: application/json" \
     --header "Authorization: Bearer ${IAM_TOKEN}" \
     --data "@prompt.json" \
     "https://llm.api.cloud.yandex.net/foundationModels/v1/completion"
   

   Где:

   • FOLDER_ID— идентификатор каталога, на который у вашего аккаунта есть роль ai.languageModels.user или выше.
   • IAM_TOKEN — IAM-токен, полученный перед началом работы.

   В ответе сервис вернет сгенерированный текст:

   {
     "result": {
       "alternatives": [
         {
           "message": {
             "role": "assistant",
             "text": "Ламинат подходит для укладки на кухне и в детской комнате. Он не боится влажности и механических повреждений, благодаря защитному слою, состоящему из меланиновых плёнок толщиной 0.2 мм, и обработанным воском замкам."
           },
           "status": "ALTERNATIVE_STATUS_TRUNCATED_FINAL"
         }
       ],
       "usage": {
         "inputTextTokens": "67",
         "completionTokens": "50",
         "totalTokens": "117"
       },
       "modelVersion": "06.12.2023"
     }
   }