Отправить асинхронный запрос

Чтобы воспользоваться примерами запросов с использованием SDK:

1. Создайте сервисный аккаунт и назначьте ему роль ai.languageModels.user.

2. Получите и сохраните API-ключ сервисного аккаунта.

   В примерах используется аутентификация с помощью API-ключа. Yandex Cloud ML SDK также поддерживает аутентификацию с помощью IAM-токена и OAuth-токена. Подробнее см. в разделе Аутентификация в Yandex Cloud ML SDK.

3. С помощью менеджера пакетов pip установите библиотеку ML SDK:

   pip install yandex-cloud-ml-sdk
   

При использовании Yandex Cloud ML SDK ваш код может дождаться завершения выполнения операции и получения ответа. Для этого можно использовать либо функцию sleep модуля time, либо метод wait. В приведенном примере последовательно используются оба эти способа.

1. Создайте файл generate-deferred.py и добавьте в него следующий код:

   #!/usr/bin/env python3
   
   from __future__ import annotations
   import time
   from yandex_cloud_ml_sdk import YCloudML
   
   messages_1 = [
       {
           "role": "system",
           "text": "Найди ошибки в тексте и исправь их",
       },
       {
           "role": "user",
           "text": """Ламинат подойдет для укладке на кухне или в детской 
   комнате – он не боиться влаги и механических повреждений благодаря 
   защитному слою из облицованных меламиновых пленок толщиной 0,2 мм и 
   обработанным воском замкам.""",
       },
   ]
   
   messages_2 = [
       {"role": "system", "text": "Найди ошибки в тексте и исправь их"},
       {"role": "user", "text": "Ашипки саме сибя ни исрпвят."},
   ]
   
   
   def main():
   
       sdk = YCloudML(
           folder_id="<идентификатор_каталога>",
           auth="<API-ключ>",
       )
   
       model = sdk.models.completions("yandexgpt")
   
       # Variant 1: wait for the operation to complete using 5-second sleep periods
   
       print("Variant 1:")
   
       operation = model.configure(temperature=0.5).run_deferred(messages_1)
   
       status = operation.get_status()
       while status.is_running:
           time.sleep(5)
           status = operation.get_status()
   
       result = operation.get_result()
       print(result)
   
       # Variant 2: wait for the operation to complete using the wait method
   
       print("Variant 2:")
   
       operation = model.run_deferred(messages_2)
   
       result = operation.wait()
       print(result)
   
   
   if __name__ == "__main__":
       main()
   

   Где:

   Примечание

   В качестве входных данных для запроса Yandex Cloud ML SDK может принимать строку, словарь, объект класса TextMessage или массив, содержащий любое сочетание указанных типов данных. Подробнее см. в разделе Использование Yandex Cloud ML SDK.

   • messages_1 и messages_2 — массивы сообщений, которые задают контекст для модели и используются для разных способов получения результата выполнения асинхронного запроса:

     • role — роль отправителя сообщения:

       • user — предназначена для отправки пользовательских сообщений к модели.
       • system — позволяет задать контекст запроса и определить поведение модели.
       • assistant — используется для ответов, которые генерирует модель. При работе в режиме чата ответы модели, помеченные ролью assistant, включаются в состав сообщения для сохранения контекста беседы. Не передавайте сообщения пользователя с этой ролью.

   • text — текстовое содержимое сообщения.

   • <идентификатор_каталога> — идентификатор каталога, в котором создан сервисный аккаунт.

   • <API-ключ> — API-ключ сервисного аккаунта, полученный ранее и необходимый для аутентификации в API.

     В примерах используется аутентификация с помощью API-ключа. Yandex Cloud ML SDK также поддерживает аутентификацию с помощью IAM-токена и OAuth-токена. Подробнее см. в разделе Аутентификация в Yandex Cloud ML SDK.

   Подробнее о том, как обращаться к определенной версии модели, см. в разделе Обращение к моделям.

2. Выполните созданный файл:

   python3 generate-deferred.py
   

   Результат выполнения:

   Variant 1:
   GPTModelResult(alternatives=(Alternative(role='assistant', text='Ламинат подойдёт для укладки на кухне или в детской комнате – он не боится влаги и механических повреждений благодаря защитному слою из облицованных меламиновых плёнок толщиной 0,2 мм и обработанным воском замкам.', status=<AlternativeStatus.FINAL: 3>),), usage=Usage(input_text_tokens=74, completion_tokens=46, total_tokens=120), model_version='23.10.2024')
   Variant 2:
   GPTModelResult(alternatives=(Alternative(role='assistant', text='Ошибки сами себя не исправят.\n\nАшипки → ошибки.', status=<AlternativeStatus.FINAL: 3>),), usage=Usage(input_text_tokens=32, completion_tokens=16, total_tokens=48), model_version='23.10.2024')
   

   Код дожидается получения результата сначала для первого способа, затем — для второго.