Как начать работать с моделями Model Gallery
В этом разделе вы научитесь использовать модели Model Gallery для генерации текста в синхронном режиме. Другие примеры см. в разделе Инструкции для работы с Yandex AI Studio.
О стоимости использования Yandex AI Studio читайте в разделе Правила тарификации для Yandex AI Studio.
Перед началом работы
Чтобы начать работать в Yandex Cloud:
- Войдите в консоль управления
. Если вы еще не зарегистрированы, перейдите в консоль управления и следуйте инструкциям. - В сервисе Yandex Cloud Billing
убедитесь, что у вас подключен платежный аккаунт, и он находится в статусеACTIVEилиTRIAL_ACTIVE. Если платежного аккаунта нет, создайте его. - Если у вас еще нет каталога, создайте его.
Для работы из консоли управления подготовительные действия не требуются.
Чтобы воспользоваться примерами запросов с использованием SDK:
- Создайте сервисный аккаунт и назначьте ему роль
ai.languageModels.user. -
Получите и сохраните API-ключ сервисного аккаунта, указав для него область действия
yc.ai.foundationModels.execute.В примерах используется аутентификация с помощью API-ключа. Yandex Cloud ML SDK также поддерживает аутентификацию с помощью IAM-токена и OAuth-токена. Подробнее см. в разделе Аутентификация в Yandex Cloud ML SDK.
Примечание
Если вы используете ОС Windows
, рекомендуем предварительно установить оболочку WSL и выполнять дальнейшие действия в этой оболочке. -
Установите Python версии 3.10
или выше. -
Установите библиотеку Python venv
для создания изолированных виртуальных окружений в Python. -
Создайте и войдите в новое виртуальное окружение Python:
python3 -m venv new-env source new-env/bin/activate -
С помощью менеджера пакетов pip
установите библиотеку ML SDK:pip install yandex-cloud-ml-sdk
Сгенерируйте текст
Примечание
Чтобы повышать качество генерируемых ответов, API AI Studio логирует промпты пользователей. Не передавайте в запросах чувствительную информацию и персональные данные.
-
В консоли управления
выберите каталог, на который у вашего аккаунта есть рольai.playground.userили выше. -
На панели слева нажмите
Все сервисы и выберите AI Studio или найдите его с помощью строки поиска на дашборде. -
На открывшейся панели нажмите
AI Playground.
-
Выберите тип генерации:
- Генерация текста с учетом контекста — модель будет генерировать ответы с учетом истории диалога. Это позволит уточнить результат в процессе общения.
- Генерация текста — модель будет генерировать ответы только на основе вашего последнего сообщения и инструкции.
-
Напишите запрос в поле ввода снизу и нажмите
или Enter. Вы также можете воспользоваться примерами запроса, предлагаемыми сверху.Созданные диалоги сохраняются на панели Эксперименты справа. Нажмите
возле нужного диалога, чтобы переименовать или удалить его. -
В блоке Настройки укажите параметры генерации:
- Выберите модель генерации.
- Температура — укажите значение от
0до1, которое определяет вариативность ответа модели. Чем выше значение, тем более непредсказуемым будет результат выполнения запроса. - Инструкция — опишите требуемую задачу, стиль письма, лимиты и другие предписания для модели. Рекомендации для повышения качества генераций собраны в разделе Руководство по проектированию промптов.
- Использовать контекст — измените тип генерации.
- Использовать ассистента — если опция включена, AI Playground будет работать на основе AI Assistant API.
-
Нажмите
Дообучить модель, если нужно научить модель следовать сложному формату ответов. -
В блоке Использование модели нажмите
Посмотреть код, чтобы получить код запроса к модели через ML SDK для Python или cURL .
-
Создайте файл
generate-text.pyи добавьте в него следующий код:#!/usr/bin/env python3 from __future__ import annotations from yandex_cloud_ml_sdk import YCloudML messages = [ { "role": "system", "text": "Найди ошибки в тексте и исправь их", }, { "role": "user", "text": """Ламинат подойдет для укладке на кухне или в детской комнате – он не боиться влаги и механических повреждений благодаря защитному слою из облицованных меламиновых пленок толщиной 0,2 мм и обработанным воском замкам.""", }, ] def main(): sdk = YCloudML( folder_id="<идентификатор_каталога>", auth="<API-ключ>", ) result = ( sdk.models.chat("yandexgpt").configure(temperature=0.5).run(messages) ) for alternative in result: print(alternative) if __name__ == "__main__": main()Где:
Примечание
В качестве входных данных для запроса Yandex Cloud ML SDK может принимать строку, словарь, объект класса
TextMessageили массив, содержащий любое сочетание указанных типов данных. Подробнее см. в разделе Использование Yandex Cloud ML SDK.-
messages— массив сообщений, которые задают контекст для модели:-
role— роль отправителя сообщения:user— предназначена для отправки пользовательских сообщений к модели.system— позволяет задать контекст запроса и определить поведение модели.assistant— используется для ответов, которые генерирует модель. При работе в режиме чата ответы модели, помеченные рольюassistant, включаются в состав сообщения для сохранения контекста беседы. Не передавайте сообщения пользователя с этой ролью.
-
text— текстовое содержимое сообщения.
-
-
<идентификатор_каталога>— идентификатор каталога, в котором создан сервисный аккаунт. -
<API-ключ>— API-ключ сервисного аккаунта, полученный ранее и необходимый для аутентификации в API.В примерах используется аутентификация с помощью API-ключа. Yandex Cloud ML SDK также поддерживает аутентификацию с помощью IAM-токена и OAuth-токена. Подробнее см. в разделе Аутентификация в Yandex Cloud ML SDK.
Подробнее о том, как обращаться к определенной версии модели, см. в разделе Обращение к моделям.
-
-
Выполните созданный файл:
python3 generate-text.pyРезультат:
Alternative(role='assistant', text='Ламинат подойдёт для укладки на кухне или в детской комнате. Он не боится влаги и механических повреждений благодаря защитному слою из облицованных меламиновых плёнок толщиной 0,2 мм и обработанным воском замкам.', status=<AlternativeStatus.FINAL: 3>)