О сервисе Yandex Foundation Models
Cервис Yandex Foundation Models объединяет в себе несколько больших генеративных нейросетей и инструменты для эффективной работы с ними, чтобы вы могли легко использовать их возможности для развития своего бизнеса. Сервис Foundation Models входит в состав Yandex Cloud AI Studio.
YandexGPT API предоставляет модели создания текстового контента. С его помощью можно генерировать описание товаров, статьи, новости, информационные рассылки, посты для блога и многое другое. Качество ответа нейросети напрямую зависит от точности переданной инструкции: чем точнее вы опишете свой запрос, тем выше вероятность получить ожидаемый результат. Примеры инструкций и запросов собраны в библиотеке промтов YandexGPT API. Полный список доступных генеративных текстовых моделей см. в разделе Модели YandexGPT API.
Также Foundation Models предоставляет API для работы с эмбеддингами — векторным представлением текстов. С его помощью вы сможете классифицировать информацию, сравнивать и сопоставлять тексты или организовать поиск по собственной базе знаний. Подробнее об эмбеддингах и работе с Embeddings API см. раздел Векторизация текста.
С помощью классификаторов на базе YandexGPT вы можете классифицировать различные тексты. Специальные модели лучше справляются с ними, чем модели YandexGPT Lite и YandexGPT Pro, а их API создан для решения задач классификации. Подробнее о поддерживаемых типах классификации см. Классификаторы на базе YandexGPT.
Для создания изображений в Foundation Models доступна нейросеть YandexART, которая поможет вам создавать детальные и реалистичные изображения по текстовому запросу. Примеры запросов собраны в библиотеке промтов YandexART.
Ограничения сервиса Foundation Models см. в разделе Квоты и лимиты в Yandex Foundation Models.
Режимы работы с моделями Foundation Models
Модели Foundation Models имеют два режима взаимодействия: синхронный и асинхронный. Режимы отличаются временем ответа и логикой работы.
В синхронном режиме модель получает ваш запрос и возвращает результат сразу после обработки. Задержка ответа в синхронном режиме минимальна, однако он не придет моментально: для работы модели требуется время. При включенной опции stream модель в процессе присылает промежуточные варианты генерации. Синхронный режим подходит, если вам нужно поддерживать диалог чат-бота.
В асинхронном режиме в ответ на полученный запрос модель присылает объект Operation, который содержит идентификатор выполняемой операции. По идентификатору вы можете узнать статус запроса и позже получить его результат, отправив запрос на специальный эндпоинт получения результата. Промежуточные результаты генерации недоступны в асинхронном режиме. Как правило, генерация результата в асинхронном режиме занимает больше времени (от пары минут до нескольких часов), чем в синхронном, но будет стоить дешевле. Асинхронный режим подходит, если ваши задачи не требуют срочного ответа.
Разные модели поддерживают разные режимы работы.
Промт
Управление генеративными моделями осуществляется с помощью промтов. Эффективный промт должен содержать контекст запроса (инструкцию) для модели и непосредственно задание, которое модель должна выполнить, учитывая переданный контекст. Чем конкретнее составлен промт, тем более точными будут результаты работы модели.
Кроме промта на результаты генерации моделей будут влиять и другие параметры запроса. Используйте Foundation Models Playground, доступный в консоли управления, чтобы протестировать ваши запросы.