О сервисе Yandex Foundation Models
Сервис Yandex Foundation Models находится на стадии Preview.
Cервис Yandex Foundation Models объединяет в себе несколько больших генеративных нейросетей и позволяет вам использовать их возможности для развития своего бизнеса.
Нейросеть YandexGPT умеет решать различные задачи, связанные с созданием текстового контента. YandexGPT API может генерировать описание товаров, статьи, новости, информационные рассылки, посты для блога и многое другое. Качество ответа нейросети напрямую зависит от точности переданной инструкции: чем точнее вы опишете свой запрос, тем выше вероятность получить ожидаемый результат. Примеры инструкций и запросов собраны в библиотеке промтов YandexGPT API.
Foundation Models предоставляет API для работы с эмбеддингами — векторным представлением текстов. С его помощью вы сможете классифицировать информацию, сравнивать и сопоставлять тексты или организовать поиск по собственной базе знаний. Подробнее об эмбеддингах и работе с Embeddings API см. раздел Векторизация текста.
Нейросеть YandexART поможет вам создавать детальные и реалистичные изображения по текстовому запросу. Примеры запросов собраны в библиотеке промтов YandexART.
Сейчас сервис активно развивается, его функциональность постоянно дополняется и совершенствуется.
Ограничения сервиса Foundation Models см. в разделе Квоты и лимиты в Yandex Foundation Models.
Режимы работы с моделями Foundation Models
Модели Foundation Models имеют два режима взаимодействия: синхронный и асинхронный. Режимы отличаются временем ответа и логикой работы.
В синхронном режиме модель получает ваш запрос и возвращает результат сразу после обработки. Задержка ответа в синхронном режиме минимальна, однако он не придет моментально: для работы модели требуется время. При включенной опции stream модель в процессе присылает промежуточные варианты генерации. Синхронный режим подходит, если вам нужно поддерживать диалог чат-бота.
В асинхронном режиме в ответ на полученный запрос модель присылает объект Operation, который содержит идентификатор выполняемой операции. По идентификатору вы можете узнать статус запроса и позже получить его результат, отправив запрос на специальный эндпоинт получения результата. Промежуточные результаты генерации недоступны в асинхронном режиме. Как правило, генерация результата в асинхронном режиме занимает больше времени (от пары минут до нескольких часов), чем в синхронном, но будет стоить дешевле. Асинхронный режим подходит, если ваши задачи не требуют срочного ответа.
Разные модели поддерживают разные режимы работы.
Промт
Управление генеративными моделями осуществляется с помощью промтов. Эффективный промт должен содержать контекст запроса (инструкцию) для модели и непосредственно задание, которое модель должна выполнить, учитывая переданный контекст. Чем конкретнее составлен промт, тем более точными будут результаты работы модели.
Кроме промта на результаты генерации моделей будут влиять и другие параметры запроса. Используйте Foundation Models Playground, доступный в консоли управления, чтобы протестировать ваши запросы.