О сервисе Yandex Foundation Models
Сервис Yandex Foundation Models объединяет в себе несколько больших генеративных нейросетей и инструменты для эффективной работы с ними, чтобы вы могли легко использовать их возможности для развития своего бизнеса. Сервис Foundation Models входит в состав Yandex Cloud AI Studio.
С помощью моделей YandexGPT Lite и YandexGPT Pro можно создавать текстовый контент: генерировать описание товаров, статьи, новости, информационные рассылки, посты для блога и многое другое. Качество ответа нейросетей напрямую зависит от точности переданной инструкции: чем точнее вы опишете свой запрос, тем выше вероятность получить ожидаемый результат. Примеры инструкций и запросов собраны в библиотеке промтов YandexGPT. Полный список доступных генеративных текстовых моделей см. в разделе Модели генерации текста.
Также Foundation Models предоставляет API для работы с эмбеддингами — векторным представлением текстов. С его помощью вы сможете классифицировать информацию, сравнивать и сопоставлять тексты или организовать поиск по собственной базе знаний. Подробнее об эмбеддингах и работе с Embeddings API см. раздел Векторизация текста.
С помощью классификаторов на базе YandexGPT вы можете классифицировать различные тексты. Специальные модели лучше справляются с ними, чем модели YandexGPT Lite и YandexGPT Pro, а их API создан для решения задач классификации. Подробнее о поддерживаемых типах классификации см. Классификаторы на базе YandexGPT.
Для создания изображений в Foundation Models доступна нейросеть YandexART, которая поможет вам создавать детальные и реалистичные изображения по текстовому запросу. Примеры запросов собраны в библиотеке промтов YandexART.
Помимо моделей, ориентированных на работу с одим типом данных, Foundation Models предоставляет мультимодальные модели.
Ограничения сервиса Foundation Models см. в разделе Квоты и лимиты в Yandex Foundation Models.
Режимы работы с моделями Foundation Models
Модели Foundation Models имеют три режима взаимодействия: синхронный, асинхронный и пакетный. Режимы отличаются временем ответа и логикой работы.
В синхронном режиме модель получает ваш запрос и возвращает результат сразу после обработки. Задержка ответа в синхронном режиме минимальна, однако он не придет моментально: для работы модели требуется время. При включенной опции stream модель в процессе присылает промежуточные варианты генерации. Синхронный режим подходит, если вам нужно поддерживать диалог чат-бота.
В асинхронном режиме в ответ на полученный запрос модель присылает объект Operation, который содержит идентификатор выполняемой операции. По идентификатору вы можете узнать статус запроса и позже получить его результат, отправив запрос на специальный эндпоинт получения результата (его значение зависит от модели). Промежуточные результаты генерации недоступны в асинхронном режиме. Как правило, генерация результата в асинхронном режиме занимает больше времени (от пары минут до нескольких часов), чем в синхронном, но будет стоить дешевле. Асинхронный режим подходит, если ваши задачи не требуют срочного ответа.
Пакетный режим работы (batch processing) позволяет обрабатывать большой массив данных за один запрос к модели. Входные данные передаются в виде датасета, тип датасета зависит от модели. Для каждого запроса сервис Foundation Models запускает индивидуальный инстанс модели, который обрабатывает датасет, а после выключает его. Результат сохраняется в виде еще одного датасета, который вы можете скачать в формате Parquet или сразу же использовать, например, для дообучения другой модели. Генерация результата может занять несколько часов.
Разные модели поддерживают разные режимы работы.
Промт
Управление генеративными моделями осуществляется с помощью промтов. Эффективный промт должен содержать контекст запроса (инструкцию) для модели и непосредственно задание, которое модель должна выполнить, учитывая переданный контекст. Чем конкретнее составлен промт, тем более точными будут результаты работы модели.
Кроме промта на результаты генерации моделей будут влиять и другие параметры запроса. Используйте Foundation Models Playground, доступный в консоли управления, чтобы протестировать ваши запросы.