Обзор AI-моделей сервиса Yandex AI Studio
Yandex AI Studio предоставляет широкие возможности для работы с генеративным моделями для решения бизнес-задач:
- Собственные и опенсорс-модели в базовом инстансе c оплатой за потребленные токены.
- Дообучение моделей по методу LoRA.
- Готовые и дообучаемые модели классификации текста.
- Большой выбор текстовых и мультимодальных опенсорс-моделей для обработки больших объемов данных в пакетном режиме с предоплаченным минимальным объемом токенов.
- Выделенные инстансы моделей, если вам требуется обрабатывать большие объемы данных с гарантированным временем ответа.
Для работы с моделями доступны два интерфейса: AI Playground в консоли управления и различные API для создания агентов и прямого обращения к моделям.
Собственные модели Яндекса
В Model Gallery доступны разработанные в Яндексе модели генерации текста и изображений, которые вы можете использовать для бизнеса.
Самая маленькая и быстрая текстовая модель YandexGPT Lite отлично справляется с задачами, где важна скорость ответа и не требуются сложные рассуждения и глубокие познания в сложных предметных областях. Например, YandexGPT Lite можно использовать для классификации входящих сообщений пользователей, форматирования текста или суммаризации встреч.
YandexGPT Pro подойдет для решения более сложных задач: поиска по базам знаний и генерации результатов на основе найденной информации (RAG-сценарий), анализа документов, построения отчетов и аналитики, извлечения информации и автоматизации заполнения полей, форм и баз CRM.
Alice AI LLM — новая флагманская модель Яндекса — не только решает сложные задачи не хуже YandexGPT Pro, но и значительно лучше поддерживает диалог в чатовых сценариях, извлекая информацию из всего полученного контекста. Alice AI LLM отлично подойдет для создания «человеко-ориентированных» AI-ассистентов.
Текстовые модели Яндекса могут понимать около 20 языков, в том числе английский и японский, но предназначены в первую очередь для эффективной работы с текстами на русском языке. Собственный токенизатор позволяет моделям Яндекса эффективнее потреблять токены по сравнению с другими доступными моделями, что экономит ваши средства. Пример расчета стоимости использования разных моделей для решения одной задачи доступен на странице тарификации.
Кроме текстовых моделей в Model Gallery доступна моделей YandexART — генеративная нейросеть, которая создает изображения по текстовому запросу. YandexART работает по методу каскадной диффузии, итеративно детализируя изображения из шума. Вы можете указать формат итогового изображения в параметре mime_type. На данный момент поддерживается значение image/jpeg. По умолчанию YandexART генерирует изображение размером 1024 х 1024 пикселя. Этот размер может увеличиваться или уменьшаться в зависимости от заданного соотношения сторон, но не более чем на 10%. Примеры инструкций и запросов собраны в библиотеке промптов YandexART.
Текстовые модели Яндекса доступны через OpenAI-совместимые Completions API и Responses API, а также собственный API генерации текста в форматах REST и gRPC.
YandexART предоставляет собственный API генерации изображений, также доступный в форматах REST и gRPC.
Кроме того, все модели доступны через ML SDK и в AI Playground.
Режимы работы с моделями AI Studio
Модели AI Studio имеют три режима взаимодействия: синхронный, асинхронный и пакетный. Режимы отличаются временем ответа и логикой работы.
В синхронном режиме модель получает ваш запрос и возвращает результат сразу после обработки. Задержка ответа в синхронном режиме минимальна, однако он не придет моментально: для работы модели требуется время, которое зависит от модели и от загруженности системы. При включенной опции stream модель в процессе присылает промежуточные варианты генерации. Синхронный режим подходит, если вам нужно поддерживать диалог чат-бота. В синхронном режиме модели доступны в AI Playground, ML SDK, через API генерации текста, и OpenAI-совместимые API.
В асинхронном режиме в ответ на полученный запрос модель присылает объект Operation, который содержит идентификатор выполняемой операции. По идентификатору вы можете узнать статус запроса и позже получить его результат, отправив запрос на специальный эндпоинт получения результата (его значение зависит от модели). Промежуточные результаты генерации недоступны в асинхронном режиме. Как правило, генерация результата в асинхронном режиме занимает больше времени (от пары минут до нескольких часов), чем в синхронном, но будет стоить дешевле. Асинхронный режим подходит, если ваши задачи не требуют срочного ответа. В асинхронном режиме некоторые модели доступны в ML SDK, через API генерации текста и API генерации изображений.
Пакетный режим работы (batch processing) позволяет обрабатывать большой массив данных за один запрос к модели. Входные данные передаются в виде датасета, тип датасета зависит от модели. Для каждого запроса сервис AI Studio запускает индивидуальный инстанс модели, который обрабатывает датасет, а после выключает его. Результат сохраняется в виде еще одного датасета, который вы можете скачать в формате Parquet или сразу же использовать, например, для дообучения другой модели. Генерация результата может занять несколько часов. Обработать данные в пакетном режиме можно в консоли управления, с помощью ML SDK и через Batch API. Список моделей, доступных в пакетном режиме, см. в разделе Пакетная обработка данных.