Дообучение моделей
Yandex AI Studio позволяет дообучать по методу LoRA (Low-Rank Adaptation of Large Language Models) модель генерации текста YandexGPT Lite, классификаторы на базе YandexGPT Lite и модель эмбеддингов.
Дообучение моделей в Yandex AI Studio находится на стадии Preview.
Возможности дообучения моделей генерации текста
Модели генерации текста не получится дообучить новой информации, например базе знаний службы поддержки. Однако вы можете обучить модель отдавать ответ в определенном формате или анализировать текст. Так, модель можно обучить:
- пересказывать и изменять формулировки текстов;
- генерировать вопросы к тексту и ответы на них;
- форматировать ответы в определенной стилистике или формате;
- классифицировать тексты, обращения и диалоги;
- извлекать сущности из текста;
- дообучать модели классификации и эмбедингов.
Процесс дообучения в AI Studio
Требования к данным для дообучения см. в разделах Датасеты для генерации текста, Датасеты для классификации текста и Датасеты для эмбеддингов.
Подготовленные данные необходимо загрузить в Yandex Cloud в виде датасета. По умолчанию вы можете загрузить до 5 ГБ данных для дообучения в один датасет. Со всеми ограничениями вы можете ознакомиться в разделе Квоты и лимиты в Yandex AI Studio.
После загрузки датасета запустите дообучение, указав его тип и, опционально, задав параметры. Дообучение займет от 1 часа до 1 суток в зависимости от объема данных и загруженности системы.
Примеры дообучения моделей доступны в разделах Дообучить модель генерации текста, Дообучить модель классификации текста и Дообучить модель эмбеддингов.
Для дообучения моделей в AI Studio вам понадобится роль ai.editor. Она позволит загрузить данные и запустить дообучение.
Запросы к дообученным моделям
После завершения обучения вы получите идентификатор дообученной модели. Этот идентификатор нужно передавать в поле modelUri тела запроса. Обращаться к дообученной модели генерации текста можно через API генерации текста, AI Assistant API, из Yandex DataSphere и других приложений. Чтобы отправить запрос дообученному классификатору, используйте метод classify Text Classification API. Вы также можете использовать Yandex Cloud ML SDK для работы с дообученными моделями.
Примечание
Для корректной работы дообученной модели указывайте инструкцию, использованную при обучении, в сообщении с ролью отправителя system.
Чтобы отправлять запросы через API в ноутбуках DataSphere, добавьте пользовательский или сервисный аккаунт, от имени которого будут выполняться запросы, в список участников проекта DataSphere. Аккаунт должен иметь роль ai.languageModels.user.