Дообучение моделей

Yandex Foundation Models позволяет дообучать по методу LoRA (Low-Rank Adaptation of Large Language Models) модели генерации текста YandexGPT Lite и Llama 8b¹, а также классификаторы на базе YandexGPT.

Дообучение моделей в Yandex Foundation Models находится на стадии Preview и предоставляется по запросу. Вы можете заполнить заявку в консоли управления.

Возможности дообучения моделей генерации текстаВозможности дообучения моделей генерации текста

Модели генерации текста не получится дообучить новой информации, например базе знаний службы поддержки. Однако вы можете обучить модель отдавать ответ в определенном формате или анализировать текст. Так, модель можно обучить:

• пересказывать и изменять формулировки текстов;
• генерировать вопросы к тексту и ответы на них;
• форматировать ответы в определенной стилистике или формате;
• классифицировать тексты, обращения и диалоги;
• извлекать сущности из текста.

Процесс дообучения в Foundation ModelsПроцесс дообучения в Foundation Models

Требования к данным для дообучения см. в разделах Дообучение моделей генерации текста и Дообучение моделей классификации.

Подготовленные данные необходимо загрузить в Yandex Cloud в виде датасета. По умолчанию вы можете загрузить до 5 ГБ данных для дообучения в один датасет. Со всеми ограничениями вы можете ознакомиться в разделе Квоты и лимиты в Yandex Foundation Models.

После загрузки датасета запустите дообучение, указав его тип и, опционально, задав параметры. Дообучение займет от 1 часа до 1 суток в зависимости от объема данных и загруженности системы.

Пример дообучения модели см. в разделе Создать дообучение в Foundation Models.

Для дообучения моделей в Foundation Models вам понадобится роль ai.editor. Она позволит загрузить данные и запустить дообучение.

ПримерыПримеры

Создать дообучение в Foundation Models.

¹ Llama создана компанией Meta. Meta признана экстремистской организацией, ее деятельность в России запрещена.