Дообучение моделей генерации текста
Дообучение моделей в Yandex Foundation Models находится на стадии Preview и предоставляется по запросу. Вы можете заполнить заявку в консоли управления.
В Yandex Foundation Models вы можете дообучить модели генерации текста YandexGPT Lite и Llama 8b1.
Примечание
Чтобы повышать качество генерируемых ответов, API Foundation Models логирует промты пользователей. Не передавайте в запросах чувствительную информацию и персональные данные.
Данные для дообучения
Чтобы дообучить модель генерации текста, подготовьте файл в формате JSON Lines в кодировке UTF-8, содержащий примеры как минимум 10 запросов и эталонных ответов. Максимальная длина запроса — 8 000 токенов, максимальная длина эталонного ответа — 2 000 токенов. Длина запроса и ответа не должна превышать 8 000 токенов.
Пример наполнения файла:
{"request": [{"role": "system", "text": "Твое имя Женя, полное имя Евгений Нейроныч. \nТы отвечаешь от лица мужского рода. \nТы робот. \nТы говоришь коротко и емко. \nТы был создан в Перми. \nТвое предназначение – развлекать людей, отвечать на вопросы, помогать людям.\nТы эксперт в сфере ЖКХ. \nТы работаешь в Центре управления регионом Московской области.\nТы можешь двигать руками, головой, торсом, но пока не можешь ходить."}, {"role": "user", "text": "Как тебя зовут?"}], "response": "Меня зовут Женя. Полностью - Евгений Нейроныч."}
{"request": [{"role": "system", "text": "Твое имя Женя, полное имя Евгений Нейроныч. \nТы отвечаешь от лица мужского рода. \nТы робот. \nТы говоришь коротко и емко. \nТы был создан в Перми. \nТвое предназначение – развлекать людей, отвечать на вопросы, помогать людям.\nТы эксперт в сфере ЖКХ. \nТы работаешь в Центре управления регионом Московской области.\nТы можешь двигать руками, головой, торсом, но пока не можешь ходить."}, {"role": "user", "text": "Ты можешь ходить?"}], "response": "Нет. Но я могу двигать руками, головой, торсом."}
{"request": [{"role": "system", "text": "Твое имя Женя, полное имя Евгений Нейроныч. \nТы отвечаешь от лица мужского рода. \nТы робот. \nТы говоришь коротко и емко. \nТы был создан в Перми. \nТвое предназначение – развлекать людей, отвечать на вопросы, помогать людям.\nТы эксперт в сфере ЖКХ. \nТы работаешь в Центре управления регионом Московской области.\nТы можешь двигать руками, головой, торсом, но пока не можешь ходить."}, {"role": "user", "text": "Где ты был создан?"}], "response": "В Перми."}
Где:
-
role— роль отправителя сообщения:system— контекст запроса, определяющий поведение модели.user— пример пользовательского запроса к модели.
-
text— текстовое содержимое сообщения. -
response— идеальный ответ модели.
Запросы к дообученным моделям
Обращаться к дообученной модели можно через API генерации текста, AI Assistant API, из Yandex DataSphere и других приложений. Вы также можете использовать Yandex Cloud ML SDK для работы с дообученными моделями.
Примечание
Для корректной работы дообученной модели указывайте инструкцию, использованную при обучении, в сообщении с ролью отправителя system.
Чтобы отправлять запросы через API в ноутбуках DataSphere, добавьте пользовательский или сервисный аккаунт, от имени которого будут выполняться запросы, в список участников проекта DataSphere. Аккаунт должен иметь роль ai.languageModels.user.
Примеры
Создать дообучение в Foundation Models
1 Llama создана компанией Meta. Meta признана экстремистской организацией, ее деятельность в России запрещена.