Дообучение классификаторов на базе YandexGPT

В Yandex DataSphere вы можете дообучить классификаторы на базе YandexGPT. Для этого подготовьте данные для дообучения в формате JSON Lines в кодировке UTF-8 c примерами текстов и их принадлежности к классам. Структура данных в примерах будет зависеть от типа классификации, для которой обучается модель.

Чтобы дообучить классификатор YandexGPT:

1. Подготовьте инфраструктуру.
2. Подготовьте данные для обучения.
3. Дообучите классификатор.
4. Отправьте запрос к классификатору.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Перед началом работы нужно зарегистрироваться в Yandex Cloud, настроить сообщество и привязать к нему платежный аккаунт:

1. На главной странице DataSphere нажмите Попробовать бесплатно и выберите аккаунт для входа — Яндекс ID или рабочий аккаунт в федерации (SSO).
2. Выберите организацию Yandex Cloud Organization, в которой вы будете работать в Yandex Cloud.
3. Создайте сообщество.
4. Привяжите платежный аккаунт к сообществу DataSphere, в котором вы будете работать. Убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его в интерфейсе DataSphere.

Подготовьте инфраструктуруПодготовьте инфраструктуру

Войдите в консоль управления Yandex Cloud и выберите организацию, в которой вы работаете с DataSphere. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт.

Если у вас есть активный платежный аккаунт, на странице облака вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура.

Создайте каталогСоздайте каталог

Создайте сервисный аккаунт для проекта DataSphereСоздайте сервисный аккаунт для проекта DataSphere

Обращаться к дообученной модели можно через интерфейс DataSphere (Playground) или через API Foundation Models. Если вы планируете делать запросы через API, вам понадобится сервисный аккаунт с ролью ai.languageModels.user. Сервисный аккаунт должен быть участником проекта DataSphere, в котором будет дообучен классификатор.

Добавьте сервисный аккаунт в проектДобавьте сервисный аккаунт в проект

Чтобы сервисный аккаунт мог обращаться к дообученному классификатору, добавьте его в список участников проекта.

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. На вкладке Участники нажмите Добавить участника.
3. Выберите аккаунт ai-user и нажмите Добавить.

Подготовьте данные для обученияПодготовьте данные для обучения

При дообучении модели классификатора на базе YandexGPT действуют следующие ограничения:

Рекомендуется дообучать модели на датасетах, содержащих не менее 1000 примеров и не менее 100 примеров для каждого класса.

Пример наполнения файла для обучения бинарной классификации:

{"text":"у меня все в порядке","нейтральный":1,"эмоциональный":0}
{"text":"у меня все классно получилось ","нейтральный":0,"эмоциональный":1}
{"text":"вам не понять как тяжело бывает каждый день вставать на работу в шесть утра и два часа тащиться в общественном транспорте","нейтральный":0,"эмоциональный":1}
{"text":"все как всегда работа дом семья","нейтральный":1,"эмоциональный":0}

Где:

• text — текстовое содержимое сообщения.
• нейтральный и эмоциональный — два класса бинарной классификации.

Пример наполнения файла для обучения многоклассовой классификации:

{"text":"ну ничего себе и как это произошло","гнев":0,"страх":0,"радость":0,"грусть":0,"удивление":1}
{"text":"как мне быть что если об этом узнают","гнев":0,"страх":1,"радость":0,"грусть":0,"удивление":0}
{"text":"сегодня пятница и вечером мы пойдем с друзьями в клуб","гнев":0,"страх":0,"радость":1,"грусть":0,"удивление":0}
{"text":"не обманывай меня ты просто опять проспал и поэтому опоздал в школу","гнев":1,"страх":0,"радость":0,"грусть":0,"удивление":0}

Где:

• text — текстовое содержимое сообщения.
• гнев, страх, радость, грусть и удивление — классы.

Пример наполнения файла для обучения классификации с несколькими метками:

{"computer_science":0,"physics":0,"mathematics":1,"statistics":1,"quantitative_biology":0,"quantitative_finance":0,"text":"Title: Bias Reduction in Instrumental Variable Estimation through First-Stage Shrinkage\nAbstract:   The two-stage least-squares (2SLS) estimator is known to be biased when its\nfirst-stage fit is poor. I show that better first-stage prediction can\nalleviate this bias. In a two-stage linear regression model with Normal noise,\nI consider shrinkage in the estimation of the first-stage instrumental variable\ncoefficients. For at least four instrumental variables and a single endogenous\nregressor, I establish that the standard 2SLS estimator is dominated with\nrespect to bias. The dominating IV estimator applies James-Stein type shrinkage\nin a first-stage high-dimensional Normal-means problem followed by a\ncontrol-function approach in the second stage. It preserves invariances of the\nstructural instrumental variable equations.\n"}
{"computer_science":0,"physics":0,"mathematics":1,"statistics":0,"quantitative_biology":0,"quantitative_finance":0,"text":"Title: Essentially Finite Vector Bundles on Normal Pseudo-proper Algebraic Stacks\nAbstract:   Let $X$ be a normal, connected and projective variety over an algebraically\nclosed field $k$. It is known that a vector bundle $V$ on $X$ is essentially\nfinite if and only if it is trivialized by a proper surjective morphism $f:Y\\to\nX$. In this paper we introduce a different approach to this problem which\nallows to extend the results to normal, connected and strongly pseudo-proper\nalgebraic stack of finite type over an arbitrary field $k$.\n"}
{"computer_science":1,"physics":0,"mathematics":0,"statistics":1,"quantitative_biology":0,"quantitative_finance":0,"text":"Title: MOLIERE: Automatic Biomedical Hypothesis Generation System\nAbstract:   Hypothesis generation is becoming a crucial time-saving technique which\nallows biomedical researchers to quickly discover implicit connections between\nimportant concepts. Typically, these systems operate on domain-specific\nfractions of public medical data. MOLIERE, in contrast, utilizes information\nfrom over 24.5 million documents. At the heart of our approach lies a\nmulti-modal and multi-relational network of biomedical objects extracted from\nseveral heterogeneous datasets from the National Center for Biotechnology\nInformation (NCBI). These objects include but are not limited to scientific\npapers, keywords, genes, proteins, diseases, and diagnoses. We model hypotheses\nusing Latent Dirichlet Allocation applied on abstracts found near shortest\npaths discovered within this network, and demonstrate the effectiveness of\nMOLIERE by performing hypothesis generation on historical data. Our network,\nimplementation, and resulting data are all publicly available for the broad\nscientific community.\n"}

Где:

• computer_science, physics, mathematics, statistics, quantitative_biology и quantitative_finance — классы.

• text — текстовое содержимое сообщения:

  • Title — заголовок сообщения.
  • Abstract — основной текст сообщения.

После завершения обучения вы получите идентификатор модели, дообученной под задачи классификации. Этот идентификатор нужно передавать в поле modelUri тела запроса в методе classify Text Classification API.

Дообучите модельДообучите модель

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. На панели слева нажмите Фундаментальные модели.

3. Выберите модель Классификатор YandexGPT и нажмите Дообучить модель.

4. В открывшемся окне укажите свой проект и нажмите Добавить.

5. В поле Имя введите название модели.

6. Выберите Тип классификации:

   • Бинарная — если каждый запрос относится к одной из двух групп.
   • Многоклассовая — если нужно разделить множество запросов на несколько групп.
   • С несколькими метками — если у каждого запроса может быть больше одной группы.

7. Прикрепите файл JSON с парами запросов и классов в поле Файл с примерами.

8. Нажмите Запустить дообучение и дождитесь окончания дообучения. Это может занять несколько часов.

9. Чтобы проверить статус дообученной модели:

   • Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

   • В списке доступных ресурсов проекта выберите Модели.

   • На вкладке Собственные выберите Дообученные фундаментальные модели.

     Также здесь можно получить идентификатор модели, который потребуется для запроса через API.

Отправьте запрос к дообученному классификаторуОтправьте запрос к дообученному классификатору

Как удалить созданные ресурсыКак удалить созданные ресурсы

Удалите проект.