Связаться с намиПодключиться

Создать датасет для дообучения модели классификации текста

Статья создана
Улучшена
Обновлена 26 марта 2025 г.

Перед началом работы

Чтобы воспользоваться примерами:

Для работы из консоли управления подготовительные действия не требуются.

  1. Создайте сервисный аккаунт и назначьте ему роль ai.editor.

  2. Получите и сохраните API-ключ сервисного аккаунта.

    В примерах используется аутентификация с помощью API-ключа. Yandex Cloud ML SDK также поддерживает аутентификацию с помощью IAM-токена и OAuth-токена. Подробнее см. в разделе Аутентификация в Yandex Cloud ML SDK.

  3. С помощью менеджера пакетов pip установите библиотеку ML SDK:

    pip install yandex-cloud-ml-sdk

  1. Получите данные для аутентификации в API, как описано в разделе Аутентификация в API Yandex Foundation Models.

  2. Установите gRPCurl.

  3. Чтобы воспользоваться примерами, установите cURL.

  4. (Опционально) Установите утилиту jq для потоковой обработки JSON-файлов.

  5. Получите IAM-токен для аутентификации в API.

    Примечание

    У IAM-токена короткое время жизни — не более 12 часов.

Загрузите датасет

В зависимости от типа классификации, для которого будет использоваться дообученная модель, подготовьте данные для дообучения модели в формате JSON Lines в кодировке UTF-8. Если вы хотите разбить данные на два датасета для обучения и валидации, повторите следующие шаги для каждого датасета. Используйте полученные в результате загрузки идентификаторы при запуске дообучения.

Создайте датасет для дообучения:

  1. В консоли управления выберите каталог, на который у вашего аккаунта есть роли ai.playground.user и ai.datasets.editor или выше.

  2. В списке сервисов выберите Foundation Models.

  3. На панели слева нажмите Датасеты.

  4. Нажмите Создать датасет.

  5. Введите имя и описания датасета. Требования к имени:

    • длина — от 2 до 63 символов;
    • может содержать строчные буквы латинского алфавита, цифры и дефисы;
    • первый символ — буква, последний — не дефис.

  6. В поле Тип выберите тип классификации: Классификация c несколькими метками или Многоклассовая классификация.

  7. (Опционально) Добавьте или удалите метки датасета. Они позволяют сгруппировать ресурсы в логические группы.

  8. Нажмите Выбрать файл или перетащите созданный ранее JSON-файл в зону загрузки.

  9. Нажмите Создать датасет.

  1. Создайте файл dataset-create.py и добавьте в него код:

    #!/usr/bin/env python3

from __future__ import annotations

import pathlib
from yandex_cloud_ml_sdk import YCloudML
from yandex_cloud_ml_sdk.auth import YandexCloudCLIAuth


def main() -> None:

    sdk = YCloudML(
        folder_id="<идентификатор_каталога>",
        auth="<API-ключ>",
    )

    # Так можно посмотреть список всех загруженных датасетов
    for dataset in sdk.datasets.list():
        print(f"List of existing datasets {dataset=}")

    # Так можно удалить все ранее загруженные датасеты
    for dataset in sdk.datasets.list():
        dataset.delete()

    # Создаем датасет для дообучения базовой модели YandexGPT Lite
    dataset_draft = sdk.datasets.draft_from_path(
        task_type="<тип_классификации>",
        path="<путь_к_файлу>",
        upload_format="jsonlines",
        name="multiclass",
    )

    # Дождемся окончания загрузки данных и создания датасета
    operation = dataset_draft.upload_deferred()
    tuning_dataset = operation.wait()
    print(f"new {tuning_dataset=}")


if __name__ == "__main__":
    main()

    Где:

    • <идентификатор_каталога> — идентификатор каталога, в котором создан сервисный аккаунт.

    • <API-ключ> — API-ключ сервисного аккаунта, полученный ранее и необходимый для аутентификации в API.

      В примерах используется аутентификация с помощью API-ключа. Yandex Cloud ML SDK также поддерживает аутентификацию с помощью IAM-токена и OAuth-токена. Подробнее см. в разделе Аутентификация в Yandex Cloud ML SDK.

    • <тип_классификации> — тип классификации, для которой с помощью создаваемого датасета будет дообучаться модель. Возможные значения:

      • TextClassificationMultilabel — бинарная классификация или классификация с несколькими метками.
      • TextClassificationMulticlass — многоклассовая классификация.

    • <путь_к_файлу> — путь к файлу, содержащему заранее подготовленные примеры для дообучения модели.

  2. Выполните созданный файл:

    python3 dataset-create.py

    Результат:

    new tuning_dataset=Dataset(id='fds6vl5ttl0n********', folder_id='b1gt6g8ht345********', name='YandexGPT 
Lite tuning', description=None, metadata=None, created_by='ajegtlf2q28a********', created_at=datetime.
datetime(2025, 3, 13, 8, 12, 43), updated_at=datetime.datetime(2025, 3, 13, 8, 13, 17), labels=None, 
allow_data_logging=False, status=<DatasetStatus.READY: 3>, task_type='TextClassificationMulticlass', 
rows=4, size_bytes=5679, validation_errors=())

    Сохраните идентификатор созданного датасета (значение поля id) — он понадобится при дообучении модели.

  1. Создайте датасет:

    grpcurl \
  -H "Authorization: Bearer <IAM-токен>" \
  -d @ \
  llm.api.cloud.yandex.net:443 yandex.cloud.ai.dataset.v1.DatasetService/Create <<EOM
  {
    "folder_id": "<идентификатор_каталога>", 
    "name": "My awesome dataset", 
    "task_type": "<тип_классификации>", 
    "upload_format": "jsonlines"
  }
EOM

    Где:

    • <IAM-токен> — IAM-токен сервисного аккаунта, полученный перед началом работы.

    • <идентификатор_каталога> — идентификатор каталога, в котором создается датасет.

    • <тип_классификации> — тип классификации, для которой с помощью создаваемого датасета будет дообучаться модель. Возможные значения:

      • TextClassificationMultilabel — бинарная классификация или классификация с несколькими метками.
      • TextClassificationMulticlass — многоклассовая классификация.

    Результат:

    {
  "datasetId": "fds8hd01tset********",
  "dataset": {
    "datasetId": "fds8hd01tset********",
    "folderId": "b1gt6g8ht345********",
    "name": "My awesome dataset",
    "status": "DRAFT",
    "taskType": "<указанный_в_запросе_тип_задачи>",
    "createdAt": "2025-01-20T14:51:34Z",
    "updatedAt": "2025-01-20T14:51:34Z",
    "createdById": "ajeg2b2et02f********",
    "createdBy": "ajeg2b2et02f********"
  }
}

    Сохраните идентификатор созданного датасета (значение поля datasetId) он понадобится при загрузке данных в датасет.

  2. Получите ссылку, по которой вы сможете загрузить данные в датасет:

    grpcurl \
  -H "Authorization: Bearer <IAM-токен>" \
  -d '{"dataset_id": "<идентификатор_датасета>", "size_bytes": <размер_датасета>}' \
  llm.api.cloud.yandex.net:443 yandex.cloud.ai.dataset.v1.DatasetService/GetUploadDraftUrl | jq

    Где:

    • <IAM-токен> — IAM-токен сервисного аккаунта, полученный перед началом работы.
    • <идентификатор_датасета> — идентификатор датасета, сохраненный на предыдущем шаге.
    • <размер_датасета> — размер в байтах файла с данными для дообучения. В терминале получить размер файла можно с помощью команды ls -l <путь_к_файлу>.

    Результат:

    {
  "datasetId": "fdso08c1u1cq********",
  "uploadUrl": "https://storage.yandexcloud.net/ai-fomo-drafts-prod/b1gt6g8ht345********/fdso08c1u1cq********?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Date=20250120T105352Z&X-Amz-SignedHeaders=content-length%3Bhost&X-Amz-Expires=86400&X-Amz-Credential=YCAJE_WuJJ9D1r6huCoc8I3yO%2F20250120%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Signature=611d7951994ae939acf4d32cc0c154c738d02adb2a04707a704f34ca********"
}

    Поле uploadUrl ответа содержит ссылку, по которой вы сможете загрузить ваши данные в датасет.

    Совет

    Если вы не использовали утилиту jq, в полученной ссылке замените все последовательности символов \u0026 на &, чтобы использовать ее для загрузки датасета.

  3. Загрузите данные, указав полученную на предыдущем шаге ссылку и путь к файлу с данными для дообучения:

    curl \
  --request PUT \
  --upload-file <путь_к_файлу> \
  "<ссылка>"

  4. После окончания загрузки данных запустите валидацию датасета:

    grpcurl \
  -H "Authorization: Bearer <IAM-токен>" \
  -d '{"dataset_id": "<идентификатор_датасета>"}' \
  llm.api.cloud.yandex.net:443 yandex.cloud.ai.dataset.v1.DatasetService/Validate

    Где:

    • <IAM-токен> — IAM-токен сервисного аккаунта, полученный перед началом работы.
    • <идентификатор_датасета> — идентификатор датасета, сохраненный ранее.

    Результат:

    {
  "id": "fdso01v2jdd4********",
  "createdAt": "2025-01-20T11:03:48Z",
  "modifiedAt": "2025-01-20T11:03:48Z"
}

    Сохраните идентификатор операции валидации (поле id) — он понадобится на следующем шаге.

  5. Валидация датасета может занять некоторое время. Чтобы узнать статус операции и, при наличии, получить отчет о возникших ошибках, отправьте запрос:

    grpcurl \
  -H "Authorization: Bearer <IAM-токен>" \
  -d '{"operation_id": "<идентификатор_операции_валидации>"}' \
  llm.api.cloud.yandex.net:443 yandex.cloud.operation.OperationService/Get

    Где:

    • <IAM-токен> — IAM-токен сервисного аккаунта, полученный перед началом работы.
    • <идентификатор_операции_валидации> — идентификатор операции валидации, сохраненный на предыдущем шаге.

    Результат:

    {
  "id": "fdso01v2jdd4********",
  "createdAt": "2025-01-20T11:03:48Z",
  "modifiedAt": "2025-01-20T11:04:46Z",
  "done": true,
  "response": {
    "@type": "type.googleapis.com/yandex.cloud.ai.dataset.v1.ValidateDatasetResponse",
    "datasetId": "fdso08c1u1cq********",
    "isValid": true
  }
}

    Значение поля isValid — true. Значит, валидация загруженного датасета прошла успешно.

Предыдущая
Создать датасет для дообучения генерации текста
Следующая
Дообучить модель генерации текста