Связаться с намиПодключиться

Запустить модель в пакетном режиме

Статья создана
Обновлена 24 апреля 2025 г.

Перед началом работы

Для работы из консоли управления подготовительные действия не требуются.

  1. Создайте сервисный аккаунт и назначьте ему роль ai.editor.

  2. Получите и сохраните API-ключ сервисного аккаунта.

    В примерах используется аутентификация с помощью API-ключа. Yandex Cloud ML SDK также поддерживает аутентификацию с помощью IAM-токена и OAuth-токена. Подробнее см. в разделе Аутентификация в Yandex Cloud ML SDK.

  3. С помощью менеджера пакетов pip установите библиотеку ML SDK:

    pip install yandex-cloud-ml-sdk

Подготовьте данные

  1. Подготовьте данные для запуска модели. В зависимости от решаемой задачи и используемой модели, это может быть TextTextToTextGenerationRequest для текстовой генерации или ImageTextToTextGenerationRequest для визуально-текстовых моделей.
  2. Создайте датасет любым удобным способом. Вы также сможете создать датасет позднее на этапе запуска модели.

Запустите модель

  1. В консоли управления выберите каталог, на который у вашего аккаунта есть роли ai.playground.user и ai.datasets.editor или выше.
  2. В списке сервисов выберите Foundation Models.
  3. На панели слева нажмите и выберите Запуски в пакетном режиме.
  4. Нажмите Запустить.
  5. Выберите модель для запуска.
  6. Добавьте датасет: выберите существующий или загрузите новый файл.
  7. Задайте температуру модели.
  8. Нажмите кнопку Запустить.

  1. Создайте файл batch-run.py и добавьте в него код. :

    #!/usr/bin/env python3

from __future__ import annotations
import pathlib
from yandex_cloud_ml_sdk import YCloudML

PATH = pathlib.Path(__file__)
NAME = f'example-{PATH.parent.name}-{PATH.name}'


def local_path(path: str) -> pathlib.Path:
    return pathlib.Path(__file__).parent / path


def main() -> None:
    sdk = YCloudML(
        folder_id="<идентификатор_каталога>",
        auth="<API-ключ>",
    )

    sdk.setup_default_logging()

    
    model = sdk.models.completions('<URI_модели>')

    # Пакетный запуск вернет объект Operations
    # Вы можете отслеживать его статус или вызвать метод .wait 
    operation = model.batch.run_deferred("<идентификатор_датасета>")

    resulting_dataset = operation.wait()

    # Датасет с результатами вернется в формате Parquet
    try:
        import pyarrow 

        print('Resulting dataset lines:')
        for line in resulting_dataset.read():
            print(line)
    except ImportError:
        print('skipping dataset read; install yandex-cloud-ml-sdk[datasets] to be able to read')

if __name__ == '__main__':
    main()

    Где:

    В примерах используется аутентификация с помощью API-ключа. Yandex Cloud ML SDK также поддерживает аутентификацию с помощью IAM-токена и OAuth-токена. Подробнее см. в разделе Аутентификация в Yandex Cloud ML SDK.

  2. Выполните созданный файл:

    python3 batch-run.py

Совет

Время работы модели в пакетном режиме зависит от размеров датасета и может занимать несколько суток. Статус запуска можно отследить в консоли управления.

Предыдущая
Сгенерировать изображение
Следующая
Использовать классификаторы по промту