Связаться с экспертомПопробовать бесплатно

Создание окружения

Статья создана
Обновлена 26 августа 2026 г.
Открыть в Markdown

Вы можете создать окружение с нуля либо создать новое окружение на основе существующего и отредактировать необходимые параметры.

Создать окружение

  1. В консоли управления выберите каталог.

  2. Перейдите в сервис Managed Service for Apache Spark.

  3. На панели слева выберите Окружения.

  4. Нажмите Создать окружение.

  5. В блоке Общая информация:

    1. Задайте имя окружения.

    2. (Опционально) Введите описание окружения.

    3. (Опционально) Создайте метки:

      1. Нажмите Добавить метку.
      2. Введите метку в формате ключ: значение.
      3. Нажмите Enter.

  6. В блоке Базовое окружение выберите необходимое базовое окружение из списка.

  7. В блоке Пакеты:

    • Pip-пакеты — названия pip-пакетов через пробел, чтобы установить дополнительные библиотеки и приложения в окружение.
    • Deb-пакеты — названия deb-пакетов через пробел, чтобы установить дополнительные библиотеки и приложения в окружение.

    При необходимости задайте ограничения на версии устанавливаемых пакетов, например:

    py4j>=0.10.9.7 pandas>=1.05 grpcio>=1.48,<1.57 grpcio-status>=1.48,<1.57 googleapis-common-protos==1.56.4

    Формат названия пакета и выбор версии определены командой установки: pip install — для pip-пакетов, apt install — для deb-пакетов.

    Важно

    Список пакетов нельзя изменить после создания окружения. Если вы хотите изменить список пакетов, создайте новое окружение на основе существующего и внесите необходимые изменения.

  8. Нажмите Создать.

  1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

    export IAM_TOKEN="<IAM-токен>"

  2. Клонируйте репозиторий cloudapi:

    cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi

    Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

  3. Получите список базовых окружений с помощью вызова EnvironmentService/ListBase:

    grpcurl \
  -format json \
  -import-path ~/cloudapi/ \
  -import-path ~/cloudapi/third_party/googleapis/ \
  -proto ~/cloudapi/yandex/cloud/spark/v1/environment/environment_service.proto \
  -rpc-header "Authorization: Bearer $IAM_TOKEN" \
  -d '{
         "folder_id": "<идентификатор_каталога>"
     }' \
  spark.api.cloud.yandex.net:443 \
  yandex.cloud.spark.v1.environment.EnvironmentService.ListBase

    Идентификатор каталога можно получить со списком каталогов в облаке.

  4. Воспользуйтесь вызовом EnvironmentService/Create, чтобы создать окружение:

    grpcurl \
  -format json \
  -import-path ~/cloudapi/ \
  -import-path ~/cloudapi/third_party/googleapis/ \
  -proto ~/cloudapi/yandex/cloud/spark/v1/environment/environment_service.proto \
  -rpc-header "Authorization: Bearer $IAM_TOKEN" \
  -d '{
         "base_id": "<идентификатор_базового_окружения>",
         "folder_id": "<идентификатор_каталога>",
         "name": "<имя_окружения>",
         "description": "<описание_окружения>",
         "labels": {
           "<ключ_метки>": "<значение_метки>"
         },
         "config": {
           "pip_packages": [
             "<pip_пакет_1>",
             "<pip_пакет_2>"
           ],
           "deb_packages": [
             "<deb_пакет_1>",
             "<deb_пакет_2>"
           ]
         }
     }' \
  spark.api.cloud.yandex.net:443 \
  yandex.cloud.spark.v1.environment.EnvironmentService.Create

    Где:

    • base_id — идентификатор базового окружения, полученный на предыдущем шаге;

    • folder_id — идентификатор каталога;

    • name — имя окружения;

    • description — описание окружения;

    • labels — метки окружения;

    • config — параметры пакетов, которые нужно установить в окружение:

      • pip_packages — список pip-пакетов;
      • deb_packages — список deb-пакетов.

      При необходимости задайте ограничения на версии устанавливаемых пакетов, например:

      "pip_packages": [
  "pandas==2.1.1",
  "scikit-learn>=1.0.0",
  "clickhouse-driver~=0.2.0"
]

      Формат названия пакета и выбор версии определяются командами установки: pip install — для pip-пакетов, apt install — для deb-пакетов.

  5. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Создать новое окружение на основе существующего

  1. В консоли управления выберите каталог.
  2. Перейдите в сервис Managed Service for Apache Spark.
  3. На панели слева выберите Окружения.
  4. Выберите в списке необходимое окружение, перейдите в него и нажмите Создать копию окружения на панели сверху.
  5. Добавьте или измените необходимые параметры окружения.
  6. Нажмите Создать.
Предыдущая
Удаление кластера
Следующая
Изменение окружения