Создание окружения
Вы можете создать окружение с нуля либо создать новое окружение на основе существующего и отредактировать необходимые параметры.
Создать окружение
-
В консоли управления
выберите каталог. -
Перейдите
в сервис Managed Service for Apache Spark. -
На панели слева выберите
Окружения. -
Нажмите Создать окружение.
-
В блоке Общая информация:
-
Задайте имя окружения.
-
(Опционально) Введите описание окружения.
-
(Опционально) Создайте метки:
- Нажмите Добавить метку.
- Введите метку в формате
ключ: значение. - Нажмите Enter.
-
-
В блоке Базовое окружение выберите необходимое базовое окружение из списка.
-
В блоке Пакеты:
- Pip-пакеты — названия pip-пакетов через пробел, чтобы установить дополнительные библиотеки и приложения в окружение.
- Deb-пакеты — названия deb-пакетов через пробел, чтобы установить дополнительные библиотеки и приложения в окружение.
При необходимости задайте ограничения на версии устанавливаемых пакетов, например:
py4j>=0.10.9.7 pandas>=1.05 grpcio>=1.48,<1.57 grpcio-status>=1.48,<1.57 googleapis-common-protos==1.56.4Формат названия пакета и выбор версии определены командой установки:
pip install— для pip-пакетов,apt install— для deb-пакетов.Важно
Список пакетов нельзя изменить после создания окружения. Если вы хотите изменить список пакетов, создайте новое окружение на основе существующего и внесите необходимые изменения.
-
Нажмите Создать.
-
Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:
export IAM_TOKEN="<IAM-токен>" -
Клонируйте репозиторий cloudapi
:cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapiДалее предполагается, что содержимое репозитория находится в директории
~/cloudapi/. -
Получите список базовых окружений с помощью вызова EnvironmentService/ListBase:
grpcurl \ -format json \ -import-path ~/cloudapi/ \ -import-path ~/cloudapi/third_party/googleapis/ \ -proto ~/cloudapi/yandex/cloud/spark/v1/environment/environment_service.proto \ -rpc-header "Authorization: Bearer $IAM_TOKEN" \ -d '{ "folder_id": "<идентификатор_каталога>" }' \ spark.api.yandexcloud.kz:443 \ yandex.cloud.spark.v1.environment.EnvironmentService.ListBaseИдентификатор каталога можно получить со списком каталогов в облаке.
-
Воспользуйтесь вызовом EnvironmentService/Create, чтобы создать окружение:
grpcurl \ -format json \ -import-path ~/cloudapi/ \ -import-path ~/cloudapi/third_party/googleapis/ \ -proto ~/cloudapi/yandex/cloud/spark/v1/environment/environment_service.proto \ -rpc-header "Authorization: Bearer $IAM_TOKEN" \ -d '{ "base_id": "<идентификатор_базового_окружения>", "folder_id": "<идентификатор_каталога>", "name": "<имя_окружения>", "description": "<описание_окружения>", "labels": { "<ключ_метки>": "<значение_метки>" }, "config": { "pip_packages": [ "<pip_пакет_1>", "<pip_пакет_2>" ], "deb_packages": [ "<deb_пакет_1>", "<deb_пакет_2>" ] } }' \ spark.api.yandexcloud.kz:443 \ yandex.cloud.spark.v1.environment.EnvironmentService.CreateГде:
-
base_id— идентификатор базового окружения, полученный на предыдущем шаге; -
folder_id— идентификатор каталога; -
name— имя окружения; -
description— описание окружения; -
labels— метки окружения; -
config— параметры пакетов, которые нужно установить в окружение:pip_packages— список pip-пакетов;deb_packages— список deb-пакетов.
При необходимости задайте ограничения на версии устанавливаемых пакетов, например:
"pip_packages": [ "pandas==2.1.1", "scikit-learn>=1.0.0", "clickhouse-driver~=0.2.0" ]Формат названия пакета и выбор версии определяются командами установки:
pip install— для pip-пакетов,apt install— для deb-пакетов.
-
-
Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.
Создать новое окружение на основе существующего
- В консоли управления
выберите каталог. - Перейдите
в сервис Managed Service for Apache Spark. - На панели слева выберите
Окружения. - Выберите в списке необходимое окружение, перейдите в него и нажмите
Создать копию окружения на панели сверху. - Добавьте или измените необходимые параметры окружения.
- Нажмите Создать.