Использование групп узлов Yandex Managed Service for Kubernetes c GPU без предустановленных драйверов

Вы можете использовать группы узлов Managed Service for Kubernetes для рабочих нагрузок на видеопроцессорах (GPU) без предустановленных драйверов. Приложение GPU Operator позволит вам самостоятельно выбрать подходящую версию драйвера.

Чтобы подготовить кластер и группу узлов Managed Service for Kubernetes без предустановленных драйверов к запуску рабочих нагрузок:

1. Установите GPU Operator.
2. Проверьте правильность установки драйверов.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за кластер Managed Service for Kubernetes: использование мастера и исходящий трафик (см. тарифы Managed Service for Kubernetes).
• Плата за узлы кластера (ВМ): использование вычислительных ресурсов, операционной системы и хранилища (см. тарифы Compute Cloud).
• Плата за публичный IP-адрес, если он назначен узлам кластера (см. тарифы Virtual Private Cloud).

Перед началом работыПеред началом работы

1. Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

   По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

2. Создайте группы безопасности для кластера Managed Service for Kubernetes и входящих в него групп узлов.

   Важно

   От настройки групп безопасности зависит работоспособность и доступность кластера, а также запущенных в нем сервисов и приложений.

3. Создайте кластер Managed Service for Kubernetes любой подходящей конфигурации. При создании укажите группы безопасности, подготовленные ранее.

4. Создайте группу узлов Managed Service for Kubernetes с настройками:

   • Вычислительные ресурсы — перейдите на вкладку GPU и выберите подходящую платформу.
   • Не устанавливать драйверы GPU — выберите опцию.
   • Группы безопасности — выберите созданные ранее группы безопасности.
   • Taint-политики узла — укажите taint-политику nvidia.com/gpu=true:NoSchedule.

5. Установите kubectl и настройте его на работу с созданным кластером.

Установите GPU OperatorУстановите GPU Operator

1. Установите менеджер пакетов Helm версии не ниже 3.8.0.

2. Установите GPU Operator:

   helm repo add nvidia https://helm.ngc.nvidia.com/nvidia && \
   helm repo update && \
   helm install \
     --namespace gpu-operator \
     --create-namespace \
     --set driver.version=<версия_драйвера> \
     gpu-operator nvidia/gpu-operator
   

   Где driver.version — версия драйвера NVIDIA®. Вы можете не указывать параметр с версией драйвера, в этом случае будет установлена версия по умолчанию.

   Примечание

   Для платформы группы узлов Managed Service for Kubernetes AMD EPYC™ with NVIDIA® Ampere® A100 (gpu-standard-v3) используйте версию драйвера 515.48.07.

   GPU Operator будет установлен с параметрами по умолчанию. Подробнее о параметрах см. в официальной документации.

   Совет

   Вы можете посмотреть значения параметров в конфигурационном файле values.yaml Helm-чарта. Для этого скачайте архив Helm-чарта командой helm pull --untar nvidia/gpu-operator.

Проверьте правильность установки драйверовПроверьте правильность установки драйверов

Получите логи пода nvidia-driver-daemonset:

DRIVERS_POD_NAME="$(kubectl get pods --namespace gpu-operator | grep nvidia-driver-daemonset | awk '{print $1}')" && \
kubectl --namespace gpu-operator logs "${DRIVERS_POD_NAME}"

Они должны содержать сообщение об успешной установке драйвера, например:

Defaulted container "nvidia-driver-ctr" out of: nvidia-driver-ctr, k8s-driver-manager (init)
DRIVER_ARCH is x86_64
Creating directory NVIDIA-Linux-x86_64-535.54.03
Verifying archive integrity... OK
Uncompressing NVIDIA Accelerated Graphics Driver for Linux-x86_64 535.54.03

...

Loading NVIDIA driver kernel modules...
+ modprobe nvidia
+ modprobe nvidia-uvm
+ modprobe nvidia-modeset

...

Done, now waiting for signal

Теперь вы можете запускать рабочие нагрузки с GPU согласно руководству Запуск рабочих нагрузок с GPU.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Удалите ресурсы, которые вы больше не будете использовать, во избежание списания средств за них:

1. Удалите кластер Kubernetes.
2. Если вы создавали сервисные аккаунты, удалите их.