Использование групп узлов c GPU без предустановленных драйверов

Вы можете использовать группы узлов Managed Service for Kubernetes для рабочих нагрузок на видеопроцессорах (GPU) без предустановленных драйверов. Приложение GPU Operator позволит вам самостоятельно выбрать подходящую версию драйвера.

Чтобы подготовить кластер и группу узлов Managed Service for Kubernetes без предустановленных драйверов к запуску рабочих нагрузок:

1. Установите GPU Operator.
2. Проверьте правильность установки драйверов.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за кластер Managed Service for Kubernetes: использование мастера и исходящий трафик (см. тарифы Managed Service for Kubernetes).
• Плата за узлы кластера (ВМ): использование вычислительных ресурсов, операционной системы и хранилища (см. тарифы Compute Cloud).
• Плата за публичный IP-адрес, если он назначен узлам кластера (см. тарифы Virtual Private Cloud).

Перед началом работыПеред началом работы

1. Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

   По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

2. Создайте группы безопасности для кластера Managed Service for Kubernetes и входящих в него групп узлов.

   Важно

   От настройки групп безопасности зависит работоспособность и доступность кластера, а также запущенных в нем сервисов и приложений.

3. Создайте кластер Managed Service for Kubernetes любой подходящей конфигурации. При создании укажите группы безопасности, подготовленные ранее.

4. Создайте группу узлов Managed Service for Kubernetes с настройками:

   • Вычислительные ресурсы — перейдите на вкладку GPU и выберите подходящую платформу.
   • Не устанавливать драйверы GPU — выберите опцию.
   • Группы безопасности — выберите созданные ранее группы безопасности.
   • Taint-политики узла — укажите taint-политику nvidia.com/gpu=true:NoSchedule.

5. Установите kubectl и настройте его на работу с созданным кластером.

Требования к версиям компонентовТребования к версиям компонентов

Начиная с версии Kubernetes 1.30 для корректной работы группы узлов с GPU без предустановленных драйверов требуются:

• GPU Operator версии 24.9.0 или выше.
• Драйвер NVIDIA версии 550.144.03 или выше.

При использовании компонентов более старых версий могут возникнуть ошибки компиляции драйверов.

Установите GPU OperatorУстановите GPU Operator

1. Установите менеджер пакетов Helm версии не ниже 3.8.0.

2. Установите GPU Operator:

   helm repo add nvidia https://helm.ngc.nvidia.com/nvidia && \
   helm repo update && \
   helm install \
     --namespace gpu-operator \
     --create-namespace \
     --set driver.version=<версия_драйвера> \
     gpu-operator nvidia/gpu-operator
   

   Где driver.version — версия драйвера NVIDIA®. Вы можете не указывать параметр с версией драйвера, в этом случае будет установлена версия по умолчанию.

   Примечание

   Рекомендуемые версии драйверов:

   • Для групп узлов версии Kubernetes 1.30 или выше — версия 550.144.03 или выше.

   • Для групп узлов на платформе AMD EPYC™ with NVIDIA® Ampere® A100 (gpu-standard-v3) — версия 515.48.07.

   GPU Operator будет установлен с параметрами по умолчанию. Подробнее о параметрах см. в официальной документации.

   Совет

   Вы можете посмотреть значения параметров в конфигурационном файле values.yaml Helm-чарта. Для этого скачайте архив Helm-чарта командой helm pull --untar nvidia/gpu-operator.

Проверьте правильность установки драйверовПроверьте правильность установки драйверов

Получите логи пода nvidia-driver-daemonset:

DRIVERS_POD_NAME="$(kubectl get pods --namespace gpu-operator | grep nvidia-driver-daemonset | awk '{print $1}')" && \
kubectl --namespace gpu-operator logs "${DRIVERS_POD_NAME}"

Они должны содержать сообщение об успешной установке драйвера, например:

Defaulted container "nvidia-driver-ctr" out of: nvidia-driver-ctr, k8s-driver-manager (init)
DRIVER_ARCH is x86_64
Creating directory NVIDIA-Linux-x86_64-<версия_драйвера>
Verifying archive integrity... OK
Uncompressing NVIDIA Accelerated Graphics Driver for Linux-x86_64 <версия_драйвера>

...

Loading NVIDIA driver kernel modules...
+ modprobe nvidia
+ modprobe nvidia-uvm
+ modprobe nvidia-modeset

...

Done, now waiting for signal

Теперь вы можете запускать рабочие нагрузки с GPU согласно руководству Запуск рабочих нагрузок с GPU.

Решение проблемРешение проблем

Ошибки компиляции драйверовОшибки компиляции драйверов

Если при установке драйверов возникают ошибки компиляции:

1. Убедитесь, что установлен GPU Operator версии 24.9.0 или выше:

   helm list -n gpu-operator
   

2. Используйте предварительно скомпилированные драйверы:

   helm upgrade gpu-operator nvidia/gpu-operator \
     --namespace gpu-operator \
     --set driver.usePrecompiled=true \
     --set driver.version=550.144.03
   

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Удалите ресурсы, которые вы больше не будете использовать, во избежание списания средств за них:

1. Удалите кластер Kubernetes.
2. Если вы создавали сервисные аккаунты, удалите их.