Запуск языковой модели DeepSeek-R1 в кластере GPU Yandex Compute Cloud

С помощью этой инструкции вы создадите кластер GPU из двух виртуальных машин и запустите в кластере языковую модель DeepSeek-R1.

Чтобы запустить языковую модель в кластере GPU:

1. Подготовьте облако к работе.
2. Создайте кластер GPU из двух ВМ.
3. Проверьте состояние кластера.
4. Запустите языковую модель.
5. Проверьте работу языковой модели.

Если созданные ресурсы вам больше не нужны, удалите их.

Подготовьте облако к работеПодготовьте облако к работе

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Убедитесь, что в облаке достаточно квот на суммарное количество кластеров GPU, суммарное количество GPU на платформе AMD EPYC™ 9474F with Gen2, объем RAM, количество vCPU и объем SSD-дисков для создания ВМ. Для этого используйте сервис Yandex Cloud Quota Manager.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки инфраструктуры входят:

• плата за постоянно работающие ВМ и диски (см. тарифы Yandex Compute Cloud).

Создайте кластер GPU из двух ВМСоздайте кластер GPU из двух ВМ

Создайте кластер GPUСоздайте кластер GPU

Добавьте две ВМ в кластерДобавьте две ВМ в кластер

1. Создайте первую ВМ:

   Консоль управления

   1. На панели слева выберите Виртуальные машины.

   2. Нажмите кнопку Создать виртуальную машину.

   3. В блоке Образ загрузочного диска выберите публичный образ Ubuntu 20.04 LTS Secure Boot CUDA 12.2.

   4. В поле Зона доступности выберите зону доступности ru-central1-d.

   5. В блоке Диски и файловые хранилища выберите тип диска SSD и задайте размер 800 ГБ.

   6. В блоке Вычислительные ресурсы перейдите на вкладку Своя конфигурация и укажите необходимую платформу, количество GPU и кластер:

      • Платформа — AMD Epyc 9474F with Gen2.
      • GPU — 8.
      • Кластер GPU — выберите ранее созданный кластер test-gpu-cluster.

   7. В блоке Доступ выберите вариант SSH-ключ и укажите данные для доступа на ВМ:

      • В поле Логин введите имя пользователя, например: ubuntu. Не используйте имя root или другие имена, зарезервированные ОС. Для выполнения операций, требующих прав суперпользователя, используйте команду sudo.

      • В поле SSH-ключ выберите SSH-ключ, сохраненный в вашем профиле пользователя организации.

        Если в вашем профиле нет сохраненных SSH-ключей или вы хотите добавить новый ключ:

        • Нажмите кнопку Добавить ключ.
        • Задайте имя SSH-ключа.
        • Загрузите или вставьте содержимое открытого SSH-ключа. Пару SSH-ключей для подключения к ВМ по SSH необходимо создать самостоятельно.
        • Нажмите кнопку Добавить.

        SSH-ключ будет добавлен в ваш профиль пользователя организации.

        Если в организации отключена возможность добавления пользователями SSH-ключей в свои профили, добавленный открытый SSH-ключ будет сохранен только в профиле пользователя создаваемой виртуальной машины.

   8. Нажмите Создать ВМ.

2. Аналогично создайте вторую ВМ.

Проверьте состояние кластераПроверьте состояние кластера

Опционально вы можете:

• Проверить физическое состояние кластера;
• Запустить параллельные задачи в кластере;
• Проверить пропускную способность InfiniBand.

Запустите языковую модельЗапустите языковую модель

1. Подключитесь по протоколу SSH к обеим ВМ.

2. Добавьте текущего пользователя в группу docker:

   sudo groupadd docker
   sudo usermod -aG docker $USER
   newgrp docker
   

3. На обе виртуальные машины скачайте образ SGLang:

   docker pull lmsysorg/sglang:latest
   

4. Выполните на первой ВМ команду:

   docker run --gpus all --device=/dev/infiniband --ulimit memlock=-1 --ulimit stack=67108864 --shm-size 32g --network=host -v ~/.cache/huggingface:/root/.cache/huggingface --name sglang_multinode1 -e GLOO_SOCKET_IFNAME=eth0 -it --rm --ipc=host lmsysorg/sglang:latest python3 -m sglang.launch_server --model-path deepseek-ai/DeepSeek-R1 --tp 16 --nccl-init-addr <IP_адрес_1>:30000 --nnodes 2 --node-rank 0 --trust-remote-code --host 0.0.0.0 --port 30001 --disable-radix --max-prefill-tokens 126000
   

   Где IP_адрес_1 — внутренний IP-адрес первой ВМ.

5. Выполните на второй ВМ команду:

   docker run --gpus all --device=/dev/infiniband --ulimit memlock=-1 --ulimit stack=67108864 --shm-size 32g --network=host -v ~/.cache/huggingface:/root/.cache/huggingface --name sglang_multinode2 -e GLOO_SOCKET_IFNAME=eth0 -it --rm --ipc=host lmsysorg/sglang:latest python3 -m sglang.launch_server --model-path deepseek-ai/DeepSeek-R1 --tp 16 --nccl-init-addr <IP_адрес_1>:30000 --nnodes 2 --node-rank 1 --trust-remote-code --host 0.0.0.0 --port 30001 --disable-radix --max-prefill-tokens 126000
   

   Где IP_адрес_1 — внутренний IP-адрес первой ВМ.

6. Подождите, пока сервер запустится:

   The server is fired up and ready to roll!
   

Проверьте работу языковой моделиПроверьте работу языковой модели

1. Подключитесь по протоколу SSH в новой сессии к первой ВМ.

2. Установите пакет openai:

   sudo apt update
   sudo apt install python3-pip
   pip install openai
   

3. Создайте скрипт test_model.py со следующим содержимым:

   import openai
   client = openai.Client(
      base_url="http://127.0.0.1:30001/v1", api_key="EMPTY")
   
   response = client.chat.completions.create(
      model="default",
      messages=[
         {"role": "system", "content": "You are a helpful AI assistant"},
         {"role": "user", "content": "List 3 countries and their capitals."},
      ],
      temperature=0.3,
      max_tokens=1024,
   )
   print(response.choices[0].message.content)
   

4. Запустите скрипт:

   python3 test_model.py
   

   Пример ответа модели:

   Here are three countries and their capitals:
   
   1. **France** - Paris
   2. **Japan** - Tokyo
   3. **Brazil** - Brasília
   
   Let me know if you'd like more examples! 😊
   

Как удалить созданные ресурсыКак удалить созданные ресурсы

Чтобы перестать платить за созданные ресурсы:

1. В сервисе Compute Cloud удалите созданные виртуальные машины.
2. В сервисе Compute Cloud удалите созданный кластер GPU.