Запуск библиотеки vLLM с языковой моделью Gemma 3 на виртуальной машине с GPU в Yandex Compute Cloud

С помощью этой инструкции вы создадите виртуальную машину с одним GPU и запустите на ней легковесную мультимодальную языковую модель Gemma 3.

Чтобы запустить языковую модель:

1. Подготовьте облако к работе.
2. Получите доступ к модели Gemma 3.
3. Создайте виртуальную машину с GPU.
4. Запустите языковую модель.
5. Проверьте работу языковой модели.

Если созданные ресурсы вам больше не нужны, удалите их.

Подготовьте облако к работеПодготовьте облако к работе

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Убедитесь, что в облаке достаточно квот на суммарное количество GPU на платформе AMD EPYC™ 9474F with Gen2, объем RAM, количество vCPU и объем SSD-дисков для создания ВМ. Для этого используйте сервис Yandex Cloud Quota Manager.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки инфраструктуры входит плата за постоянно работающие ВМ и диски (см. тарифы Yandex Compute Cloud).

Получите доступ к модели Gemma 3Получите доступ к модели Gemma 3

1. Зарегистрируйтесь на Hugging Face.

2. Создайте токен доступа:

   1. После входа в аккаунт нажмите на свой аватар → Settings → Access Tokens.
   2. Нажмите + Create new token.
   3. Выберите тип токена Read.
   4. Введите имя токена.
   5. Нажмите Create token.
   6. Скопируйте значение токена.

3. Запросите доступ к модели Gemma-3-27b-it:

   1. Перейдите на страницу модели.
   2. Нажмите Request access.
   3. Примите условия лицензии.
   4. Дождитесь подтверждения доступа.

Создайте виртуальную машину с GPUСоздайте виртуальную машину с GPU

Запустите языковую модельЗапустите языковую модель

1. Подключитесь по протоколу SSH к виртуальной машине.

2. Добавьте текущего пользователя в группу docker:

   sudo groupadd docker
   sudo usermod -aG docker $USER
   newgrp docker
   

3. Заполните переменные:

   TOKEN=<HF_токен>
   MODEL=google/gemma-3-27b-it
   MODEL_OPTS="--max-num-seqs 256 --max-model-len 16384 --gpu-memory-utilization 0.98 --max_num_batched_tokens 2048"
   

   Где HF_токен — токен доступа Hugging Face.

4. Выполните команду:

   docker run  --runtime nvidia --gpus '"device=0"' \
   --name vllm-gema3-0 \
   -v ~/.cache/huggingface:/root/.cache/huggingface \
   --env "HUGGING_FACE_HUB_TOKEN=$TOKEN" \
   --env "HF_HUB_ENABLE_HF_TRANSFER=0" \
   --env "PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True" \
   -p 8000:8000 \
   --ipc=host \
   --shm-size=32g \
   vllm/vllm-openai:latest \
   --model $MODEL $MODEL_OPTS
   

5. Подождите, пока сервер запустится:

   INFO:     Started server process [1]
   INFO:     Waiting for application startup.
   INFO:     Application startup complete.
   

Проверьте работу языковой моделиПроверьте работу языковой модели

1. Подключитесь к виртуальной машине по протоколу SSH в новой сессии.

2. Установите пакет openai:

   sudo apt update
   sudo apt install python3-pip
   pip install openai
   

3. Создайте скрипт test_model.py со следующим содержимым:

   import openai
   client = openai.Client(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY")
   response = client.chat.completions.create(
      model="google/gemma-3-27b-it",
      messages=[
         {
               "role": "user",
               "content": [
                  {
                     "type": "image_url",
                     "image_url": {
                           "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
                     },
                  },
                  {"type": "text", "text": "Describe this image in one sentence."},
               ],
         }
      ],
      temperature=0.3,
      max_tokens=128,
   )
   print(response.choices[0].message.content)
   

4. Запустите скрипт:

   python3 test_model.py
   

   Пример ответа модели:

   Here's a one-sentence description of the image:
   
   The Statue of Liberty stands prominently on Liberty Island with the Manhattan skyline, including the Empire State Building, visible in the background across the water on a clear, sunny day.
   

Как удалить созданные ресурсыКак удалить созданные ресурсы

Чтобы перестать платить за созданные ресурсы, в сервисе Compute Cloud удалите созданную виртуальную машину.