Связаться с намиПодключиться

Графические ускорители GPU

Статья создана
Обновлена 3 декабря 2024 г.

Примечание

В регионе Казахстан доступна только платформа standard-v3 (Intel Ice Lake). Другие типы платформ, GPU, кластеры GPU и выделенные хосты недоступны.

Compute Cloud предоставляет графические ускорители (GPU) в различных конфигурациях виртуальных машин. GPU обрабатывают некоторые типы данных эффективнее, чем CPU, и могут использоваться для сложных вычислений. Сделать решение задач еще эффективнее и удобнее поможет автоматическое выделение ресурсов в Yandex DataSphere.

В Compute Cloud доступны следующие графические карты:

Важно

GPU работает в режиме TCC, который не использует графические драйверы операционной системы.

По умолчанию в облаке установлена нулевая квота на создание виртуальных машин с GPU. Вы можете запросить увеличение квоты в консоли управления. Для этого нужна роль quota-manager.requestOperator или выше.

Графические ускорители (GPU)

Графические ускорители подходят для задач машинного обучения (Machine Learning, ML), искусственного интеллекта (Artificial Intelligence, AI) и обработки трехмерной графики (3D Rendering).

Контролировать GPU и RAM можно непосредственно с ВМ.

NVIDIA® Tesla® V100

Графическая карта NVIDIA® Tesla® V100 содержит 5120 ядер CUDA®, позволяющих выполнять высокопроизводительные вычисления (High Performance Computing, HPC), а также 640 ядер Tensor, позволяющих решать задачи глубокого обучения (Deep Learning, DL).

NVIDIA® Ampere® A100

NVIDIA® A100, построенная на базе микроархитектуры Ampere®, использует тензорные ядра третьего поколения и предоставляет 80 ГБ памяти HBM2 с пропускной способностью до 2 ТБ/с.

NVIDIA® Tesla® T4

NVIDIA® Tesla® T4, построенная на базе архитектуры Turing™, использует тензорные ядра Turing и ядра RT, предоставляет 16 ГБ памяти GDDR6 с пропускной способностью 300 ГБ/с.

T4i

T4i использует тензорные ядра и предоставляет 24 ГБ памяти GDDR6 с пропускной способностью 300 ГБ/с.

Конфигурации виртуальных машин

Доступные конфигурации вычислительных ресурсов:

  • Платформа Intel Broadwell with NVIDIA® Tesla® V100 (gpu-standard-v1):

    Количество GPU Объем VRAM, ГБ Количество vCPU Объем RAM, ГБ
    1 32 8 96
    2 64 16 192
    4 128 32 384

  • Платформа Intel Cascade Lake with NVIDIA® Tesla® V100 (gpu-standard-v2):

    Количество GPU Объем VRAM, ГБ Количество vCPU Объем RAM, ГБ
    1 32 8 48
    2 64 16 96
    4 128 32 192
    8 256 64 384

  • Платформа AMD EPYC™ with NVIDIA® Ampere® A100 (gpu-standard-v3):

    Количество GPU Объем VRAM, ГБ Количество vCPU Объем RAM, ГБ
    1 80 28 119
    2 160 56 238
    4 320 112 476
    8 640 224 952

  • Платформа AMD EPYC™ 9474F with Gen2 (gpu-standard-v3i):

    Количество GPU Объем VRAM, ГБ Количество vCPU Объем RAM, ГБ
    2 160 36 288
    4 320 72 576
    8 640 180 1440

  • Платформа Intel Ice Lake with NVIDIA® Tesla® T4 (standard-v3-t4):

    Количество GPU Объем VRAM, ГБ Количество vCPU Объем RAM, ГБ
    1 16 4 16
    1 16 8 32
    1 16 16 64
    1 16 32 128

  • Платформа Intel Ice Lake with T4i (standard-v3-t4i):

    Количество GPU Объем VRAM, ГБ Количество vCPU Объем RAM, ГБ
    1 24 4 16
    1 24 8 32
    1 24 16 64
    1 24 32 128

GPU в виртуальных машинах предоставляется целиком. Например, если в конфигурации указано 4 GPU, то у вашей ВМ будет 4 полноценных GPU-устройства.

Виртуальные машины на платформах Intel Broadwell with NVIDIA® Tesla® V100, Intel Cascade Lake with NVIDIA® Tesla® V100, AMD EPYC™ with NVIDIA® Ampere® A100 и Intel Ice Lake with NVIDIA® Tesla® T4 можно создать в зонах доступности ru-central1-a и ru-central1-b.

Ознакомиться с организационными и техническими ограничениями ВМ можно в разделе Квоты и лимиты.

Стоимость виртуальных машин с GPU см. в разделе Вычислительные ресурсы ВМ.

Образы операционных систем

Для виртуальных машин с GPU доступны специальные образы операционных систем с драйверами NVIDIA:

Intel Broadwell with NVIDIA® Tesla® V100 и Intel Cascade Lake with NVIDIA® Tesla® V100
Intel Ice Lake with NVIDIA® Tesla® T4
Intel Ice Lake with T4i
AMD EPYC™ with NVIDIA® Ampere® A100

Мы рекомендуем использовать стандартный образ от Yandex Cloud. Вы также можете установить драйверы на другой стандартный образ самостоятельно или создать собственный образ с предустановленными драйверами.

Кластеры GPU

Вы можете объединить в кластер несколько виртуальных машин. Объединение позволяет ускорить выполнение задач распределенного обучения, требующих больших вычислительных мощностей, чем предоставляют отдельные ВМ. Кластер должен создаваться в той же зоне доступности, что и ВМ, которые будут в него входить. ВМ внутри кластера объединены высокоскоростной и защищенной сетью Infiniband.

В кластер можно добавить машины из разных каталогов и из разных сетей и подсетей. Для корректного взаимодействия виртуальных машин, включенных в кластер, рекомендуется использовать группу безопасности, разрешающую неограниченный трафик внутри группы. Группа безопасности по умолчанию удовлетворяет этому требованию. Если группа безопасности по умолчанию была отредактирована, добавьте группу, обеспечивающую неограниченный обмен трафиком внутри себя, вручную.

Максимальный возможный размер кластера на платформе AMD EPYC™ 9474F with Gen2 — 20 ВМ с конфигурацией 8 GPU, 80 ГБ VRAM, 180 vCPU, 1440 ГБ RAM. Фактический максимальный размер кластера ограничен технической доступностью ресурсов.

См. также

Предыдущая
Сброс паролей на ВМ Windows
Следующая
Обзор