Проверить физическое состояние кластера GPU

Проверьте состояния портов InfiniBandПроверьте состояния портов InfiniBand

1. Подключитесь к ВМ по SSH.

2. Установите пакет infiniband-diags:

   sudo apt update
   sudo apt install infiniband-diags
   

3. Выполните команду ibstatus.

   Результат:

   state:           4: ACTIVE
   phys state:      5: LinkUp
   

4. Убедитесь, что для всех портов в параметре phys state указано LinkUp.

Проверьте производительность сетиПроверьте производительность сети

Для проверки скорости передачи данных между GPU на разных ВМ:

1. На каждой из тестовых ВМ установите пакет perftest:

   sudo apt install perftest
   

2. Подключитесь к первой ВМ по SSH.

3. Выполните команду:

   ib_send_bw --report_gbits
   

4. Подключитесь ко второй ВМ по SSH.

5. Выполните команду:

   ib_send_bw <внутренний_IP_первой_ВМ> --report_gbits
   

   Результат:

   #bytes     #iterations    BW peak[Gb/sec]    BW average[Gb/sec]   MsgRate[Mpps]
   65536      1000             245.54             244.08             0.465536
   

6. Убедитесь, что в выводе ненулевые значения параметров:

   • BW average[Gb/sec] — средняя скорость передачи;
   • MsgRate[Mpps] — частота сообщений.

Полезные ссылкиПолезные ссылки

Вопросы про GPU