H2O LLM Studio

С H2O LLM Studio вы можете решить широкий спектр задач, саязанных с дообучением LLM (больших языковых моделей), без написания кода.

Преимущества

• Не требует навыков написания кода.
• Графический интерфейс (GUI), специально разработанный для работы с большими языковыми моделями.
• Современные методы дообучения, включая Low-Rank Adaptation (LoRA) и 8-bit model training.
• Обучение с подкреплением (экспериментальная функция).
• Метрики для оценки ответов модели.
• Отслеживание и визуальное сравнение результатов модели.
• Чат с LLM для быстрой оценки качества.
• Простой экспорт модели на Hugging Face Hub.

1. Получите пару SSH-ключей для подключения к ВМ.

2. Нажмите кнопку Создать ВМ справа на этой карточке, чтобы перейти к созданию ВМ:

   1. В блоке Образ загрузочного диска нужный образ будет выбран автоматически.
   2. В блоке Сетевые настройки выберите Публичный IP-адрес:
      • Автоматически для случайного адреса;
      • Список, если у вас есть зарезервированный статический адрес.
   3. В блоке Доступ:
      • В поле Логин введите имя пользователя.
      • В поле SSH-ключ выберите из списка SSH-ключ, полученный ранее.
   4. В блоке Вычислительные ресурсы:
      1. Перейдите на вкладку GPU.
      2. Выберите одну из платформ с GPU.
   5. Нажмите кнопку Создать ВМ.

3. Дождитесь перехода ВМ в статус Running.

4. Подключитесь к ВМ по SSH. Для этого используйте:

   • логин, который вы задали при создании ВМ, и закрытый SSH-ключ, полученный ранее;

   • локальную переадресацию для TCP-порта 10101.
     Например:

     ssh -i <путь_к_ключу\имя_файла_ключа> -L 10101:localhost:10101 <имя_пользователя>@<публичный_IP-адрес_ВМ>
     

   Брандмауэр ufw в этом продукте разрешает входящий трафик только на порт 22 (SSH). Поэтому при подключении требуется локальная переадресация портов.

5. Для доступа к пользовательскому интерфейсу перейдите по адресу http://localhost:10101 в браузере.

H2O LLM Studio запускается как Docker-контейнер, как описано в его README. Порт 10101 контейнера опубликован на тот же порт на вашей ВМ.

Каталоги /usr/local/h2o/data/ и /usr/local/h2o/output/ примонтированы к контейнеру в качестве томов. Это означает, что данные, используемые и создаваемые H2O LLM Studio, сохраняются между перезапусками и выключениями ВМ.

• Дообучение LLM через удобный графический интерфейс.
• Использование LoRA и 8-bit model training.
• Оценка качества LLM.
• Сбор и оценка метрик работы LLM.
• Проведение экспериментов с LLM.

Служба технической поддержки Yandex Cloud отвечает на запросы 24 часа в сутки, 7 дней в неделю. Доступные виды запросов и срок их обработки зависят от тарифного плана. Подключить платную поддержку можно в консоли управления. Подробнее о порядке оказания технической поддержки.