H2O LLM Studio

С H2O LLM Studio вы можете решить широкий спектр задач, саязанных с дообучением LLM (больших языковых моделей) без написания кода.

Преимущества:

• не требует навыков написания кода
• графический интерфейс (GUI) специально разработанный для работы с большими языковыми моделями
• поддержка самых современных методов дообучения, включая Low-Rank Adaptation (LoRA) и 8-bit model training
• поддержка обучения с подкреплением (экспериментальная)
• поддержка метрик для оценки ответов модели
• отслеживание и визуальное сравнение результатов вашей модели
• чат с LLM для быстрой оценки качества
• простой экспорт модели на Hugging Face Hub

1. Создайте пару ключей SSH.

2. Нажмите кнопку на этой карточке, чтобы перейти к созданию ВМ. Образ будет автоматически выбран в разделе Выбор образа/загрузочного диска.

3. В разделе Сетевые настройки включите публичный IP-адрес для ВМ (Публичный IP: Авто для случайного адреса или Список, если у вас есть зарезервированный статический адрес).

4. В разделе Доступ вставьте открытый ключ из пары в поле SSH-ключ.

5. Создайте ВМ. При создании ВМ необходимо выбрать платформу с GPU. Список платформ есть по ссылке: https://yandex.cloud/ru/docs/compute/concepts/vm-platforms

6. Подключитесь к ВМ по SSH, используя локальную переадресацию для TCP-порта 10101. Например:

   ssh -i <путь_к_открытому_SSH_ключу> -L 10101:localhost:10101 <имя_пользователя>:<публичный_IP_адрес_ВМ>
   

   Брандмауэр ufw в этом продукте разрешает входящий трафик только на порт 22 (SSH). Поэтому при подключении требуется локальная переадресация портов.

7. Для доступа к пользовательскому интерфейсу перейдите по адресу http://localhost:10101 в своем веб-браузере.

H2O LLM Studio запускается как Docker-контейнер, как описано в его README. Порт 10101 контейнера опубликован на тот же порт на вашей ВМ.

Каталоги /usr/local/h2o/data/ и /usr/local/h2o/output/ примонтированы к контейнеру в качестве томов, что означает, что данные, используемые и создаваемые H2O LLM Studio, сохраняются между перезапусками и выключениями ВМ.

• дообучение LLM через удобный графический интерфейс
• использование LoRA и 8-bit model training
• оценка качества LLM
• сбор и оценка метрик работы LLM
• проведение экспериментов с LLM

Служба технической поддержки Yandex Cloud отвечает на запросы 24 часа в сутки, 7 дней в неделю. Доступные виды запросов и срок их обработки зависят от тарифного плана. Подключить платную поддержку можно в консоли управления. Подробнее о порядке оказания технической поддержки.