Ollama + WebUI

Ollama с Open WebUI — готовое решение для локального и облачного развертывания современных языковых моделей с удобным веб‑интерфейсом. Продукт включает полностью настроенные Docker‑контейнеры:

• Ollama — платформа для загрузки и запуска больших языковых моделей с открытым исходным кодом, а также управления ими на собственном оборудовании без зависимости от облачных сервисов.
• Open WebUI — расширяемый и удобный веб‑интерфейс для работы с моделями, поддерживающий Ollama и совместимые API.

При установке продукта необходимо указать модель, которая будет предзагружена, например deepseek‑r1:8b. Дополнительно можно загрузить любые другие модели из каталога Ollama: как при установке продукта, так и в процессе его использования.

Преимущества

• Простое развертывание через Marketplace.
• Поддержка различных больших языковых моделей в одном интерфейсе.
• Работа в офлайн‑режиме и полный контроль над данными.
• Интуитивный веб‑интерфейс для взаимодействия с моделями.

1. Получите пару SSH-ключей для подключения к виртуальной машине (ВМ).

2. Создайте сервисный аккаунт без роли.

3. Создайте ВМ из публичного образа:

   1. В блоке Образ загрузочного диска перейдите на вкладку Marketplace и выберите Ollama + WebUI.

   2. В блоке Конфигурация продукта укажите название модели из каталога Ollama, например deepseek-r1:8b.

   3. В блоке Сетевые настройки убедитесь, что в выбранной группе безопасности разрешен входящий порт TCP/22.

   4. В блоке Доступ:

      • В поле Логин введите имя пользователя.
      • В поле SSH-ключ вставьте содержимое файла с открытым SSH-ключом.

   5. В блоке Дополнительно выберите ранее созданный сервисный аккаунт.

   6. Нажмите Создать ВМ и дождитесь завершения процесса развертывания.

4. Для подключения к веб-интерфейсу создайте SSH-туннель:

   ssh -L 8080:localhost:8080 <имя_пользователя>@<публичный_IP-адрес_ВМ>
   

Веб-интерфейс Ollama WebUI будет доступен по адресу http://localhost:8080 после загрузки выбранной при установке модели — это может занять несколько минут.

• Генерация текста — от рассказов и статей до постов и описаний.
• Суммаризация — краткое изложение длинных документов, статей или отчетов.
• Анализ данных — извлечение ключевых инсайтов и выявление закономерностей.
• Помощь с программированием — примеры кода, объяснение алгоритмов, исправление ошибок.
• Перевод и работа с языками — перевод текста, адаптация стиля, улучшение формулировок.
• Ассистент для продуктивности — подготовка заметок, планов, идей и черновиков.

Служба технической поддержки Yandex Cloud отвечает на запросы 24 часа в сутки, 7 дней в неделю. Доступные виды запросов и срок их обработки зависят от тарифного плана. Подключить платную поддержку можно в консоли управления. Подробнее о порядке оказания технической поддержки.