Ollama + WebUI

Ollama с Open WebUI — готовое решение для локального и облачного развертывания современных языковых моделей с удобным веб‑интерфейсом. Продукт включает полностью настроенные Docker‑контейнеры:

• Ollama — платформа для загрузки, запуска и управления open‑source LLM на собственном оборудовании без зависимости от облачных сервисов.
• Open WebUI — расширяемый и удобный веб‑интерфейс для работы с моделями, поддерживающий Ollama и совместимые API.

При установке продукта необходимо указать модель, которая будет предзагружена, например deepseek‑r1:8b. Дополнительно можно загрузить любые другие модели из каталога Ollama: как при установке продукта, так и в процессе использования.

Преимущества решения:

• Простое развертывание через Martketplace.
• Поддержка различных LLM в одном интерфейсе.
• Работа в офлайн‑режиме и полный контроль над данными.
• Интуитивный веб‑интерфейс для взаимодействия с моделями.

1. Получите пару SSH-ключей для подключения к виртуальной машине (ВМ).

2. Создайте сервисный аккаунт без роли.

3. Создайте ВМ из публичного образа. В блоке Выбор образа/загрузочного диска перейдите на вкладку Cloud Marketplace и выберите Ollama + WebUI. В блоке Доступ:

• в поле Логин введите имя пользователя;

• в поле SSH-ключ вставьте содержимое файла с открытым SSH-ключом.

4. Убедитесь, что в выбранной Группе безопасности разрешен входящий порт TCP/22.

5. В форме Конфигурация продукта укажите название модели из каталога Ollama, например, deepseek-r1:8b

6. В блоке Дополнительно укажите ранее созданный сервисный аккаунт.

7. Нажмите «Создать ВМ» и дождитесь завершения процесса развертывания.

8. Для подключения к веб-интерфейсу необходимо создать SSH-туннель:

ssh -L 8080:localhost:8080 <имя_пользователя>@<публичный_IP-адрес_ВМ>

9. Веб-интерфейс Ollama WebUI будет доступен по адресу http://localhost:8080 после загрузки выбранной при установке модели (для модели deepseek-r1:8b это может занять несколько минут.

• Генерация текста — от рассказов и статей до постов и описаний.

• Суммаризация — краткое изложение длинных документов, статей или отчётов.

• Анализ данных — извлечение ключевых инсайтов и выявление закономерностей.

• Помощь с программированием — примеры кода, объяснение алгоритмов, исправление ошибок.

• Перевод и работа с языками — перевод текста, адаптация стиля, улучшение формулировок.

• Ассистент для продуктивности — подготовка заметок, планов, идей и черновиков.

Служба технической поддержки Yandex Cloud отвечает на запросы 24 часа в сутки, 7 дней в неделю. Доступные виды запросов и срок их обработки зависят от тарифного плана. Подключить платную поддержку можно в консоли управления. Подробнее о порядке оказания технической поддержки.

Yandex Cloud не предоставляет техническую поддержку продукта. При возникновении проблем обращайтесь к информационным ресурсам разработчика.