LLM-Box Code — приватный код-ассистент (Qwen2.5-Coder-7B)
LLM-Box Code — готовый приватный ассистент по программированию для команд, которым важно не выпускать исходный код во внешние сервисы (банки, госсектор, разработка под NDA).
— Модель Qwen2.5-Coder-7B-Instruct: генерация, объяснение, рефакторинг, поиск и исправление ошибок, написание тестов; поддержка 40+ языков программирования;
— OpenAI-совместимый API (/v1) — подключается к IDE-плагинам и CI, и веб-чат (Open WebUI) из коробки;
— работает на одном GPU NVIDIA T4, полностью офлайн; код и данные остаются в вашем контуре;
— готовый образ: запустил ВМ — через несколько минут рабочий код-ассистент.
- Создайте ВМ из этого образа на платформе с NVIDIA T4 (8 vCPU, 32 ГБ RAM), диск 60 ГБ.
- Назначьте публичный IP; в группе безопасности откройте порты 22 (SSH) и 80.
- Добавьте свой SSH-ключ при создании ВМ.
- После запуска подождите 6-8 минуты — модель загружается в GPU («No models» до этого нормально).
- Откройте http://<публичный IP>/ — первый вход создаёт администратора. Модель: qwen2.5-coder-7b.
Адреса и API-ключ показываются в приветствии при входе по SSH.
— Ассистент по коду в IDE через OpenAI-совместимый API, без утечки исходников;
— генерация, рефакторинг и покрытие тестами внутри защищённого контура;
— объяснение легаси-кода и ревью в приватной среде;
— автоматизация рутины разработки в CI без внешних облачных LLM.
Техническая поддержка по электронной почте: info@papadata.ru.
Помогаем с развёртыванием и эксплуатацией, отвечаем в течение 1–2 рабочих дней.
| ПО | Версия |
|---|---|
| Ubuntu | 24.04 LTS |
| Qwen2.5-Coder-7B-Instruct (AWQ) | Apache-2.0 |
| vLLM | 0.27.1 |
| Open WebUI | main |
| NVIDIA Container Toolkit | 1.14 |
| Docker Engine | 27.x |
| nginx | 1.28 (stable) |
| NVIDIA driver | 535 |