Когда облако не подходит
- Служба безопасности запрещает передавать документы и переписку внешним сервисам.
- Данные клиентов или производства регулируются договорами и внутренними политиками.
- Нужна предсказуемая стоимость при больших объёмах.
- Требуется работа без зависимости от зарубежных API и платежей.
Что можно развернуть в контуре
- LLM. Open-source и российские модели, включая YandexGPT/GigaChat через защищённый шлюз, если это допустимо политикой.
- База знаний. Поиск по документам с правами доступа и цитированием источников.
- Ассистенты и агенты. Помощник для сотрудников, разбор обращений, подготовка документов.
- Корпоративный мессенджер. Matrix или Buzz с ИИ-агентом внутри чатов.
- Интеграции. Внутренние API, CRM, файловые хранилища и задачи.
Архитектура
Типовой контур: серверы приложений в Docker, отдельный узел для модели (GPU — если нужна локальная LLM), векторная база для поиска, шлюз API, мониторинг и резервное копирование. Мы честно считаем ресурсы: для небольшой базы знаний часто достаточно CPU и API модели, для локальной LLM нужен GPU.
Безопасность и доступ
- Ролевой доступ и изоляция отделов.
- Журнал действий пользователей и агентов.
- Секреты и ключи — вне кода, с ограниченными правами.
- Сетевые ограничения и отсутствие обязательного egress наружу.
- Резервное копирование и процедура восстановления.
Кейс: корпоративный мессенджер с ИИ-агентом
Мы собрали корпоративный мессенджер на Matrix или Buzz с ИИ-агентом (Hermes/OpenClaw) внутри чатов: резюме встреч, ответы по базе знаний, поиск и автоматизация рутины. Срок — около месяца, развёртывание в приватном контуре, подключение российских и зарубежных LLM по выбору.
Частые вопросы
Можно ли использовать локальную модель без GPU?
Да, для части задач достаточно CPU-моделей и небольшой базы знаний. Для больших объёмов и сложных сценариев обычно нужен GPU или гибридная схема с защищённым API.
Кто обслуживает инфраструктуру?
Варианты: ваша команда с нашей документацией и поддержкой или мы по договору сопровождения. Доступы и границы ответственности фиксируем заранее.
Будет ли решение работать без интернета?
Да, если модель и зависимости развёрнуты локально. Часть сценариев (например, внешний поиск) можно отключить или оставить опциональным.