Как Sminex приручили ИИ: история создания единой LLM‑платформы — от архитектуры до первых уроков

Искусственный интеллект всё активнее проникает в бизнес‑процессы, но его внедрение часто напоминает сборку конструктора без инструкции: много отдельных решений, мало управляемости. Компания Sminex пошла другим путём — и создала единую LLM‑платформу вместо разрозненных AI‑ассистентов. Разбираемся, как это устроено и какие выводы сделали на практике.

Почему единая платформа?
Sminex осознанно отказалась от множества отдельных ассистентов в пользу централизованного решения. Такой подход дал три ключевых преимущества:

- Управляемость: единый центр контроля упрощает администрирование и поддержку.
- Масштабируемость: новые AI‑кейсы запускаются быстрее и с меньшими затратами.
- Предсказуемость: стандартизация процессов снижает риски и делает результаты более стабильными.

В итоге компания избежала хаоса в AI‑сервисах и получила гибкую систему, готовую к развитию.

Из чего состоит платформа: ключевые элементы
Архитектура решения собрана из современных open‑source‑инструментов:

- Open WebUI - пользовательский интерфейс для взаимодействия с моделями.
- LiteLLM - API‑шлюз, унифицирующий доступ к разным LLM.
- Langflow - оркестратор рабочих процессов.
- vLLM - высокопроизводительный движок для работы моделей на GPU.

Инфраструктура и мониторинг:
- Deckhouse Kubernetes - основа для развёртывания и управления сервисами.
- Prometheus/Grafana - мониторинг производительности и состояния системы.
- Langfuse - трассировка запросов, анализ промптов и расчёт стоимости использования.

Работа с корпоративными знаниями
На старте использовались готовые инструменты для работы с данными, но затем команда разработала собственные RAG pipeline для более точного и релевантного поиска информации. Сейчас тестируется RAGFlow - решение, которое должно ещё больше улучшить качество ответов на основе внутренней базы знаний.

Главные уроки проекта
Опыт внедрения показал несколько важных моментов:

1. Эксплуатация сложнее самой модели. Настройка, поддержка и оптимизация инфраструктуры требуют не меньше усилий, чем выбор и обучение LLM.
2. Open source - это свобода и боль одновременно. Гибкость и контроль над кодом идут рука об руку с необходимостью глубокой экспертизы и самостоятельной поддержки.
3. Экономика платформы выгоднее отдельных кейсов. Централизованное решение снижает совокупную стоимость владения и позволяет эффективнее распределять ресурсы.

Что дальше?
В планах команды - развитие в трёх направлениях:

- внедрение автономных агентов для автоматизации сложных сценариев;
- дальнейшее улучшение RAG для повышения точности ответов;
- запуск системных evaluations - регулярных проверок качества работы всей платформы.

Единая LLM‑платформа уже доказала свою эффективность для Sminex. Теперь компания готова масштабировать успех и вывести AI‑сервисы на новый уровень.

#StroyOS_Sminex

MАХимально на связи
Подписаться на канал:
Stroy.OS |