Пост🤖 Как поднять корпоративного LLM-бота в закрытом контуре? Расскажет Алексей Кудаков, CTO технологической группы «Проявле…

🤖 Как поднять корпоративного LLM-бота в закрытом контуре? Расскажет Алексей Кудаков, CTO технологической группы «Проявление». Это продакшн-история для одной из крупнейших компаний в сфере ЖКХ России: один LLM-бот на телефон и чат-каналы (Макс, ВК, ОК, мобильное приложение) полностью on-premise, без единого внешнего вызова. Разберём: → Что болело у заказчика: ~60 жёстких сценариев скриптового робота, очереди в пиках, тупики в чатах → Как выбирали стек и почему остановились на Qwen3-14B Instruct + LoRA + RAG + vLLM → Дообучение LLM под домен ЖКХ: от 45 тысяч ручных размеченных звонков до 345 тысяч примеров → Голосовой стек и его грабли: STT с галлюцинациями на тишине, дообучение CosyVoice 3, «превойс» для обхода недоверия абонентов → Запуск в закрытом контуре на NVIDIA H200: архитектура, оптимизации, бюджет латентности → Итоговые метрики: ожидание оператора с 5 минут до <5 секунд, 72% обращений закрываются без оператора, 98% точность классификации Честно поговорим про проблемы в проде: абоненты, которые не доверяют роботу, заказчики, которые заводят тикеты на «ошибки», и пожилые люди, которых живой голос напугал больше, чем скриптовый. ⏰ Запускаем трансляцию сегодня в 12:00. Смотрите на YouTube, в ВК или прямо в этом канале — и задавайте вопросы лектору!