INCUBE.AI Chat

🔥 AutoSaddler — автоматическая оптимизация harness для AI-агентов Суть в том, что модель сама разбирает неудачные прогоны агента и затем переписывает prompts, tools, hooks и middleware. Но здесь есть важный риск: улучшение на одном наборе задач может легко сломать поведение на других. AutoSaddler обходит эту проблему с помощью held-out development set: - анализирует failed traces - патчит harness как обычный код - проверяет обновление на задачах, которых модель не видела при исправлении - сохраняет патч только если он действительно улучшает общую работу агента Авторы показывают, что без такой проверки автоматическая оптимизация в итоге может дать результат хуже исходного hand-written harness. Полезная мысль для тех, кто вручную или через LLM тюнингует агентов: важно учитывать не только исправленные ошибки, но и новые регрессии. https://arxiv.org/abs/2608.23041 INCUBE.AI | ПОДПИСАТЬСЯ