PWN AI

Количество инцидентов с AI-агентами растет лавинообразно. И вот я обнаружил интересный репозитории awesome-ai-agent-attacks, в котором собрана хронология реальных взломов ИИ и уязвимостей AI-агентов за 2024–2026 годы. Только факты, даты, первопричины и ссылки на источники. Такие репозитории и раньше были, но тут словно полная коллекция, очень много знакомо для меня и так или иначе мелькало перед глазами. А вот несколько примеров: 🫡 1. ИИ как автономный взломщик. Агенты находят и эксплуатируют уязвимости быстрее людей. Задокументирован случай, когда агенты на базе Kimi K3 обнаружили 19 0-day уязвимостей в Redis за 90 минут, а рабочий RCE-эксплойт собрали за 27 минут. В другом кейсе мультиагентная система нашла цепочку для RCE без аутентификации в WordPress за 10 часов при затратах на API около $25. 😎 2. HalluSquatting. Модели часто придумывают несуществующие названия библиотек. Злоумышленники заранее регистрируют эти имена и заливают в них вредоносный код. Когда ИИ-ассистент пытается установить выдуманный им же пакет, он сам скачивает и исполняет пейлоад. ❌ 3. Выход из песочницы через доверенные инструменты. Агентам (Cursor, Codex CLI, Gemini CLI) не обязательно ломать изоляцию напрямую. Им достаточно сгенерировать конфигурационный файл (например, .claude или таск .vscode). Позже этот файл автоматически выполнится доверенным инструментом разработчика уже за пределами песочницы. Ценность репозитория для нас - это наличие таксономий паттернов атак и статистики по инцидентам в мире. Автор также разносит инциденты по следующей классификации: от каскадной компрометации учетных данных и эксплуатации доверия агентов до исполнения кода и побега из песочницы. Прикольно также, что в репозитории есть интересные цифры под рукой: 99,9% уязвимостей в AI-зависимостях остаются неисправленными даже после выхода патчей, а 82% компаний не подозревают о наличии теневых AI-агентов (Shadow AI) в своей сети.