Пост✌️ Как разорвать «летальное трио» агентской разработки?

✌️ Как разорвать «летальное трио» агентской разработки? Этот термин описывает сочетание трёх условий: доступ к приватным данным, работа с недоверенным контентом и возможность взаимодействовать с внешними системами. О возможностях ИИ-агентов говорят всё чаще. А вот с безопасностью их инфраструктуры пока не всё так очевидно. Денис Макрушин разобрал опасности для LLM, RAG и MCP в посте с результатами исследования SourceCraft Security. Продолжаем разбор и подробнее смотрим на уязвимости этих компонентов в карточках. ❤️ С чего начать защиту своей инфраструктуры на практике? 🔡Разделить данные и инструкции, чтобы недоверенный контент не стал командой для агента 🔡Ограничить права агентов и их инструментов необходимым минимумом 🔡Проверять опасные действия и требовать для них отдельную авторизацию, а в некоторых случаях — дополнительно подтверждать действие человеком 🔡Регулярно проверять устойчивость системы и превращать результаты проверок в правила защиты Подробнее об атаках и подходах к защите ИИ-агентов — в разборе Дениса на Хабре.