Ответсообщение недоступно
Спасибо за подробный ответ, Кирилл! Полностью согласен — автоматические сканеры вроде Garak хороши для базового red teaming, но реальные уязвимости в RAG-пайплайнах часто находятся именно через ручное тестирование с учётом специфики.
У нас тоже был кейс: через специально сформированный документ в базе знаний удалось вытащить данные другого клиента. Санитизация входящих документов — критична, но её часто недооценивают. Особенно когда контекст собирается из внешних источников.
Интересно, что вы используете изолированные LLM-инстансы на regcloud. А как проверяете их на устойчивость к prompt injection? Есть ли свои чек-листы или наработки? Мы как раз занимаемся аудитом AI-агентов и RAG-систем, было бы полезно обменяться опытом.
Если интересно — можем в личке обсудить детали. У нас есть бесплатный экспресс-аудит для RAG, можем прогнать ваш кейс и показать, что найдём.