پست یه چیزی که فکر می‌کنم خیلی زودتر از چیزی که انتظار داریم جدی بشه، امنیت AI Agentهاست.

یه چیزی که فکر می‌کنم خیلی زودتر از چیزی که انتظار داریم جدی بشه، امنیت AI Agentهاست. تا همین چند وقت پیش وقتی می‌گفتیم امنیت هوش مصنوعی بیشتر ذهنمون می‌رفت سمت prompt injection و jailbreak یا لو رفتن اطلاعات از داخل چت. ولی Agentها داستان رو عوض کردن. چون Agent فقط جواب نمی‌ده. می‌تونه API صدا بزنه، فایل بخونه، به دیتابیس وصل بشه، ابزار اجرا کنه و حتی با Agentهای دیگه ارتباط داشته باشه. حالا تصور کن یک Agent هک بشه یا یک prompt مخرب باعث بشه از محدوده‌ای که براش تعریف شده خارج بشه. مشکل دیگه فقط این نیست که چه جوابی به کاربر داده. مشکل اینه که چه کاری انجام داده. برای همین بازار جدیدی داره شکل می‌گیره به اسم AI Agent Security. جالب اینجاست که شرکت‌هایی مثل CyberArk، SailPoint، WitnessAI و Noma Security دارن روی همین موضوع کار می‌کنن و حتی Tigera هم Lynx رو برای امنیت Agentهای اجراشده روی Kubernetes معرفی کرده. مثلاً ایده Lynx اینه که ارتباطات Agent با LLM، ابزارها و Agentهای دیگه تحت کنترل باشه؛ برای Agent هویت ایجاد بشه، دسترسی‌ها محدود بشن، رفتار Agent مانیتور بشه و اگر رفتار مشکوکی دیدیم، Agent بتونه قرنطینه بشه. حتی از eBPF برای مشاهده فعالیت‌هایی مثل network call، syscall و دسترسی به فایل استفاده می‌کنه. به نظرم این قسمت ماجرا خیلی مهمه. چون ما داریم به سمتی می‌ریم که تعداد زیادی Agent داخل شرکت‌ها، سرورها و Kubernetes اجرا می‌شن و هرکدوم یک‌سری دسترسی دارن. اون موقع دیگه اینکه این Agent خوبه یا بد؟ سؤال اصلی نیست. سؤال اینه: این Agent دقیقاً کیه؟ به چی دسترسی داره؟ چه کاری اجازه داره انجام بده؟ با چه چیزی ارتباط گرفته؟ و اگر یک روز رفتار عجیبی از خودش نشون داد، چه کسی می‌تونه متوقفش کنه؟ به نظرم یکی از بازارهای خیلی جدی چند سال آینده همینجاست. چون هرچقدر Agentها قدرتمندتر بشن، امنیتشون هم باید از یه API Key و چندتا permission خیلی فراتر بره. و احتمالاً به زودی امنیت Agentها، درست مثل امنیت سرویس‌ها و کانتینرها، تبدیل به یکی از اجزای عادی زیرساخت نرم‌افزار می‌شه. شاید الان برای خیلی‌ها زوده. ولی فکر نمی‌کنم برای مدت زیادی زود بمونه. #Ai