پست یه چیزی که این روزها بیشتر بهش فکر می‌کنم اینه که:

یه چیزی که این روزها بیشتر بهش فکر می‌کنم اینه که: ما وقتی درباره امنیت AI صحبت می‌کنیم، خیلی وقت‌ها فقط خود مدل رو می‌بینیم. مثلاً می‌گیم: این مدل قویه؟ آیا Guardrail داره؟ آیا Prompt خوب براش نوشتیم؟ ولی واقعیت اینه که یک سیستم AI فقط یک مدل نیست. پشت یک سیستم واقعی کلی بخش مختلف وجود داره: مورد اول : Prompt مورد دوم : Data مورد سوم : RAG و Vector Database مورد چهارم :Memory مورد پنجم :Tool مورد ششم :API و دسترسی‌هایی که Agentها دارند. هر کدوم از این بخش‌ها می‌تونه یک نقطه ورود برای مشکل امنیتی باشه. یکی از چیزهایی که برای من جالب بود اینه که خیلی از حملات جدید اصلاً شبیه حملات سنتی نیستند. گاهی فقط یک Document آلوده وارد سیستم میشه. یا یک داده‌ای که از بیرون بازیابی شده، باعث میشه مدل رفتار متفاوتی داشته باشه. یا یک Agent دسترسی بیشتری از چیزی که نیاز داره داشته باشه و همین تبدیل به یک ریسک بزرگ بشه. به نظرم یکی از مهم‌ترین نکات در امنیت LLM اینه: یک System Prompt قوی به تنهایی امنیت ایجاد نمی‌کنه. باید معماری درست داشته باشیم. چند تا اصل ساده ولی مهم: 🔹 هر داده خارجی را به چشم ورودی غیرقابل اعتماد ببینیم. 🔹 دسترسی Agentها را محدود کنیم. 🔹 برای عملیات حساس تأیید انسانی داشته باشیم. 🔹 خروجی مدل را قبل از استفاده بررسی کنیم. 🔹 تغییرات Prompt و Pipeline را مرتب تست امنیتی کنیم. دنیای AI خیلی سریع در حال رشد است و همزمان با قابلیت‌های جدید، ریسک‌های جدید هم ایجاد می‌شوند. به نظرم آینده امنیت AI فقط در ساخت مدل‌های قوی‌تر نیست. بخش مهم‌تر اینه که یاد بگیریم چطور این مدل‌ها را در یک معماری امن و قابل اعتماد استفاده کنیم. #AI #LLM #AIsecurity #CyberSecurity #AIAgents #MachineLearning #PromptInjection