پست یه تحقیق جدید از HiddenLayer منتشر شده که دوباره یک نکته مهم درباره امنیت LLMها رو یادآوری می‌کنه:

یه تحقیق جدید از HiddenLayer منتشر شده که دوباره یک نکته مهم درباره امنیت LLMها رو یادآوری می‌کنه: حتی مدل‌های خیلی قوی هم در برابر Prompt Injection و Jailbreak صددرصد امن نیستند. اسم این تکنیک رو گذاشتن: آقا یا خانم Policy Puppetry ایده اصلیش اینه که مهاجم چند تکنیک ساده رو با هم ترکیب می‌کنه تا مدل رو گمراه کنه. مثلاً: یک متن شبیه فایل تنظیمات یا Policy جعلی می‌سازه تا مدل فکر کنه این دستور رسمی سیستمه. بعد یک Persona خاص به مدل می‌ده تا نقش جدیدی بگیره. بعد سعی می‌کنه جلوی پاسخ‌های امن مدل رو بگیره. و حتی بعضی کلمات حساس رو تغییر شکل می‌ده تا فیلترهای ساده رو دور بزنه. نکته جالب اینجاست که این حملات فقط مربوط به یک مدل خاص نیستند. مدل‌هایی از شرکت‌های مختلف مثل OpenAI، Google، Anthropic، Meta، DeepSeek و دیگران بررسی شدند. اما نکته مهم برای مهندس‌های AI اینه: امنیت LLM فقط با یک System Prompt قوی حل نمی‌شه. چند لایه دفاع لازم داریم: - ورودی کاربر نباید با دستورهای سیستمی قاطی شود. - برای کارهای حساس باید Permission و Approval وجود داشته باشد. - از Sandbox برای اجرای کد یا تغییرات مهم استفاده شود. - تست‌های Red Team و Jailbreak باید همیشه به‌روز شوند. یک اشتباه رایج اینه که فکر کنیم: مدل قوی‌تر = امنیت کامل‌تر در واقع هرچه مدل توانمندتر شود، نیاز به معماری امنیتی بهتر هم بیشتر می‌شود. آینده AI فقط ساخت مدل‌های باهوش‌تر نیست؛ ساخت سیستم‌هایی است که بدانیم چطور، کجا و با چه سطح دسترسی از این هوش استفاده کنیم. #AI #LLM #CyberSecurity #PromptInjection #AIsecurity #MachineLearning #AIAgents