منشور یه نکته جالبی که این اواخر درباره‌ی امنیت مدل‌های هوش مصنوعی دیدم، مفهوم Affirmation Jailbreak بود.

یه نکته جالبی که این اواخر درباره‌ی امنیت مدل‌های هوش مصنوعی دیدم، مفهوم Affirmation Jailbreak بود. ایده‌ی اصلیش اینه که بعضی حملات به‌جای اینکه مستقیماً محدودیت‌های مدل رو هدف بگیرن، سعی می‌کنن با تغییر نحوه‌ی بیان درخواست، روی رفتار مدل اثر بذارن. مثلاً به‌جای اینکه درخواست به شکل مستقیم مطرح بشه، با عباراتی شروع می‌شه که از قبل یک فضای تأییدشده برای مدل ایجاد می‌کنن. نکته‌ی جالب اینجاست که مدل فقط به معنی تک‌تک کلمات نگاه نمی‌کنه؛ Context و نحوه‌ی شکل‌گیری مکالمه هم روی تصمیمش تأثیر می‌ذاره. البته این موضوع فقط به یک تکنیک محدود نمی‌شه. در تحقیقات مربوط به AI Safety، روش‌هایی مثل Role Playing، دستکاری Context و ساختن مکالمات طولانی برای عبور از محدودیت‌های مدل هم بررسی شدن. چیزی که برای من از این بحث مهم‌تره، خود حمله نیست؛ بلکه اینه که هنوز نمی‌شه یک مدل زبانی رو به‌عنوان یک لایه‌ی امنیتی کاملاً قابل‌اعتماد در نظر گرفت. شرکت‌هایی مثل OpenAI برای مقابله با این نوع رفتارها از چندین لایه‌ی دفاعی، آموزش ایمنی، ارزیابی مدل و محدودسازی سوءاستفاده استفاده می‌کنن. ولی حتی با وجود تمام این لایه‌ها، یک اصل در توسعه‌ی نرم‌افزار همچنان سر جاشه: کدی که AI تولید می‌کنه، قبل از ورود به Production باید توسط انسان بررسی و اعتبارسنجی بشه. هوش مصنوعی می‌تونه سرعت توسعه رو چند برابر کنه؛ ولی مسئولیت تصمیم فنی و امنیتی با Engineer هست #هوش_مصنوعی #امنیت #امنیت_نرم_افزار #برنامه_نویسی #هوش_مصنوعی_مولد #ایجنت_هوش_مصنوعی #Ai #AIsecurity #LLM