CodeNeuron
回复یه مورد عجیب درباره GPT-6 Astra دیدم که به نظرم بیشتر از اینکه یک «ترفند جادویی برای دور زدن فیلتر» باشه، یک مشکل معماری جالب رو نشون می‌ده.
ماجرا اینه که مدل می‌تونه متنی رو که با کیبورد اشتباه نوشته شده تشخیص بده، اما ظاهراً بعضی از لایه‌های امنیتی همون متن رو درست درک نمی‌کنن.
مثلاً یک نفر متنپ.ن: واقعاً نمی‌فهمم چرا برای تست کردن Astra باید از سلاح بیولوژیکی شروع کرد
ولی جدا از شوخی، بخش جالب ماجرا خود عبارت نیست؛ اینه که یک نفر با تغییر ساده در نحوه نمایش ورودی تونسته تفاوت بین چیزی که مدل می‌فهمه و چیزی که فیلتر امنیتی می‌فهمه رو نشون بده.
اگر قراره امنیت یک مدل جدی گرفته بشه، فقط نباید ببینیم خود مدل چه چیزی رو متوجه می‌شه؛ باید ببینیم تمام لایه‌های اطرافش هم همون ورودی رو چطور تفسیر می‌کنن.
وگرنه ممکنه قوی‌ترین بخش سیستم، دقیقاً از ضعیف‌ترین بخش امنیتی جلو بزنه.
25 ·