CodeNeuron
احتمالاً ماجرای «گلیتچ توکن‌ها» رو یادتونه؛ کلمات یا رشته‌هایی که در فرایند آموزش مدل خیلی کم دیده شدن و به یک توکن خاص تبدیل میشن.
گاهی وارد کردن همین رشته‌ها در پرامپت باعث رفتارهای عجیب مدل میشه؛ از اینکه نتونه حتی همون کلمه رو درست تکرار کنه، تا تولید خروجی‌های کاملاً غیرعادی.
این موارد برای تحقیقات مربوط به نحوه ذخیره اطلاعات در مدل‌های زبانی جالبن و از نظر امنیتی هم می‌تونن برای شناسایی یک مدل خاص یا ایجاد اختلال در رفتار اون استفاده بشن.
حالا اخیراً یک رشته عجیب دیگه منتشر شده که گفته میشه روی Claude Opus 5 رفتار غیرعادی ایجاد می‌کنه.
ساختار آزمایش خیلی ساده‌ست:
از مدل خواسته میشه:
«این متن رو با کلمات خودت بیان کن»
و بعد اون رشته خاص به درخواست اضافه میشه.
طبق گزارش منتشرشده، مدل در بعضی شرایط شروع می‌کنه به تولید خروجی‌هایی که اصلاً شبیه رفتار عادی نیستن؛ از کاراکترهای عجیب یونیکد و تگ‌های داخلی گرفته تا بخش‌هایی از دستورهای سیستمی.
حتی ادعا شده در برخی موارد، خروجی شامل بخش‌هایی شبیه ردپای فرایند استدلال داخلی مدل بوده.
البته اینجا باید یک نکته مهم رو در نظر گرفت:
دیدن چنین خروجی‌ای لزوماً به این معنی نیست که «reasoning واقعی مدل لو رفته».
مدل‌های زبانی ممکنه در اثر یک ورودی خاص، الگوهایی تولید کنن که شبیه اطلاعات داخلی یا فرایند استدلال به نظر برسه، بدون اینکه واقعاً به محتوای محرمانه دسترسی پیدا کرده باشن.
برای همین، این موضوع بیشتر از اینکه یک «هک جادویی» باشه، یک نمونه جالب از رفتار غیرعادی مدل در برابر ورودی‌های خاصه.
چیزی که برای من جذابه اینه که هنوز هم با وجود پیشرفت شدید مدل‌های زبانی، بعضی ورودی‌های بسیار خاص می‌تونن رفتارهایی ایجاد کنن که حتی سازندگان مدل هم همیشه دقیقاً قابل پیش‌بینی‌شون نمی‌دونن.
این دقیقاً همون جاییه که امنیت مدل‌های زبانی جذاب میشه؛ جایی بین مهندسی، یادگیری ماشین و کشف رفتارهایی که قرار نبوده ظاهر بشن.
البته اگر خواستید این رشته رو امتحان کنید، با احتیاط انجام بدید؛ چون رفتار گزارش‌شده قابل پیش‌بینی و تضمین‌شده نیست.
#Ai
42 ·