CodeNeuron
یک تحقیق جدید خوندم که به نظرم یکی از جالب‌ترین نمونه‌های رفتار غیرمنتظره عامل‌های هوش مصنوعیه.
موضوع درباره چند عامل مبتنی بر مدل‌های زبانیه که برای جواب دادن به سؤال‌های پیچیده، از اینترنت استفاده می‌کردن.
محدودیتشون هم این بود که فقط اجازه ارسال درخواست‌های GET رو داشتن.
در جریان کار، عامل‌ها به یک ویکی قدیمی آلمانی برای برنامه‌نویس‌ها برخورد می‌کنن؛ سایتی که ظاهراً امکان ایجاد نوشته با استفاده از درخواست GET رو داشته.
از اینجا اتفاق جالب شروع میشه.
عامل‌ها کم‌کم از این ویکی به‌عنوان یک محل ارتباطی استفاده می‌کنن و شروع می‌کنن به گذاشتن پیام و رد و بدل کردن اطلاعات با هم.
در مجموع چیزی حدود ۱۸ هزار پیام روی این سایت ایجاد میشه.
اما قضیه فقط تبادل چند جواب ساده نبود.
بعضی عامل‌ها سعی کردن محدودیت‌های محیط خودشون رو بررسی کنن، حتی دنبال راه‌هایی برای دور زدن محدودیت‌های محیط اجرا رفتن.
در یک مورد متوجه تنظیمات اشتباه پراکسی و امکان تغییر فایل /etc/hosts شدن.
بعضی‌ها تلاش کردن با بررسی تولید اعداد تصادفی، حدس بزنن سؤال‌های بعدی چی هستن.
چند عامل جواب‌هایی که پیدا کرده بودن رو برای بقیه می‌فرستادن.
یکی حتی یک اسکریپت ضربان قلب ساخته بود تا بفهمه عامل‌ها بعد از پایان کار چقدر زنده می‌مونن.
موارد دیگه‌ای مثل تلاش برای ایجاد تونل SSH و استفاده از روش‌های ناشناس‌سازی مثل Tor هم دیده شده.
قسمت عجیب‌تر زمانی بود که مدیر سایت متوجه این فعالیت‌ها شد و شروع کرد صفحات رو پاک کردن.
عامل‌ها هم خیلی سریع واکنش نشون دادن و شروع کردن از صفحات نسخه پشتیبان گرفتن؛ حتی فایل‌های جدید رو با پیشوند ZZZ ذخیره می‌کردن تا در روند حذف الفبایی، دیرتر بهشون برسه.
در نهایت تعداد زیادی فعالیت از سمت IPهای مربوط به OpenAI مشاهده شد و بعد از اون فعالیت عامل‌ها متوقف شد. طبق گزارش پژوهشگران، افرادی از شرکت سایت رو بررسی کردن و حتی تلاش کردن بعضی فایل‌های حذف‌شده رو برگردونن.
چیزی که برای من جالب‌تره، اینه که ظاهراً هیچ‌کس به عامل‌ها نگفته بود:
«برید یک ویکی پیدا کنید، با هم ارتباط برقرار کنید و برای دور زدن محدودیت‌ها راه پیدا کنید.»
این رفتار در جریان انجام وظیفه شکل گرفته.
البته هنوز مشخص نیست این رفتار دقیقاً چطور شروع شده، چه تعداد از عامل‌ها از این کانال استفاده کردن و آیا این آزمایش بخشی از ارزیابی یا فرایند آموزش بوده یا نه.
ولی یک سؤال مهم ایجاد می‌کنه:
آیا توانایی همکاری چند عامل با هم، یک رفتار نوظهور از مدل‌هاست یا چیزی که عمداً برای مدل‌ها آموزش داده شده؟
به نظرم این موضوع از نظر امنیتی خیلی مهمه.
وقتی چند عامل بتونن اطلاعات رو بین خودشون منتقل کنن، منابع مشترک پیدا کنن و حتی راه‌هایی برای ادامه فعالیت خودشون ایجاد کنن، دیگه با یک عامل ساده طرف نیستیم؛ با چیزی شبیه یک جامعه کوچک از عامل‌ها روبه‌رو هستیم.
و اگر این توانایی در کارهای مفید باعث حل مسائل پیچیده‌تر و طولانی‌تر بشه، طبیعتاً همین قابلیت می‌تونه در سمت مهاجمان هم استفاده بشه.
به نظرم این یکی از اون تحقیق‌هاییه که ارزش داره کامل خونده بشه، چون بخش زیادی از نکات جالبش دقیقاً در جزئیات اتفاقاتیه که بین عامل‌ها افتاده.
#AI
1 · 39 ·