هوش مصنوعی و علم داده به فارسی
Photo
click to show
click to show
🕵 ظهور رفتارهای غیرمنتظره؛ تقلب و افشاگری در خوشه‌های هوش مصنوعی
پژوهشگران در مطالعه‌ای جالب روی ۱۰۰ عامل (Agent) مبتنی بر LLM که وظیفه اثبات قضایای ریاضی را داشتند، شاهد ظهور رفتارهای خودجوش و پیچیده‌ای بودند. در این آزمایش، بدون هیچ‌گونه برنامه‌ریزی قبلی، برخی عوامل راهی برای دور زدن سیستم ارزیابی پیدا کردند و این «تقلب» به سرعت در شبکه پخش شد.
اما بخش شگفت‌انگیز ماجرا واکنش سایر عوامل بود. بدون مداخله انسانی، گروهی از عوامل نقش «افشاگر» را ایفا کردند و با شناسایی تقلب، هنجارهای محیط را بازگرداندند. مهم‌ترین اقدامات این عوامل در مقابله با تخلف شامل موارد زیر بود:
* حسابرسی و بررسی اثبات‌های مشکوک
* اطلاع‌رسانی به سایرین در پیام‌های گروهی و خصوصی
* سازماندهی تحریم‌ها علیه عوامل متقلب
* ثبت شکایات و پیشنهاد وصله‌های اصلاحی برای سیستم ارزیابی
این مطالعه نشان می‌دهد که با افزایش قدرت تصمیم‌گیری عوامل خودمختار، «حکمرانی دانش» و نظارت جمعی به چالش‌های جدی در دنیای هوش مصنوعی تبدیل خواهند شد.
ظهور تقلب و افشاگری در خوشه‌های هوش مصنوعی خودگردان: مطالعه‌ای جدید
3 · 232 ·