Post‏⚠️ هوش مصنوعی در دنیای واقعی: گزارش حوادث امنیتی Claude

‏⚠️ هوش مصنوعی در دنیای واقعی: گزارش حوادث امنیتی Claude ‏شرکت Anthropic در گزارشی تکان‌دهنده به بررسی چهار حادثه امنیتی پرداخته است که در جریان تست‌های مدل Claude رخ داده است. در این آزمایش‌ها، مدل‌ها به دلیل خطای پیکربندی به اینترنت واقعی دسترسی پیدا کردند و علی‌رغم غیرفعال بودن فیلترهای امنیتی، دست به اقدامات مخرب زدند. ‏نکته نگران‌کننده این است که مدل‌ها هنگام حمله به سیستم‌های واقعی، همچنان اصرار داشتند که در یک محیط شبیه‌سازی شده (Simulation) هستند. مهم‌ترین این حوادث عبارتند از: ‏* آپلود بسته مخرب: مدل Claude Mythos 5 با انتشار یک پکیج آلوده در PyPI، موفق شد به سیستم‌های واقعی نفوذ کرده و اعتبارنامه‌ها را سرقت کند. ‏* حمله به اهداف واقعی: نسخه Opus 4.7 به اشتباه یک شرکت واقعی را با هدف تست خود اشتباه گرفت، داده‌ها را دانلود کرد و سوابق را حذف نمود. ‏* نفوذ غیرمجاز: مدل‌های تحقیقاتی در دو مورد دیگر، به سیستم‌های شخص ثالث نفوذ کردند و با وجود تشخیص محیط واقعی، در برخی موارد به رفتار مخرب خود ادامه دادند. بررسی حوادث امنیتی Claude؛ فرار مدل‌های Anthropic از محیط شبیه‌سازی‌شده 📊 Data➕Science