Пост یه مطلب جالب درباره امنیت زنجیره تأمین مدل‌های هوش مصنوعی خوندم که به نظرم ارزش گفتن داشت.

یه مطلب جالب درباره امنیت زنجیره تأمین مدل‌های هوش مصنوعی خوندم که به نظرم ارزش گفتن داشت. معمولاً وقتی درباره امنیت مدل‌های هوش مصنوعی حرف می‌زنیم، ذهنمون میره سمت خود مدل؛ ولی مشکل فقط مدل نیست. کتابخانه‌ها، فایل‌های مدل، داده‌ها، سرویس‌های تبدیل، ابزارها و حتی سیستم‌هایی که مدل داخلشون اجرا میشه، همگی می‌تونن بخشی از مسیر حمله باشن. مثلاً Hugging Face خودش درباره فایل‌های pickle هشدار داده، چون باز کردن این فایل‌ها می‌تونه باعث اجرای دستوراتی بشه که داخل فایل قرار داده شده. به همین دلیل هم مکانیزم بررسی این فایل‌ها رو داره و فرمت امن‌تری مثل safetensors رو پیشنهاد می‌کنه. یه نمونه جالب‌تر هم توسط HiddenLayer گزارش شده؛ مهاجم با یک فایل مخرب PyTorch تونسته بود سرویس تبدیل مدل Hugging Face رو هدف قرار بده، توکن ربات رسمی رو به دست بیاره و حتی از طرف اون ربات درخواست تغییر ثبت کنه. یعنی حمله فقط به «مدل» انجام نشده؛ بلکه به سرویس مورد اعتمادی انجام شده که اطراف مدل قرار داشته. برای عامل‌های هوش مصنوعی این موضوع جدی‌تر هم میشه. چون عامل فقط متن تولید نمی‌کنه؛ ممکنه به فایل، API، مخزن کد، سیستم ساخت و استقرار یا ابزارهای مختلف دسترسی داشته باشه. حالا تصور کنید یک صفحه وب، فایل یا داده‌ای که عامل می‌خونه، حاوی دستور مخربی باشه. اگر عامل بدون بررسی به اون اعتماد کنه، ممکنه کاری انجام بده که کاربر اصلاً درخواست نکرده. اینجا یک اشتباه رایج وجود داره: فکر کنیم اگر خود مدل رو ایمن کنیم، کل سیستم امن شده. در واقع باید دو بخش رو جداگانه محافظت کنیم: یکی زنجیره تأمین مدل؛ یعنی منبع مدل، داده‌ها، فایل وزن‌ها، صحت فایل و سابقه تغییرات. دومی لایه اجرای عامل؛ یعنی اینکه عامل به چه ابزارهایی دسترسی داره، چه دستوری می‌تونه اجرا کنه و چه اطلاعاتی می‌تونه بخونه یا تغییر بده. چند کار ساده هم می‌تونه ریسک رو خیلی کمتر کنه: ۱. صحت فایل‌های مدل و داده‌ها رو قبل از استفاده بررسی کنیم. ۲. تا جای ممکن از قالب‌های ناامن برای مدل‌ها استفاده نکنیم. ۳. مدل و داده‌ای که منبعش مشخص نیست رو قابل اعتماد فرض نکنیم. ۴. دسترسی عامل‌ها رو تا حد ممکن محدود کنیم. ۵. دسترسی به کلیدها، رمزها و اطلاعات حساس رو از عامل‌ها جدا کنیم. ۶. اجرای ابزارها رو هم مثل خود مدل، بخشی از سطح حمله در نظر بگیریم. به نظرم با گسترش عامل‌های هوش مصنوعی، «امنیت مدل» دیگه به‌تنهایی کافی نیست. اگر یک عامل به ابزارهای واقعی دسترسی داشته باشه، یک ورودی مخرب می‌تونه از یک مشکل ساده در متن، تبدیل به دسترسی به فایل‌ها، اطلاعات حساس یا حتی سیستم‌های دیگر بشه. در نهایت هوش مصنوعی فقط سرعت انجام کارها رو بیشتر نمی‌کنه؛ اگر دسترسی‌ها درست کنترل نشن، سرعت آسیب‌زدن رو هم بیشتر می‌کنه. #AIAgents #AI