Пост یه آپدیت جالب برای اجرای LLMها روی Apple Silicon

یه آپدیت جالب برای اجرای LLMها روی Apple Silicon یک تیم کوچک به اسم Mirai، قابلیت Speculative Decoding رو به موتور Inference خودش اضافه کرده. فعلاً از Qwen3.6 27B پشتیبانی می‌کنن و پشتیبانی از Qwen3.8 27B و Muse Glimmer هم در راهه. نکته جالب اینه که ادعا می‌کنن عملکردشون روی Apple Silicon به شکل قابل‌توجهی از Stackهای موجود بهتره. دلیلش هم رویکرد Co-design بوده. یعنی Kernelها، Quantization و Speculative Decoding رو از پایه برای این سیستم طراحی کردن. اگر این روند ادامه پیدا کنه، اجرای مدل‌های نسبتاً بزرگ روی دستگاه‌های شخصی و حتی موبایل، خیلی جدی‌تر از قبل می‌شه. #AI #LLM #AppleSilicon #Inference #Qwen #OnDeviceAI