CodeNeuron
Antwortیه آپدیت جالب برای اجرای LLMها روی Apple Silicon
یک تیم کوچک به اسم Mirai، قابلیت Speculative Decoding رو به موتور Inference خودش اضافه کرده.
فعلاً از Qwen3.6 27B پشتیبانی میکنن و پشتیبانی از Qwen3.8 27B و Muse Glimmer هم در راهه.
نکته جالب اینه که ادعا میکنن عملکردشون روی Apple Silicon به شکلپ.ن: دوستان AI روی گوشی داره جدیتر میشه.
به نظرم با این سرعت پیشرفت در Inference، Quantization و Speculative Decoding، تا یک سال دیگه ممکنه واقعاً به اجرای مدلی در سطح Qwen3.8 27B روی گوشی برسیم.
اگر این اتفاق بیفته، بخش بزرگی از AI میتونه On-Device اجرا بشه؛ بدون Cloud و وابستگی دائمی به API.
به نظرم این مسیر خیلی جذابتر از چیزییه که الان به نظر میاد.
44 ·