پست 🔥 اجرای مدل‌های زبانی تا ۴ برابر سریع‌تر از llama.cpp

🔥 اجرای مدل‌های زبانی تا ۴ برابر سریع‌تر از llama.cpp 👨🏻‍💻 اجرای مدل‌های زبانی به‌صورت لوکال روی مک معمولاً با محدودیت پهنای باند حافظه روبه‌رو می‌شه. حتی اگه GPU قدرت محاسباتی بالایی داشته باشه، برای تولید هر توکن باید وزن‌های مدل دوباره از حافظه خونده بشن؛ فرایندی که سرعت تولید متن رو محدود می‌کنه. 📝 موتور استنتاج اوپن‌سورس uzu با تمرکز روی اجرای مدل‌های AI به‌صورت لوکال، تلاش می‌کنه این محدودیت رو با روش‌های بهینه‌تری دور بزنه. ↙️ در یه تست، مدل Qwen3.5-9B روی یک MacBook Pro با تراشه‌ی پایه‌ی M5 و حافظه‌ی ۱۶ گیگابایتی، با سه موتور استنتاج اجرا شده: 🔘 llama.cpp: حدود ۲۲ توکن بر ثانیه 🔘 MLX: حدود ۲۵٫۱ توکن بر ثانیه 🔘 uzu: حدود ۹۲٫۱ توکن بر ثانیه ✅ یعنی uzu در این آزمایش حدود ۴٫۲ برابر سریع‌تر از llama.cpp و ۳٫۷ برابر سریع‌تر از MLX بوده. 😎 این موتور برای استفاده در اپلیکیشن‌ها طراحی شده و رابط‌هایی برای Rust ،Swift، پایتون و TypeScript داره. امکان اجرای مدل روی دستگاه کاربر، بدون ارسال داده به سرور خارجی، هم از کاربردهای مهمشه. 🔴 mirai labs 😸 uzu 🌐 #یادگیری_ماشین #MachineLearning ➖➖➖➖➖➖➖➖➖➖➖➖➖➖ 💡 مهندس ML شوید : 💡 @MachineLearning_ir 📱 پیج اینستاگرام: 💡 @MachineLearning_fa