Пост یه پروژه جالب برای اجرای مدل‌های هوش مصنوعی به‌صورت لوکال پیدا کردم!

یه پروژه جالب برای اجرای مدل‌های هوش مصنوعی به‌صورت لوکال پیدا کردم! اسمش Magnitude هست؛ یه موتور استنتاج متن‌باز که هدفش اجرای مدل‌های باز با استفاده بهینه‌تر از سخت‌افزار خودته. ⚙️ چیزی که توی معرفی رسمی پروژه توجهم رو جلب کرد، اینه که کرنل‌ها رو متناسب با سخت‌افزار سیستم کامپایل و تنظیم می‌کنه. چند مورد از قابلیت‌هاش: 🔹 پشتیبانی از Apple Silicon، کارت‌های گرافیک NVIDIA و AMD و حتی CPU 🔹 بهینه‌سازی اجرای مدل‌ها متناسب با سخت‌افزار 🔹 پشتیبانی از اجرای هم‌زمان چند نشست و استفاده مشترک از Prefix Cache 🔹 ارائه به‌صورت اپلیکیشن دسکتاپ برای ویندوز، لینوکس و macOS خود پروژه ادعا می‌کنه که در بعضی بنچمارک‌ها، سرعتش تا ۲ برابر بیشتر از llama.cpp بوده؛ البته این نتیجه به سخت‌افزار و شرایط تست بستگی داره و نباید به همه سیستم‌ها تعمیمش داد. 🔗 وب‌سایت رسمی: https://magnitude.dev 💻 سورس‌کد: https://github.com/magnitudedev/magnitude #هوش_مصنوعی #AI #LLM #LocalAI