پست یک نکته ای رو بگم :

یک نکته ای رو بگم : سرعت اجرای یک LLM روی سیستم شخصی شما چیز مرموزی یا پیچیده ای نیست. برای بیشتر مدل‌ها، حتی قبل از اینکه وزن‌های مدل رو دانلود کنین با یک محاسبه ساده میتونین حدود سرعت پردازش اون رو (تعداد توکن در هر ثانیه) پیش‌بینی کنین. جالب اینجاست که این تخمین معمولاً دقت بسیار خوبی داره #هوش_مصنوعی #LLM #AIAgents