Programming For Everyone
Replymessage unavailable#حاجی_پشمام
استارتاپ Talaas مدلهای LLM رو مستقیم روی چیپ «حک» میکنه — مثل CD-ROM، فقط یه مدل رو اجرا میکنه ولی با سرعت ۱۷,۰۰۰ توکن در ثانیه.
یعنی ۳۰ صفحه A4 در یک ثانیه. بدون GPU، بدون memory bottleneck.
- وقتی وزنهای مدل رو hardwire کنی روی سیلیکون، دیگه نیازی به RAM نیست. ۱۰ برابر ارزونتر، ۱۰ برابر کممصرفتر از GPU.
https://taalas.com/the-path-to-ubiquitous-ai/
@DevTwitter | <Amir Afianian/>
8.5K ·