Akalin233
PrismML发布可在手机运行的27B模型
AI实验室PrismML正在把推理模型做得小到能装到个人电脑和智能手机上。当地时间周四，PrismML发布了Bonsai 2 27B，这是其模型系列中的最新款，将来自阿里巴巴的开源模型Qwen3.8 27B压缩到5.9GB。
这足够小，能装到一台个人电脑上，甚至可能装到一部高端智能手机上。与原版模型相比，内存占用减少了9到10倍。PrismML由一群加州理工学院研究人员创立，并由加州理工学院教授兼压缩技术专家Hassibi领导。
Hassibi表示，PrismML 的压缩技术是独特的，因为其模型与原始版本相比几乎没有损失性能。Bonsai 2达到了 Qwen综合基准测试分数的 98%。
—— Techcrunch
4 · 136 ·