FEATUREDr/LocalLLaMA· rssEN04:30 · 04·17
三元权重模型 Ternary Bonsai 发布:8B 模型内存降到 1.58 位,但跑起来还得等
Prism ML 发布了 Ternary Bonsai 系列模型,分 8B、4B、1.7B 三个尺寸。核心卖点是权重只用 {-1,0,+1} 三个值(三元权重),相比常规 16 位模型内存占用大约只有 1/9——8B 模型实际占存不到 2GB,确实省。但正文没披露任何 benchmark 分数,只说“优于同参数量级多数模型”,这点先别太激动。目前只有 ...
#Inference-opt#Benchmarking#Prism ML#Hugging Face
精选理由
1.58 比特三值权重这个角度确实新鲜,也给了内存节省的具体倍数,HKR-H 和 HKR-K 都成立。但正文没披露标准基准的具体分数,也没有速度数据或独立复现,来源是 Reddit 帖子,所以重要性 68、层级 all 是合理的,不升 featured。
一句话点评
PrismML 发了三款用三值权重(-1,0,+1)的模型,内存比常规 16 位模型省 9 倍,但性能说能打同级对手。这点先别太激动,基准测试和幻觉控制还没第三方验证。
锐评
PrismML 推出了 Ternary Bonsai 系列,有 8B、4B、1.7B 三个尺寸。核心卖点是把模型权重压到 1.58 比特,每个参数只有 -1、0、+1 三种状态,内存占用大约是标准 16 位模型的九分之一。这延续了他们之前 1 比特 Bonsai 的思路,用稍微大一点的体积换明显更好的表现。
目前放出的基准成绩看起来不错,但来源只有官方博客和 Reddit 帖子,没有论文或独立评测。正文没披露训练数据、具体任务上的幻觉率,也没说除了 MLX 2 比特格式外其他推理框架的支持什么时候到位。社区已经在催 20B 到 40B 的大尺寸版本,那才是真正考验这种压缩方案上限的时候。
对想在本地跑模型的开发者来说,如果实际表现不缩水,这确实挺省钱。但在有第三方跑分和真实使用反馈之前,建议先当技术演示看。
HKR 分解
hook ✓knowledge ✓resonance —