FEATUREDr/LocalLLaMA· rssEN08:01 · 05·21
HRM 1B:一个用极低成本训练的小模型,性能号称能打 2B-7B 的开源选手
Sapientinc 开源了一个叫 HRM-Text 1B Base 的小模型,连训练代码也一起放出来了。论文里的说法是,它的性能可以和 2B 到 7B 的开源模型掰手腕,但训练用的数据量只有别人的百分之一到九百分之一,算力消耗更是只有别人的 1/96 到 1/432。具体来说,用 16 块 H100 GPU 训练了大概 46 小时,总花费约 1,47...
#Reasoning#Fine-tuning#Code#Sapientinc
精选理由
HKR 三项都站得住:HRM-Text 1B 有具体的低成本训练数字和公开代码。卡在 80 分是因为消息源是 Reddit,效率提升的说法还没有独立评测背书,我会先打个折。
一句话点评
Sapientinc 开源了一个 1B 小模型,训练成本只要 1472 美元,性能却敢对标 2B-7B 的模型,但正文被 Reddit 屏蔽了,看不到实测数据。
锐评
这条消息最抓眼球的点是成本:16 块 H100 跑 46 小时,总花费约 1472 美元,这个数字低到让人想先打个折。论文声称 HRM-Text 1B Base 能用别人百分之一到九百分之一的数据量,算力消耗更是只有 1/96 到 1/432,去对标 2B 到 7B 的开源模型。如果这些数字在标准评测集上站得住,那确实说明训练方法上有巧劲,不是单纯堆资源。
但问题在于,Reddit 原帖被屏蔽了,我们看不到社区的实际反馈和跑分截图。论文里的“掰手腕”具体是在哪些任务上、用什么指标比的,目前都只能靠摘要里的说法。小模型经常在特定基准上表现亮眼,一到开放域或长文本就露怯,所以没看到完整的评测矩阵之前,这个 1B 模型的实际可用性要打问号。
另外,训练代码也开源了,这对想复现或者魔改的人来说是好事。现在还缺的是 Hugging Face 上的模型卡细节、社区实测的吞吐和延迟数据,以及它到底在推理还是代码生成上更擅长。
HKR 分解
hook ✓knowledge ✓resonance ✓