r/LocalLLaMA· rssEN01:14 · 05·15
Qwen3.6 27B 一个量化配方让模型少想几步,答案还更准
Reddit 用户用自制的 Q8 量化版 Qwen3.6 27B 跑了两道 AIME 数学题,对比官方 Q8 K XL 量化,新配方只用 9,671 和 5,666 个 token 就答完,官方版分别用了更多 token。种子固定 1337,每道题跑三次。结论是“想得少但正确”,不过正文没披露测试集大小和准确率,只有两道题的数据,这点先别太激动。
#Reasoning#Inference-opt#Code#Qwen
精选理由
这篇来自 Reddit 的测试有明确的实验设置(seed、任务数、重复次数、token 数),可复现性不错,而且结果本身有信息量——量化后推理 token 少了但正确率没掉。但样本太小,只有 2 道题、各跑 3 次,不足以支撑更高评级。正文没有披露量化前后的准确率对比,也没有说明这 2 道题的具体难度和来源,所以结论要打个折扣。
一句话点评
Reddit 用户自制的 Q8 量化版 Qwen3.6 27B,跑两道 AIME 数学题,只用 9,671 和 5,666 个 token 就答完,比官方 Q8 K XL 量化省 token。种子固定 1337,每道题跑三次。结论是“想得少但正确”。但正文只测了两道题,没披露测试集大小和准确率,这点先别太激动。
HKR 分解
hook ✓knowledge ✓resonance ✓