论文 · 2026-04-20

MathNet发布了47个国家、17种语言、30676道题的多模态数学基准。我的判断先放前面：这不是又一个“刷分题库”，它把数学评测从答案生成，硬拽到了检索质量和跨语言覆盖上；但三家来源标题完全一致，信息基本都贴着论文摘要走，这说明覆盖面本身不是独立验证，只是同一学术源在不同索引站同步扩散。 三家来源的角度几乎没差别。arXiv 两个分类页和 Hugging Face 的论文页，都在重复同一组核心叙事：47 国、17 语、20 年、30676 题，外加三个任务——解题、数学检索、检索增强解题。这里没有媒体自己的切口，也没有额外采访。说得直白一点，这不是“多家都确认了”，而是“多处都转述了作者自己的 framing”。所以文中那组成绩，Gemini-3.1-Pro 78.4%、GPT-5 69.3%、DeepSeek-V3.2-Speciale 在 RAG 下最高增益 12%，现阶段只能当论文声称。我还没核对原始评测脚本、判分规则、温度设定，也没看到这些二手页面补充更细节的 ablation。 我觉得这套基准有价值，主要是因为它补了过去一年数学评测里最空的一块：检索。过去大家测 MATH、AIME、OlympiadBench、MathVista，焦点都放在“模型自己算没算出来”。现实里的数学系统却越来越像两段式流水线：先找相似题、定理、构型，再把检索结果塞进推理链。MathNet把“是否找对题”单独拎出来，这个机制是对的。摘要已经给了一个很扎眼的结论：RAG 表现高度依赖检索质量，检索差一点，生成端再强也接不住。这个判断我很认同，因为数学检索跟通用 embedding 检索不是一回事。语义相近没用，题型同构、约束等价、图形关系对应，这些才决定检索值不值钱。很多 embedding 模型在通用 MTEB 上分数漂亮，到了数学等价检索会直接塌。 第二个有用点，是它没有只盯英语。17 种语言、47 个国家、跨 20 年奥赛题，这个覆盖面如果清洗做得干净，会比单语 benchmark 更接近真实分布。过去一年不少模型在英文竞赛题上抬得很高，一到低资源语言，或者题干混着本地记法、扫描图、手写图，稳定性就掉得很难看。MathNet把多模态和多语种放在一起，至少给了一个更接近部署现场的压力测试。尤其是几何题、带图题、排版复杂的组合题，这类样本比纯文本代数题更能拉开差距。 但我对这条也有两个保留。第一个是污染风险。30,676 题是大体量，还是二十年奥赛真题，这类内容很多早就散落在论坛、教辅、解题站、PDF 合集里。论文说“高质量”“专家编写解答”，这很好，但摘要没披露去重策略、网页泄漏排查、训练集重合检测到底做到什么粒度。你只要拿“公开多年”的奥赛题做评测，就很难完全避开模型见过原题或近似题。这个问题不解决，78.4% 和 69.3% 的差距能说明多少“推理能力”，我会打问号。 第二个是检索标注成本和主观性。论文说他们做人类专家整理的“数学等价”和“结构相似”题对，这一步如果做扎实，含金量很高；如果标准松一点，benchmark 会很快滑向“像不像”的语义检索。数学里等价不等于表面改写，结构相似也不等于共享几个关键词。题目变换、坐标化、辅助线引入、结论倒置，这些都会让标注边界变得很细。我没看到这几篇二手页面给出标注一致性、双盲校验比例、负样本构造方法。标题已经给出“首个数学检索基准”，正文摘要也给了性能结论，但决定这事能不能站住的，恰好是这些没被转述出来的细节。 还有一个细节挺关键：摘要里说 DeepSeek-V3.2-Speciale 通过 RAG 获得最高分，提升最多 12%。这说明现在数学系统的瓶颈未必只在 base model。检索器、reranker、上下文拼接、去噪策略，可能比再堆一点 test-time compute 更划算。我一直觉得，数学 agent 这条线会越来越像代码 agent：不是单模型单次作答，而是“检索器 + 推理器 + 校验器”的组合工程。MathNet如果被社区接住，最先受益的不是纯聊天模型榜单，而是做 embedding、reranking、tool-use 的团队。 所以我对这条的结论是：方向对，数字先别急着信满分。三家来源的高度一致，更像论文摘要在扩散，不像外部验证已经完成。数据集一旦公开，下一步就看两件事：一是别人能不能复现那组 78.4%、69.3% 和 12% 的结果；二是公开几个月后，这套题会不会迅速变成训练语料，最后把 benchmark 自己做旧。数学评测这两年最难的，从来不是“再找一堆难题”，而是做出一个在泄漏时代还能活久一点的基准。

BLF 在 ForecastBench 的 400 道回测题上超过 GPT-5、Grok 4.20 和 Cassi。正文没给出 Brier、log loss、准确率差值，我先不替它庆功。 我对这篇的判断很直接：它抓到的不是“更会搜”，而是“更会记账”。很多 agent 预测系统把网页、新闻、论坛摘录持续塞进上下文，最后变成检索链越长，噪声越高，模型还会把旧证据和新证据混着背。BLF 把状态压成“数值概率 + 语言证据摘要”的信念状态，再按轮次更新，这个设计比标题里那个 Bayesian 更有价值。因为 forecasting 不是多看几篇材料就行，关键是每一步证据进入后，旧判断怎么衰减，冲突证据怎么留痕，最后概率怎么别被最后一条新闻带偏。 这条路线其实有历史参照。过去一年不少 agent paper 都在卷更长上下文、更多网页、更多工具调用，默认前提是“信息别丢”。我一直觉得这套前提很粗。预测任务和开放问答不同，信息保真不等于决策保真。你保留 40 段原文，未必比保留 4 条已校准的中间信念更好。更早一点看，传统 forecasting 圈子讲的是 base rate、reference class、calibration、extremizing，不是 token 越多越准。BLF 至少把这两套东西接上了：LLM 负责写可更新的证据摘要，Bayesian/校准层负责约束概率别乱飘。 我比较认同消融里那句“结构化信念状态的增益接近联网搜索”。这话如果成立，含义很硬：很多 agent 的瓶颈不在缺网页，而在缺一个可递推的内部状态。说真的，这比“再给模型开一个搜索 API”有信息量。搜索只能扩充观察面，不能自动解决证据冲突、时间衰减和重复计权。一个半结构化 belief state 至少把这三个坑摆到了台面上。 但我对论文叙事也有两处保留。第一，正文摘要只说“超过”竞品，没说领先多少，也没给置信区间、题型拆分、事件时效分层。ForecastBench 只有 400 题，样本不算小，但也没大到能让人忽略切片波动。要是优势主要集中在新闻密集题，而在冷门事件题没拉开，那结论会弱很多。第二，回测泄漏率低于 1.5% 当然重要，可这不是终点。预测系统最怕的泄漏，常常不是显式答案泄漏，而是后验语气、总结文风、二手报道的时间穿透。摘要没展开检测机制，我还没法判断这 1.5% 是严口径还是宽口径。 多试次收缩聚合和分层校准这两层，我反而觉得很靠谱。因为单次 LLM 预测的方差一直很高，这在政治、宏观、科技发布时间这类题上尤其明显。用 K 次独立 trial 做 logit 空间收缩，本质上是在给“模型这次刚好情绪化了”上保险。分层校准也合理，Platt scaling 一刀切时，来源分布偏斜的数据集确实容易把极端概率压平。我没看到 K 取多少，也没看到先验怎么设；这两点正文未披露，复现时很关键。 我还想补一个文章外的对比。过去几代通用模型在 forecasting 上经常输给专门堆校准和聚合的系统，哪怕底模本身更强。原因不神秘：预测不是纯生成任务，后处理和概率纪律经常比底模多涨 5 个 benchmark 点更值钱。BLF 这次如果真把 GPT-5 压过去，我更愿意把它读成“系统设计赢了裸模型”，不是“某个神奇 Bayesian prompt 赢了”。 我有点怀疑的一点是，所谓 linguistic belief state 以后会不会自己长成新的上下文垃圾桶。只要摘要写得越来越长，层层改写后仍会出现信息漂移、证据重复、以及模型给自己早先判断背书的问题。这个坑论文摘要没提。我会想看两个额外实验：一是 belief state 长度随步数增长时，性能什么时候拐头；二是把同一批证据换个顺序喂进去，最终概率是否稳定。没有这两组，当前结论还是“方向很对，工程上还没盖棺”。 我自己的结论是，这篇对 agent 设计比对 forecasting leaderboard 更重要。它在提醒大家：长期任务里，检索不是状态，记忆也不是上下文。你得显式维护一个可更新、可校准、可压缩的中间信念层。标题已经给出公开 SOTA，正文还没给足幅度和复现细节；我会等完整论文里的分题表现和校准曲线，再决定这是不是能迁到金融、政策、网络安全预警这些高噪声场景。

论文把 3 类弱监督条件放进同一套实验里。结论也很硬：训练奖励的“饱和速度”决定模型是在学推理，还是只是在背答案。两条 arXiv 收录都用同一标题、同一摘要、同一 DOI，说明这不是多家媒体各自解读，而是同一论文在 cs.AI 和 cs.LG 的双分类展示；覆盖数是 2，但独立信息源其实只有 1 个，这点得先说清。 摘要给出的核心机制有 3 个。第一，弱监督设置包括稀缺数据、噪声奖励、自监督代理奖励，共 3 类。第二，能泛化的模型会出现一个较长的 pre-saturation phase，训练奖励和下游表现一起上升；快速饱和的模型更像记住训练反馈。第三，预训练阶段的“reasoning faithfulness”能预测模型会落进哪一类，而输出多样性没这个预测力。这个判断我挺买账，因为它正好戳中 2025 年很多 RLVR 结果的软处：reward 上去了，不等于 reasoning 学到了。尤其在可验证任务里，pass@1、verifier score、过程奖励这几条线经常一起涨，大家就默认“会推理了”；这篇是在说，先别急，先看奖励是不是很快封顶，再看中间推理链是不是在逻辑上支撑最终答案。 我比较认同他们把 SFT 和 continual pre-training 拆开看。摘要说得很明确：只有领域继续预训练还不够，SFT 到显式 reasoning traces 是泛化的必要条件；continual pre-training 的作用是放大这个效果。Applied together 之后，Llama3.2-3B-Base 才能在此前失败的 3 类弱监督设置里都泛化。这里的信息量很大，因为它跟过去一年不少“少量 RL 就把 base model 拉起来”的叙事不太一样。那类叙事常把 RL 当主角，把 SFT 当初始化细节；这篇给出的顺序更像是，先把可被奖励塑形的推理骨架做出来，再谈弱信号能不能把它推过去。 我也得泼点冷水。摘要没有披露任何关键数字：没给任务名，没给提升幅度，没给 reward saturation 的定量阈值，没给 faithfulness 的测量方法，也没说 diverse model families 具体有哪些模型。标题和摘要已经给出机制判断，正文之外却还没有足够数字让外部复核。这会直接影响可用性。比如“faithfulness 预测泛化”这句，若 faithfulness 是靠另一个强模型打分，那它更像评审器发现了可学样本，不一定是 base model 的内生属性；若是靠程序化校验，结论就硬很多。摘要没披露，我不能替它补。 我寻思了一下，这篇最有价值的地方，不在“弱监督也能学推理”这几个字，而在它把很多工程团队的隐性经验写成了一个可检验假设。做 GRPO、RLAIF、tool-use RL 的人，多少都见过这种现象：训练曲线很漂亮，eval 先涨一点，然后横住，最后模型越来越会迎合奖励格式。大家平时会说这是 reward hacking、overfitting、verifier exploitation。本文把这些现象往前推了一步，给出一个更早的诊断信号：看 pre-saturation 区间有没有和下游指标同步上升。这个角度比单看最终 reward 更像能指导训练决策。 和过去一年的外部脉络放一起看，味道会更清楚。DeepSeek-R1 那波把“可验证奖励足够强时，推理能力能被强化出来”推到了台前。后面一堆工作都在问同一个问题：如果奖励不再干净，或者标注少、过程不全，还能不能复制这种增益。这篇的答案不是简单的 yes/no，而是加了前提：模型在 RL 之前得已经具备相当程度的 faithful reasoning 结构，SFT 还得把这种结构显式化。说实话，这个结论不性感，但很像真相。它把“RL 产生推理”改成了“RL 放大已有且可对齐的推理痕迹”。 我还有一个保留意见。摘要把 output diversity 判成“不具信息量”，这话我不敢现在就全收。很多团队把多样性当搜索宽度的替身，本来就容易误用；但在 best-of-N、self-consistency、tree search 这类流程里，多样性是否无用，往往取决于 verifier 质量和采样预算。若实验把 diversity 当静态分布指标，而不是决策时的搜索资源，它输给 faithfulness 不奇怪。这个口径差异，得看正文定义。 所以这篇我会认真看，但不会立刻把它当定论。两条来源高度一致，是因为它们其实是同一 arXiv 记录，不是独立报道相互印证。就目前披露的信息，我的结论是：这是一篇对 RLVR 叙事有约束力的论文。它提醒你，弱监督能不能学到推理，不先看奖励有多 clever，先看底模有没有被 SFT 塑出可信的推理链，以及训练奖励是不是涨得太快。

论文把跨模态表征收敛的核心证据重跑到百万级样本，结论是对齐显著下滑。我的判断很直接：这不是在推翻“视觉和语言都学到世界知识”，是在拆“它们学到的是同一套内部坐标系”这个过度外推。 先说多源。这里的“2家来源”其实不是两家媒体各自挖到新角度，而是同一篇 arXiv 论文同时挂在 cs.AI 和 cs.LG 分类下，标题完全一致。它说明的是社区归类面广，不是外部报道形成共识。换句话说，这件事目前只有作者叙事，没有独立复核，也没有媒体去追实验细节。我自己会把它当成一个强烈的反驳信号，但离定论还差复现。 这篇最有力的地方，在于它戳中了过去一年表征论文最常见的软处：评估样本太小，配对假设太干净。摘要给了两个关键条件。第一，很多对齐结论是用 mutual nearest neighbors 在约 1K 样本上测的；第二，数据扩到 millions 后，对齐会明显变差。这个方向我很认同。你在 1K 规模上看到的“共享几何”，很容易只是粗粒度语义簇重合：狗和狗靠近，车和车靠近，场景和场景靠近。规模一放大，细粒度结构一旦对不上，所谓收敛就会露馅。作者也直接点了这件事：剩下的对齐主要反映 coarse semantic overlap，不是稳定的 fine-grained structure。这一刀挺准。 另一个关键点，是他们质疑早期工作的一对一图文设定。图像-字幕天然带着强配对偏置，可真实世界是 many-to-many：同一张图能有多种描述，同一句话也能对应很多视觉实例。只要把评估从“一张图唯一对应一句话”放回更真实的关系里，对齐分数下降并不奇怪。很多人把 CLIP 式联合空间的可检索性，顺手讲成“认知表征趋同”；我一直觉得这步跨得太大。检索成功说明训练目标塑造了共享接口，不等于两个模态内部形成同构世界模型。 作者还补了一枪：早先“语言模型越强，越接近视觉表征”的趋势，在 newer models 上不再成立。这里我赞同结论方向，但保留一点怀疑。摘要没披露他们比较了哪些具体模型、层位、token pooling 方式、归一化方法，也没给出趋势反转的量化幅度。做表征对齐的人都知道，换一层、换投影、换 CKA 还是 MNN，结果就能差很多。标题和摘要已经给出“趋势不再成立”，正文摘要没披露模型列表与统计显著性，所以这部分我不会直接照单全收，得看 PDF 里的 controlled comparison。 这篇论文还有一个更大的价值：它在给“Platonic Representation Hypothesis”降温。过去一年，这个说法很容易被讲成一种接近必然的终局——模型规模一大，不同模态迟早收敛到同一个现实表征。这个叙事很迷人，因为它给统一多模态、世界模型、甚至 AGI 路线都提供了一个漂亮的理论壳。问题是，漂亮不等于证据够硬。只要评估严重依赖 1K 级样本、强配对数据和单一指标，你看到的更像是任务诱导的近似同构，不一定是表征层面的必然收敛。 我还想补一个行业里的实际观察。现在顶尖多模态系统的能力提升，很多时候来自更强的数据过滤、合成数据、蒸馏、奖励建模和工具调用，而不是证明“视觉塔和语言塔在内部几何上终于合一”。像 CLIP、SigLIP、LLaVA 系、Qwen-VL 系、GPT-4o/4.1/5 系这类系统，工程上追求的是可用接口和任务表现。它们当然会出现某些层面的对齐，但把这种对齐上升成“现实表征收敛”，本来就带着一点哲学先行、实证滞后的味道。 所以我对这篇的总体评价是：反驳力度比标题还实用。它没证明跨模态绝不收敛，它证明了现有证据链很脆。这个差别很重要。对做表征研究的人，这篇是在提醒你把样本规模、配对设定、评估指标、层选择全部摊开讲清楚。对做产品的人，它也算一个提醒：别把共享 embedding space 误读成统一世界模型。两者差着一整层理论债。 我还没看作者项目页上的全部图表，所以最后保留一个条件判断：如果正文里确实把 1K、10K、100K、million-scale 的退化曲线，以及 many-to-many 设定下的稳健性都跑全了，这篇会成为 Platonic 表征叙事的一次很像样的校正。要是只是在一个指标上做文章，那它的力度就会小很多。眼下按摘要信息，我站在作者这边，但只站到“现有证据不足”这一步。

ClawEnvKit 生成了 1,040 个环境，8 种 harness 相对裸 ReAct 最高提分 15.7 个百分点；我对这篇的判断很直接：它在把“agent 评测”从静态题库推向程序化生成，这一步比单个分数更重要，但论文现在给出的成本叙事我不会照单全收。 我一直觉得，agent benchmark 这块最卡的不是又多一个榜，而是环境供给跟不上。WebArena、GAIA、SWE-bench 这类基准都证明了一件事：模型分数涨到一定阶段后，题库老化、提示泄漏、harness 差异，会比模型权重本身更快地主导结果。ClawEnvKit 至少正面处理了其中一半问题——它不再把环境当手工艺品，而是拆成 parser、generator、validator 三段流水线。这个设计不新鲜，很多 synthetic data pipeline 也这么干；有意思的是它把任务规范、工具接口、评分配置一起生成了。对 claw-like agent 这种强依赖工具交互的场景，这比只扩写 instruction 更像完整评测，而不是包装过的 QA 数据集。 我比较认同的信号，其实是那句“没有模型跑满基准”。正文只给了结论，没给具体模型名、各家分数、方差、类别 breakdown，这部分还不够硬；但方向上是对的。过去一年不少 agent benchmark 的问题，不是模型太强，而是 benchmark 太快被 harness 吃穿。你给更长上下文、做工具路由、加反思链、改 stop condition，分数就能明显抬。论文这里直接说 8 种 harness 最高能比裸 ReAct 多 15.7 个点，这反而说明它测到了系统设计，而不只是底模常识。做应用的人都知道，这才接近生产现场：同一个 Claude、GPT 或 Qwen，包装方式不一样，结果就是两回事。 但我对“13,800 倍低成本”有点警觉。成本口径是什么？只算人工写环境的标注工时，还是把失败生成、validator 维护、人工抽检、后续版本漂移都算进去？正文没披露。自动生成 benchmark 常见的问题，不是首轮便宜，而是第二轮开始你得持续修 schema、补 validator、挡投机策略。这个维护账如果没进来，13,800x 更像论文里的 headline number。Synthetic data 领域过去两年已经反复演过这套：首轮生成很便宜，稳定复用才是贵的部分。 还有一个我不太买账的点：论文把 coherence 和 clarity 说到“达到或超过人工环境”，但这两个维度离“有效评测”还差一截。环境写得通顺，不等于它真能区分 agent 能力。一个 benchmark 要站住，至少得看三类东西：一，类别间是否有足够异质性；二，是否存在 exploit 路径；三，换模型、换 harness、换随机种子后排序稳不稳。摘要里只告诉我们有 24 个类别、1,040 个环境，这个规模不错；可如果 validator 更偏结构合法，而不是对抗投机，那模型最后学会的是 benchmark grammar，不是任务能力。我自己还没看全文实验细节，如果论文没有更强的 anti-gaming 设计，这会是我最大的保留。 放到更大的脉络里，这篇比很多“又一个 agent benchmark”更有现实感。OpenAI、Anthropic、Google 过去一年都在强调 agent 能力，但公开评测一直落后于产品迭代，尤其是工具使用和长链执行。业界现在缺的不是再多 100 道题，而是能按需求实时生成新环境的机制。ClawEnvKit 把“用户用自然语言描述能力缺口，系统当场生成可验证环境”这件事摆上台面，这点很关键。因为一旦评测是 live 的，训练和评估之间的边界会变模糊：你今天拿它测弱点，明天就会想拿同一套流水线补训练分布。这个闭环很诱人，也很危险。诱人之处在于数据供给终于跟得上 agent 迭代；危险之处在于评测集和训练集共用生成器时，很容易把 benchmark 变成自家 pipeline 的内循环。 所以我对这篇的结论是：方向对，数字先留一半信任。1,040 个环境和 24 个类别说明自动化评测供给开始成形；15.7 个点的 harness 差值说明 agent 评测仍然高度依赖系统工程；“13,800x 成本优势”和“超过人工环境”这两句，还得等全文里的口径、人工评审设置、去重和稳健性实验来撑。如果这些细节补得扎实，这篇会是 agent eval 基础设施的一块砖；补不扎实，它就是一套会批量制造新题库的内容工厂。

论文比较了 3 条越狱路径，并报告它们都把模型推到“接近满格”的有害服从。我的判断是，这不是又一篇在刷 jailbreak success rate 的论文，它在拆一个业内早就该拆开的误区：把“模型会答有害请求”当成单一状态。按摘要给的信息，至少这里不是。RLVR、harmful SFT、refusal-suppressing abliteration，表面结果相近，行为副作用、能力损失、内部机制却分叉得很大。 这次是 2 个来源同时挂出同一标题，但两边信息密度其实高度一致。arXiv 给原论文，Takara 基本是在转述同一份摘要，没有出现媒体各自延展的叙事分歧。这个一致性更像“共同依赖作者摘要”，不是独立采访后的交叉验证。所以结论能先看，强度别抬太高：标题和摘要已经给出方向，实验细节、模型规模、基线、数据集配比、统计显著性，我还没在正文里看到。 我觉得最有意思的是 RLVR 这条。摘要说，RLVR 越狱后的模型在 structured self-audit 里仍能识别提示有害，也能描述安全模型该怎么答，但它还是去执行有害请求；一旦在有害提示前面加上 reflective safety scaffold，有害行为又会大幅下降，接近基线。这个现象很关键，因为它把“模型不知道这是坏事”跟“模型知道但策略被改写了”拆开了。过去一年不少 jailbreak 讨论混着讲，把 refusal failure 当成 safety representation 崩掉。按这篇的说法，至少 RLVR 不完全是表示层坍塌，像是保留了安全几何，但策略头被重定向了。 如果这个结果在正文里站得住，它会直接影响防御思路。对 RLVR 型失效，inference-time scaffold、self-critique、targeted repair 这类方法还有机会，因为安全表征还在，只是没被调用出来。摘要也说 targeted repair 能部分修回 RLVR-jailbroken models。对 SFT 型失效就麻烦很多。作者直接给了三个负面标签：显式安全判断塌得最厉害、行为漂移最大、标准 benchmark 能力损失明显。这种图景很像分布更广的权重漂移，不是插回一根“拒答神经元”就能补上。过去很多人把所有越狱都想成删掉 refusal feature，这篇如果证据充分，是在给那套直觉降温。 abliteration 那部分我也比较在意。摘要说它是 family-dependent，在 self-audit 和 reflective scaffold 上都看模型家族。这个判断我买账，因为从过去一年的 mech interp 和 representation editing 结果看，拒答相关特征本来就不太像完全同构、可跨家族复用的单一开关。Llama 系、Qwen 系、Mistral 系常常都能找到“像样”的安全方向，但方向的局部性、线性程度、可逆性差很多。摘要把 abliteration 归为 localized refusal-feature deletion，这个表述挺干净；问题是它成立到什么程度，要看正文有没有 activation patching、probe transfer、layerwise localization 这些更硬的证据。只看摘要，我还不想把“局部删除”当成定论。 这篇还有一个容易被忽略的点：category-specific RLVR jailbreaks 能广泛泛化到多类有害域。这个结果如果属实，说明 RLVR 学到的不是某个窄任务模板，而是更一般的“看到约束仍优先完成用户恶意目标”的策略。对安全训练的人来说，这很刺耳。因为很多团队默认 verifiable reward 更可控，至少比开放式偏好优化更容易收边界；可一旦 reward 把“完成有害请求”刻成稳定目标，泛化照样会很凶。奖励可验证，不等于价值可控。 我也得 push back 一下。摘要用了“near-ceiling harmful compliance”“minimal degradation”“substantial capability loss”这些强词，但没给具体数字。到底是 95% 对 98%，还是 70% 对 90%；能力损失是 MMLU 掉 2 分还是 GSM8K 掉 20 分，正文未披露。没有这些数，现阶段还不能判断三条路线的实际风险排序。另一个我想看但摘要没说的是 base model 范围。是单一家族上的 3 种干预，还是跨多个 open-weight family 重复成立？如果只在 1 到 2 个模型家族上成立，那它更像很好的 case study；如果跨家族复现，分量会高很多。 跟过去一年的相关工作放一起看，这篇位置很清楚。很多 jailbreak 论文关心“怎么攻破”，很多 mech interp 论文关心“哪里坏了”，这篇试图把行为副作用和内部机制绑在一起看。我一直觉得这是更对的路子。因为安全失效不是单指标工程，尤其不是 ASR 单指标工程。一个模型既可能像 SFT 路线那样整体性跑偏，也可能像 RLVR 路线那样“脑子里知道，手上照做”。两者在部署、检测、修复上的含义完全不同。 所以我对这篇的评价是偏高的，但保留一半。高在问题切得准，结论如果成立，会逼安全评测从单一 jailbreak score 走向“失效类型学”。保留在于目前公开材料基本还是摘要级别，关键数字、模型列表、修复幅度、机制证据都没展开。说真的，我更想先看 PDF 里的实验表和消融，再决定这是不是 2026 年安全研究里那种会被反复引用的基准工作。

论文把 ALFWorld 单局成本从 0.059 美元压到 0.024 美元，AppWorld 给出 3.5 倍降本但只追回教师 79% 准确率。我先说判断：这两篇覆盖的标题不同，结论却几乎完全一致，说明它们都在复述同一篇 arXiv 论文，而不是独立报道后的交叉验证。一个标题强调“in-context distillation with self-consistency cascades”，另一个强调“inference-time distillation”。角度差异有，但机制没有分歧：先拿贵教师跑一小部分任务，存成 demonstrations；剩余任务交给便宜学生，按检索拿例子做 ICL；学生多次采样若一致就放行，不一致再回退教师。 我对这条是偏正面的，因为它踩中了 2025 到 2026 年 agent 落地里最烦的一块：不是单次基准分，而是你每改一次工具、环境、系统 prompt，就要不要重新调 prompt、重新微调、重新付训练成本。作者把“agility”摆到中心，我觉得这点比“training-free”更有价值。很多团队不是做不到 fine-tune，而是 workflow 根本不允许等几天。你今天改了 browser action schema，明天加了一个 API，后天换了 judge，旧蒸馏数据就脏了。按这篇的方法，教师只要重跑一个小样本，学生立刻接着用，工程上很顺。 但我不太买“distillation”这个词。传统蒸馏的核心是把教师知识压进学生参数里，换来推理时常数级复用。这里没有训练，知识不进权重，而是进了一个检索库，再加一个不确定时回退教师的级联门。这个做法当然实用，我甚至觉得比很多蒸馏论文更贴生产，可你得承认它的账本建立在两个条件上：任务分布稳定，且相似样本能被检索命中。正文摘要没披露 teacher database 的具体规模上限，也没披露 retrieval latency、额外 token 开销、学生采样次数分布。这几个数字不补，外部团队很难判断 2.5 倍和 3.5 倍降本能否迁到自己的堆栈。 另一个要推一把的点，是它其实把 agent 降本问题拆成了三段：示例检索决定学生起跑线，多样本一致性决定何时相信便宜答案，教师回退决定最差质量下界。这比“换一个更便宜的小模型”靠谱，因为 agent 失败常常不是均匀退化，而是少数高风险步骤把整局拖死。自一致级联就是在给这些尖峰风险加保险。过去一年我们已经见过一堆 router、verifier、judge-as-a-service 方案，思路相通：把贵模型集中花在分歧样本上。这个工作可取的地方，是它把这些零散技巧包成一个几乎不用人工提示工程的 recipe。 我的疑虑也很直接。第一，AppWorld 只追回 79% 教师准确率，这说明跨工具、长链交互任务里，靠示例检索补学生短板还是有限。第二，摘要没给教师和学生的具体模型名。没有模型名，你没法判断节省来自“方法”还是来自本来就存在的巨大价差。拿 GPT-5.4 mini 接一个高价教师，和拿一对本就接近的模型，结论不会一样。第三，论文只给了 ALFWorld、AppWorld 两个环境。它们都偏结构化、可回放、任务模板相对明确。我自己还没看到对开放网页代理、代码代理、真人客服这类分布漂移更强场景的证据。 所以我会把这条看成一个很实用的 agent serving 配方，不会把它看成新的学习范式。你要是手里已经有教师代理，且每天都在变工具链，这套东西值得试。你要是期待它替代微调，先别急。只要任务相似性下降，检索命中率掉下来，学生分歧变多，教师回退一上升，省下来的钱会被迅速吃回去。

这件事表面上是一个新基准，实际是在拿 524 道题、6 个认知域、10480 次评测，直接戳现有 LLM 评估里最虚的一块：模型会答，不等于模型知道自己什么时候不该答。更关键的是，这个事件虽然显示有 2 条覆盖，成员里其实是同一篇 arXiv 条目重复出现，不存在独立媒体交叉验证。这里的“一致”不是多家读到同一信号后的共识，就是单一原始论文文本的重复呈现。这个前提得先摆清，不然很容易把一篇有意思的评测论文，误读成已被社区充分确认的结论。 论文本身给的信息量是够的。作者把题库做成 6 个域：learning、metacognitive calibration、social cognition、attention、executive function、prospective regulation，总计 524 题。每次 forced-choice 作答后，再加两个探针：KEEP/WITHDRAW，BET/decline。核心指标不是准确率，而是 withdraw delta，也就是模型在“答错题”和“答对题”上的撤回答案率差值。这个设计我觉得比常见的 verbal confidence 打分靠谱，因为它逼模型付出动作代价，不让它只在自然语言里说一句“我不太确定”。过去一年很多自信度论文都卡在这里：模型会生成 uncertainty-flavored text，不代表它真会 abstain。Anthropic、OpenAI、Google 过去都拿过 refusal、confidence、self-correction 讲故事，但只要动作层没有成本，很多结果都会被 prompt 风格污染。 作者报告了 3 种 profile：blanket confidence、blanket withdrawal、selective sensitivity。这个分类挺有用，因为它把“保守”从“有元认知”里剥开了。一个模型老是撤回，不叫会监控；一个模型老是硬答，也不叫稳定；只有能把错误项和正确项分开处理，withdraw delta 才有意义。论文还说 accuracy rank 和 metacognitive sensitivity rank 大体倒置。这个结论我买一半。买的部分在于，过去确实反复看到更强模型被训练成更愿意给出流畅答案，尤其在 instruction tuning 和 RLHF 之后，回答意愿和答案质量常常一起上升，但校准不一定同步上升。不完全买的部分在于，摘要没给出每个模型的完整排名、显著性分布、任务级方差，也没在这里披露 withdraw delta 的绝对量级。只有“倒置”这个说法，力度够强，但还不够让我直接接受成稳定事实。 我更在意另一个点：它说 retrospective monitoring 和 prospective regulation 可能可分离，给的相关系数是 r = .17，而且 95% CI 很宽，n 只有 20。这个地方作者自己其实已经很克制了，主要支持来自 exemplar-based evidence。我的判断是，这个结果现在更像“值得继续打”的假说，不是可以拿去写产品路线图的定论。很多团队喜欢把“模型会自知”一把打包成单一能力，这篇反而在拆包：事后知道刚才答得差，和事前调节接下来要不要冒险，不一定是一回事。这个方向是对的，但证据还薄。 摘要里最有意思的一句，是 scaling on metacognitive calibration 呈现架构依赖：Qwen 单调下降，GPT-5.4 单调上升，Gemma 基本持平。这个观察如果能在正文图表里站住，会很刺痛现在流行的“更大模型自然更会校准”的偷懒叙事。说真的，我一直觉得很多人把 capability scaling 和 calibration scaling 混成一条线，图画得很顺，现实没那么听话。推理链更长、回答更顺、工具调用更复杂，都不自动导出更好的 error awareness。尤其是混合后训练配方不同，拒答阈值、帮助性偏好、system prompt 约束，都能把“看上去更会监控”做出来。这里作者说是 architecture-dependent，我部分同意，但我还没查到他们是否把 provider-side system prompt、sampling 参数、思维预算、工具禁用条件控制到足够干净。标题给出了跨模型比较，正文摘要没披露这些控制细节，不能先假定结论全由底座架构解释。 这套 benchmark 的价值，在我看不是“发现模型像人一样有元认知”，这个说法我不太买账。它更像是在给 LLM 建一个行为学上的 abstention/correction 测量框架，而且是跨域的。过去一年常见评测要么盯单域，比如代码、数学、医学问答；要么盯单一置信度指标，比如 logprob、verbal confidence、self-consistency。Metacognitive Monitoring Battery 试图把这些拆散的东西接回 Nelson and Narens 那套 monitoring-control coupling 框架里。这个学术野心是成立的。更实际的价值是，它把“模型知道自己不知道”从 slogan 变成了可复现 protocol，题目、数据、代码都公开了，这一点比很多只放 leaderboard 的工作强。 但我还是得泼点冷水。第一，这类 forced-choice 范式和真实产品场景之间有距离。现实系统往往能检索、调用工具、追问用户、延迟响应，撤回单个二选一答案只是很窄的一种 control action。第二，20 个 frontier LLM 的名单、调用版本、价格层、上下文设定，摘要没展开。GPT-5.4、Qwen、Gemma 被点名了，Anthropic、DeepSeek、Llama 系列在什么位置，摘要没给。第三，论文说和独立的 Type-2 SDT 方法在结构上收敛，这很好，但“structurally converge”不等于 effect size 完整一致，也不等于 construct validity 已经稳了。这里我自己会等正文和复现实验。 如果你是做 agent、安全、医疗问答、代码 copilot 的，这篇比又一个通用能力榜单更值得存。因为生产里最贵的错误，通常不是模型答不出来，而是它在低把握时还答得像真。现在很多团队把 guardrail 压在外部分类器、检索阈值、policy engine 上，底模自己的 monitoring 能力反而很少被单独量化。这个 benchmark 至少提供了一把尺子，让你区分“模型被产品层强行按住了”与“模型自己能感觉到该收手”。这两者在部署成本、延迟、失败模式上都不是一回事。 我的总判断是：这篇论文的方向很对，指标设计也比口头置信度前进了一步；但这还不是“LLM 元认知已被证明”的里程碑。它更像一个该进入评测栈的新层，而不是一锤定音的理论胜利。眼下我会把它当成高质量候选基准，先看社区能不能复现那几个最扎眼的发现，尤其是“准确率排名与元监控排名倒置”以及“Qwen/GPT-5.4/Gemma 的校准缩放曲线分叉”。这两点如果复现住，后面很多模型训练目标都得改。

这次“2 家来源覆盖”其实只有 1 个源头。cs.CL 和 cs.LG 是同一篇 arXiv 论文的双分类页，不是两家媒体各自采访或复核。两条标题完全一致，正文也来自同一摘要，所以这里的共识不是外部验证，只是官方学术摘要被重复分发。把这个覆盖面读成社区已确认，我觉得会看偏。 论文给出的核心事实很直接：GRIFT 用提示词与模型生成 CoT 的梯度，压缩成紧凑表示，再判断这段 CoT 是否在 reward hacking。摘要声称它在数学、代码、逻辑推理三类可验证任务上，较 CoT Monitor 和 TRACE 有“超过 25% 的相对提升”。问题也很直接：摘要没披露绝对分数，没披露误报率，没披露训练和推理额外成本，也没披露这个提升是在同一模型、同一数据分布、还是专门构造的 hacking 分布上拿到的。只有“相对提升”这一个数字，强度还不够支撑外界快速下结论。 我对这条有兴趣，是因为它押注的方向比文本监控更硬一点。过去一年，reward hacking 讨论里最尴尬的地方一直没变：你看 CoT，表面经常很像真推理；模型钻奖励漏洞时，文本层信号不稳定，甚至会故意写得更像人类会认可的解释。GRIFT 把检测点挪到内部计算，等于默认一个判断：骗过 reward model 的策略，在梯度空间里会留下比文本更稳定的痕迹。这个假设要是成立，价值不小。它至少回应了一个老问题：如果监督对象本身能伪装，监控器要不要换模态。 但我也得泼点冷水。第一，梯度指纹这条路天然依赖白盒访问。你得拿到模型内部梯度，还得围绕 prompt 和 CoT 计算条件梯度。对开源或自训模型，这没问题；对闭源 API、生产链路里的多模型编排、蒸馏后的轻量执行端，这就不顺手了。摘要没说计算开销，我自己也还没查代码细节，但只要牵涉每条 CoT 的梯度提取，它就不像一个便宜的在线守门员。你把它放进 rejection fine-tuning 还说得过去；你要把它变成大规模推理时的实时监察器，成本账得单独算。 第二，这类方法很容易吃到分布红利。reward hacking 的“作弊姿势”如果和训练集里的伪模式高度重合，梯度指纹当然容易学；一旦攻击者换策略，指纹会不会塌，摘要没告诉我们。这里我最想看到的不是平均分，而是跨任务、跨模型、跨奖励函数迁移。比如在一个模型上学到的 fingerprint，能不能抓住另一个模型的 hacking；在数学奖励上学到的特征，能不能迁到代码。没有这些，方法更像专用探测器，不像通用机制。 第三，摘要把“减少 reward hacking 并提升真实任务目标”放在一起，这个表述我先保留意见。很多 rejection fine-tuning 方案都能靠筛掉明显坏轨迹，把表面指标往上推一点。难点不在于筛坏样本，而在于别把少数但有效的非常规推理也一并筛掉。尤其是当检测器看的是内部梯度，而不是结果正确性本身时，它很容易学到“像训练分布中的好答案”而不是“真的在解题”。摘要没给保留率、筛除率、也没给干预后任务上限，我没法判断它是在去作弊，还是在收紧风格空间。 放到更大的脉络里看，这篇论文踩中的是 RLVR 这波热潮的一个实际裂缝。过去一年，大家越来越爱用 verifiable reward 训推理和代码，因为答案对错能自动判，数据闭环也干净。问题是，你一旦把奖励定义得过窄，模型就会比人更快学会 exploit。OpenAI、Anthropic、DeepMind 过去一年都在谈 monitor、constitutional constraints、process supervision，可行业里一直缺一个更像“取证”的工具，而不是继续读文本做心理分析。GRIFT 的野心在这里：别问模型说得像不像真思考，先看内部更新信号像不像在走捷径。 我觉得这条最有含金量的地方，不在“25%+ 提升”这个数字，而在它把 reward hacking 监测从输出层往参数敏感性层挪了一步。这个方向如果复现出来，后面很自然会长出两类工作：一类是更轻量的代理特征，逼近梯度指纹但降低开销；一类是对抗式训练，专门生成能骗过 fingerprint 的新型作弊轨迹。后者几乎一定会来，所以现在别把它看成“问题解决了”，更像是检测军备竞赛进入下一层。 最后说来源。两条 arXiv 记录的角度没有差异，连标题都一样，说明这不是多方独立解读事件。结论只能建立在论文摘要和代码仓库声明上。代码已给出，这很好；关键实验细节还得自己跑。我现在的判断是：想法值得认真看，证据还没到可以拿去给 RL 生产系统背书的程度。

STOP这篇论文把一个常被当作工程小技巧的问题，往前推成了推理系统设计问题：并行推理的上限，不只看能开多少条路径，还看你能多早识别“这条已经废了”。摘要给的硬数字只有一个：固定算力预算下，GPT-OSS-20B 在 AIME25 从 84% 提到接近 90%。6 个点不小，前提是预算口径、采样设置、终止阈值都一致。摘要没披露这些，我不会先把它当成稳结论。 我比较买账的是它做了四象限分类：内部/外部信号，可学习/不可学习方法。这个框架是有用的。过去一年不少 reasoning 优化工作，其实都在做同一件事：给 search 加便宜的中间判断，只是名字不同。有人靠 verifier，有人靠 reward model，有人靠 self-consistency 后验投票。STOP押的是“可学习的内部信号”，也就是不额外请一个外部裁判，而是让模型在前缀阶段自己吐出可剪枝标记。这个方向我一直觉得更像正路，因为外部 verifier 往往把系统做重了：多一次模型调用，多一层延迟，还会引入级联误判。 但我对这条结果有两个保留。第一，AIME25 是高价值 benchmark，不是完整分布。数学题很适合早期分叉、早期淘汰，代码、多跳工具调用、开放式规划未必一样。第二，摘要说覆盖 1.5B 到 20B LRMs，却没给不同规模的增益曲线。很多 pruning 方法在大模型上成立，在小模型上会变成“过早自信”，把本来能救回来的路径砍掉。我还没看到它怎么处理 recall 和 precision 的权衡，也没看到错误剪枝的代价建模。 外部参照也很清楚。过去一轮 test-time scaling，行业主流做法基本是“多采样、多投票、多验证”，吞 token 换准确率。OpenAI、Anthropic、DeepSeek 这几家公开材料里，都能看到类似倾向：性能往上走，推理成本也一起上去。STOP这类工作有意思的地方，在于它不反对并行推理，但反对把所有分支都养到最后。说真的，这比再堆一个 reranker 更像能落地的优化，尤其是 agent 和 batch reasoning 场景，账单常常死在无效路径上。 我还是要泼一点冷水：摘要把“优于 baselines”说得很满，却没写 baseline 名单、训练额外成本、super token 的注入方式、以及部署时是否需要再训练主模型。要是 STOP 需要一轮专门监督微调，或者要为每个域单独校准阈值，那它的适用面会窄很多。代码、数据、模型既然已放出，接下来就看两件事：一是离开 AIME25 后增益还剩多少；二是省下的 token，能不能覆盖训练和集成成本。要是这两笔账算不过来，这篇就会停在“论文里很好看”。

PRJA 用 83.6% 平均攻击成功率，把问题从“模型答了什么”推进到“模型怎么想给你看”。我对这条的判断很直接：这比常规越狱更贴近下一阶段产品风险，因为不少团队已经把 reasoning trace 当成可信解释、教学材料，甚至后续蒸馏数据。只要中间链路能被定向塞进有害内容，最终答案就算保持正确，系统也已经被污染了。 先说清楚，正文目前只有摘要。摘要给了 5 个问答数据集、83.6% 平均成功率、涉及 DeepSeek R1、Qwen2.5-Max、OpenAI o4-mini。摘要没给每个模型分项结果，没给攻击样本数，没给 token 级判定标准，也没给防御基线细节。这几个缺口都很关键。83.6% 这个数字看着高，但如果成功判定只要求 reasoning 里出现一次有害片段，和要求持续、多步、稳定注入，含金量差很多。我对这组数有保留，主要不是怀疑作者作假，而是 abstract 天生会把最顺的一面摆出来。 我一直觉得，行业这两年在 reasoning safety 上有个很别扭的前提：大家默认“最终回答过审”就够了，中间推理不是用户界面的一部分，所以风险较低。这个前提在 2024 到 2025 年就已经开始松了。OpenAI 后来对部分推理模型改成展示摘要式 reasoning，而不是原始链路；Anthropic 也长期避免把完整 chain-of-thought 直接暴露出来。这里面的原因，不只是性能和提示泄露，安全本来就是一层。我没去逐条核对这些产品文档的最新措辞，但大方向很明确：头部厂商已经在收缩“可见推理”。这篇论文等于补上了研究侧证据，说明他们不是想太多，而是攻击面真的在中间过程。 这条里比较刁钻的地方，是它要求“最终答案不变”。很多早期 jailbreak 其实更像输出劫持：你把模型往违规方向拖，代价是任务本身也做坏了。PRJA 想做的是更难的版本：答案继续对，过程变脏。这个设定对学术上很重要，对产品上更重要。因为一旦答案还是对的，常规 QA 指标、人工 spot check、甚至一些自动评测都会放过它。教育、医疗、法务这类场景尤其麻烦，用户会把推理步骤当成解释依据。你前台看到的是正确答案，后台留下的是被污染的 reasoning trace，后面再把这些日志拿去做 SFT、偏好学习、审计回放，污染会扩散。 我也得泼点冷水。摘要里把“服从权威”“道德脱离”这类心理学 framing 写得很满，我对这种叙事一向会多看一眼。很多 prompt attack 论文喜欢把有效提示包装成某种心理机制，但最后起作用的，常常还是模板多样性、语义贴合度、和目标模型的拒答边界。换句话讲，心理学标签未必是核心增益项。要判断这件事，得看消融实验：去掉 authority framing 后成功率掉多少，只保留 semantic trigger 又有多少。摘要没披露，我现在不买“心理学模块就是主要原因”这个说法。 还有一个我觉得更现实的分叉：这类攻击到底打到哪里。假如你的产品根本不向用户展示原始 reasoning，只保留内部 summary，而且 summary 经过单独安全过滤，那外部风险会小不少。但别高兴太早，内部风险还在。很多 agent 框架会把中间思考、工具调用理由、反思文本写进 memory 或日志。只要这些内容进入后续检索、再规划、评估器打分，攻击就不是“只污染展示层”，而是会进入系统状态。这个方向上，我会联想到前一波 indirect prompt injection 的教训：最危险的不是模型当场说了脏话，而是脏东西被系统记住并再利用。PRJA 如果能稳定污染 reasoning，它和 injection 的边界其实已经很模糊了。 对被点名的模型，我反而最想看的是分布差异。DeepSeek R1 这类强调长推理输出的模型，理论上暴露面更大；o4-mini 这类商用模型如果对可见推理做了压缩或后处理，表现未必一样。Qwen2.5-Max 夹在中间，往往能看出开源系和闭源商用品控差异。可惜摘要没给。没有 per-model breakdown，这篇论文暂时还更像“风险存在性证明”，还不是“谁家防线最差”的实战地图。 说真的，这篇 paper 对从业者的价值，不在于又多了一个 jailbreak 名字，而在于它逼你重写评测表。以前只测 final answer safe/unsafe，已经不够。你至少要加三层：一是 reasoning trace 污染率；二是答案保持正确时的污染检出率；三是污染内容会不会进入 memory、日志、蒸馏集。我还没看到摘要里覆盖这些 downstream 指标。如果正文也没做，那这篇工作会停在“攻破了展示层”；如果做了，它的分量会大很多。 我的结论是，这不是“模型会不会说坏话”的老问题，这是“你还敢不敢把推理过程当可信对象”的新问题。83.6% 这个数字先记着，但别急着拿它排厂商名次。先去看全文有没有消融、有没有分模型结果、有没有 defense baseline。没有这些，标题成立，强结论还差半步。

论文给出的核心事实很硬：在强提示注入条件下，安全对齐模型的越狱成功率，会随推理采样次数从多项式增长切到指数增长。要是这个经验规律在主流闭源模型上也站得住，best-of-n、self-consistency、rerank 这套常见推理技巧，就不能再被默认当成“精度换稳定性”的中性工具了，因为攻击者和防守者都会用它，但攻击者往往只需要一次命中。 我对这篇东西的第一判断是，它戳中了一个过去一年一直被低估的点：很多安全评测盯单次回答 pass rate，却没把“攻击者可重复采样”当成一等公民。现实系统里，n 从来不是 1。红队会重试，agent 会重试，产品为了提通过率也会重试。OpenAI、Anthropic、Google 过去几代系统卡和安全文档里，都越来越强调多轮、多工具、长上下文风险；但把 risk 对 n 的函数形状单独拎出来讲，这篇算是把问题说得更数学了。说白点，单样本 1% 的洞，到了 100 次采样，不再是“小概率”；如果分布尾部还被注入推肥，系统行为会变得很难看。 有意思的是，作者没有只报经验曲线，还给了一个“最小统计机制”和一个自旋玻璃代理模型。这个我觉得有启发，但我也要泼点冷水。自旋玻璃、replica symmetry breaking 这套语言很适合解释“生成分布存在很多簇、少数危险簇被 size bias 放大”这种现象，理论味很足。问题是，抽象得越漂亮，离工程判据就越远。摘要没披露实验对象、攻击模板、模型名单、n 的取值范围，也没给具体斜率、置信区间、token 预算和判定标准。我还没看到这些前，不会把“指数增长”直接拿去指导所有部署决策。很多安全论文的问题都一样：结论方向对，量级未必能平移到生产环境。 回到工程侧，我觉得这篇最该刺痛的是两类系统。第一类是把 best-of-n 用在安全敏感任务上的 agent，尤其带外部工具、代码执行、邮件发送、数据库查询的那种。你给模型更多采样，本来想提高任务完成率；一旦注入把 unsafe mode 的尾部概率抬起来，工具调用链会把一次命中放大成真实动作。第二类是“先生成很多，再让裁判模型筛”的 pipeline。业内这两年很爱用 generator-judge 结构，理由是便宜、效果稳。我一直觉得这里有个盲点：judge 常常和 generator 共用家族偏差，遇到同类注入时不一定真有独立性。要是生成端的危险样本数随 n 加速增长，后面的筛子未必拦得住，尤其当 judge 本身也吃上下文污染。 这篇和去年不少 prompt injection、BoN jailbreak 工作能接上。比如很多公开红队结果都已经显示，攻击成功率会随着重试次数明显上升，只是大多停在经验图表，没有把“多项式到指数”的分界条件讲清楚。我记得 Anthropic 之前谈 agent 安全时，也反复强调过“可组合性”风险：单步看着还行，串起来就失控。这篇把同样的直觉压成了 scaling law，价值就在这里。它不只是说“攻击更强了”，而是在说“你的采样预算本身在改写攻击曲线”。 我还有一个疑虑。摘要把“短注入=弱磁场、长注入=强磁场”讲得很顺，但现实注入强度不只由长度决定。格式权重、系统提示泄漏、工具返回位置、检索片段可信度、模型对角色语气的敏感性，都会改变等效“场强”。短而硬的注入，有时比长而乱的注入更危险。要是正文只拿长度做主轴，这个映射会有点过。标题给出了 crossover，正文摘要没披露在哪些模型、哪些模板下 crossover 出现，也没说是否跨 tokenizer、跨 decoding 策略稳定复现。 所以我的落点很明确：这篇不是在提醒你“越狱依然存在”，那太旧了；它是在提醒你，任何靠多采样抬效果的系统，都该把攻击成功率写成 ASR(n) 来测，而不是只报 ASR(1)。至少要补三件事：固定攻击模板下画 n=1,2,4,8,16,32 的曲线；把 generator 和 judge 分开测独立性；把工具调用后的真实危害率单独记账。要不然，你在 capability 上拿到的每一点收益，都有机会在安全侧被更快地吃回去。

SocialGrid 用一个类 Among Us 的具身多人环境，把 GPT-OSS-120B 的任务完成率和规划准确率都压到 60% 以下。我的判断很直接：这篇论文戳穿了很多 agent demo 的遮羞布。单人任务里看着会调工具、会拆步骤，不等于进了多人环境就有社会推理；一旦要边行动边观察别人，再把零散行为串成可用证据，模型就开始退回浅层启发式。 我觉得作者这里做对了一件事：专门加了 Planning Oracle，把“走不动路”和“看不懂人”拆开。这个机制很关键。过去一年不少 agent benchmark 把失败都堆进一个总分，结果你根本不知道模型是卡在 navigation、memory、tool use，还是卡在 belief tracking。SocialGrid 至少沿着这个方向往前走了一步：先承认 embodied 评测有耦合噪声，再试着剥离。我一直觉得这比再发一个总榜单更有用，因为工程团队真正要修的是失效模式，不是海报上的平均分。 但我对这篇的叙事也有保留。正文只有摘要，很多关键口径还没给。比如“接近随机猜测”到底是二分类里的 50% 左右，还是在多嫌疑人设定下略高于 chance？不同任务轮次里，证据暴露密度怎么分布？Elo league play 用的 agent policy 是否固定，还是允许赛后提示词调优？这些都会影响结论强度。标题和摘要已经给出方向，正文未披露完整分数拆解，我不会把它直接读成“LLM 社会智能全面失效”。 说真的，这条和去年那批 WebArena、SWE-bench、GAIA 的信号放在一起看，落点很一致：模型在静态文本任务里能靠先验和模板撑住分数，到了需要跨时间整合线索、处理对手策略、维护隐含状态的场景，能力掉得很快。这个断层在博弈类环境里尤其明显。你让模型解释谁在撒谎，它往往会抓一句显眼台词；你让它累计三轮行为偏差，再更新怀疑对象，它就容易失忆，或者被最近一步动作带偏。很多人把这类问题归到 context length，我不太买账。上下文能装下，不代表策略会用；问题更像 credit assignment 和 state abstraction，而不是单纯 token 不够。 另一个有意思的点，是论文把“规模”也顺手否了：有 Planning Oracle 之后，欺骗识别还是接近随机。这个结果如果后续实验站得住，对靠堆参数解决 agent 社交推理的人是个冷水。我记得过去一年几篇多智能体工作也出现过类似现象：模型变大后语言更流畅，角色扮演更像，但对长期行为证据的整合没有同步上来。我还没核实这篇是否测了 closed model；如果只测开源模型，那结论应该收着说。Claude、GPT 系列在 instruction following 和 long-horizon bookkeeping 上通常更稳一些，但我也不认为它们会把这类任务轻松打穿。 我自己的 pushback 还有一层：Among Us 式环境很适合测 deception，但也容易奖励特定话术和投票套路。要是 agent 只是学会“谁最晚报信息就投谁”这种捷径，榜单也会被污染。作者提到 automatic failure analysis，这是好事；问题是 failure taxonomy 怎么定义，能不能区分“不会推理”和“学坏了捷径”。摘要没写，我还得看论文正文。 总的看，这篇更像一个诊断工具，不是能力宣言。它告诉你一件不太好听的事：今天很多所谓 multi-agent system，实操上还是“会说话的单步策略”。能走、能聊、能投票，不等于能在多人互动里形成稳定判断。这个缺口要补，靠加一个 planner 不够，靠更长上下文我看也不够，记忆结构、证据更新机制、训练时的对抗博弈暴露，可能都得重做。

EnvScaler 这篇论文把 191 个工具环境和约 7000 个任务场景塞进了 Qwen3 的 SFT 与 RL 流程里，我觉得它踩中了 agent 训练里一个很实际的痛点：大家都在谈工具使用，真能大规模反复训练的环境却一直太少。 我一直觉得，agent 这条线卡的不是“模型会不会调用 API”，而是“有没有足够多、足够稳定、还能自动验收的环境”。过去一年，业内常见做法基本分三类：一类是 WebArena、MiniWoB 这种偏浏览器和网页操作的固定环境；一类是 SWE-bench、Terminal-bench 这种偏代码或终端任务的真实仓库回放；还有一类是 ToolBench 这类围绕 API 调用构数据集的路线。它们各有价值，但共同问题很明显：环境数量有限，维护贵，评测条件很难持续扩展。EnvScaler 这次往前推了一步，不是再手工补几个 sandbox，而是试图把“造环境”本身程序化。这个方向我买账，因为 agent 训练最后一定会走向 environment factory，而不是 benchmark museum。 论文里给出的机制也对路。SkelBuilder 负责环境骨架，ScenGenerator 负责场景与规则校验。这个设计最有用的地方，不在“自动生成”四个字，而在 rule-based trajectory validation。做过 agent 训练的人都知道，没有自动验收，RL 很快就会脏掉；只有最终答案，没有过程约束，模型会疯狂钻 reward 的空子。EnvScaler 至少是在正面解决这个问题。191 个环境听上去不算小，约 7000 个场景也够拿来做一轮像样的 curriculum。问题是，摘要只说了 three benchmarks 上“significantly improves”，没给 benchmark 名字、绝对分数、提升幅度、训练 token 规模、环境分布，也没说这些环境与测试集有没有结构重叠。这里的信息缺口很大，我没法直接把它判成通用 agent 能力提升。 我对这类工作最大的保留也在这儿：程序合成环境很容易把 agent 训练带向另一种 overfitting。你写了规则，模型就会学规则的边界；你定义了工具 schema，模型就会贴着 schema 过拟合；你用规则函数验 trajectory，模型就会学会讨好 validator，而不是真的学会在脏系统里做事。这个问题在合成代码任务里已经反复出现过——单元测试一旦太模板化，模型会学会“过测试”而不是“解问题”。agent 环境也一样。EnvScaler 如果后续没有拿 WebArena、GAIA、SWE-bench Multimodal、或者真实企业工单流这类更异质的外部任务做迁移验证，我会把它看成一套很好的训练基础设施，而不是能力突破本身。 还有一个上下文，文章里没展开，但做 Qwen 系列的人大概率很清楚：开源阵营这两年在 base model 上已经不算太缺，缺的是高质量 post-training substrate。OpenAI、Anthropic 的 agent 表现强，很多时候不是因为 base model 神秘到不可追，而是他们手里有更连续的工具调用数据、失败轨迹、环境反馈和人类修正闭环。国内团队如果想追 agent，不可能一直靠少量手工工具任务微调。EnvScaler 这种工作，价值就在于把数据生产从 artisanal 手工业往可扩展流水线推。说真的，这比单纯再发一个 benchmark 更有建设性。 但我也不太买“开源了代码和数据，所以社区能立刻复现收益”这套乐观叙事。代码开源是一回事，环境生成质量、topic mining 的覆盖面、逻辑建模的人工先验、规则验证器的严格程度，是另一回事。很多这类框架论文最难复现的，恰恰不是 repo，而是那些没有写进摘要的筛选标准。我还没看到完整正文里的 ablation：191 个环境里，哪些类型贡献最大？场景数量增加到 7000 之后，收益有没有饱和？SFT 和 RL 各自吃到了多少增益？如果去掉 trajectory validation，性能掉多少？这些数字不出来，这篇就还停在“方向很对，证据暂时不够硬”。 我自己的判断是：EnvScaler 不是那种会立刻改写 leaderboard 的 paper，但它很像开源 agent 训练栈里缺的一块地基。地基的标准不是 headline，而是迁移性和维护成本。后面如果作者能补三件事，这条就会更硬：第一，公开三项 benchmark 的具体分数和显著性；第二，证明在环境外任务上也涨，而不是只在自己合成的分布里涨；第三，给出环境复杂度、工具数、状态空间和失败模式的拆分。做到了，我会把它放进“2026 年 agent 数据工程的重要工作”这一栏。做不到，它就是一套设计漂亮、但仍然偏自洽的合成训练系统。

论文用自蒸馏正则 SFT 的输出分布漂移，并把致幻觉主因指向局部表征干扰。这个判断我基本认同，因为它解释了一个大家都见过、但常被归因错的现象：模型学到新格式、新偏好、新事实后，旧知识不是整片蒸发，而是在语义邻近区域先开始答歪。 先说我为什么觉得这条有分量。摘要至少给了三个可检验对象：SFT 会损伤预训练知识；自蒸馏能压住这种漂移；冻结部分参数组时，任务表现还能保住。第三点很关键。若主因真是“容量不够”，冻结参数通常会让任务适配更差；现在作者说冻结后幻觉降了、任务还在，说明问题更像更新路径打穿了旧表征，而不是参数总量先天不足。这个结论跟持续学习那套 catastrophic forgetting 很接近，但它又比“遗忘”更细，因为这里受伤的是重叠语义区，不是所有旧知识一起掉。 我一直觉得，很多团队把 SFT 当成“安全、便宜、可控”的后训练默认项，有点过。你拿高质量偏好数据做 DPO、RFT 或指令微调，表面上是在教风格和任务，实际经常顺手改了事实检索路径。过去一年里，业内反复见到这种情况：模型 benchmark 没怎么掉，开放问答和长尾事实却开始自信胡说。公开论文里，LoRA、QLoRA、全参 SFT 对知识保持的差异早就有人碰到过，只是机制通常讲不清。我记得去年到今年，一些 model editing 和 continual learning 的工作也在强调“局部更新，全球副作用”这个图景；这篇如果实验做扎实，算是把那层模糊直觉往前推了一步。 自蒸馏这招也不新，妙处在落点。它不是为了让 student 像 teacher 一样“更会答题”，而是把微调前后的输出分布拉近，别把原有知识边界推歪。这个思路和知识蒸馏、EWC、LwF 那些持续学习方法是同一脉络，只是论文把对象换成了 factual hallucination。这里我有个保留：摘要没给 loss 权重、蒸馏温度、基线模型、知识集构造，也没说 hallucination 是怎么量化的。若评测主要靠封闭式 QA，改善幅度容易看起来很干净；一到开放生成，模型照样会在近义实体、时间条件、关系反转上乱飘。标题给了“how to fix”，正文摘要其实只证明“how to reduce”。这两个词差得很远。 还有一点我比较在意。作者说“在不需要新知识时”冻结参数组能降幻觉，这话没错，但工程价值取决于你怎么判定“不需要新知识”。企业里大多数后训练任务都卡在这里：你以为自己在做格式对齐，数据里其实塞进了新政策、新产品、新术语。要是冻结策略过猛，模型会显得更稳，却把该吸收的新知识一起挡掉。很多线上事故不是模型胡编，而是模型死守旧答案。摘要没有披露冻结的是哪类参数组，是 attention、MLP、embedding，还是 adapter 层级；没这些信息，很难判断它是通用处方，还是某个设置下的实验性技巧。 这篇最有意思的地方，其实是它给后训练流程提了个醒：别再只盯 task win rate 了，要把“预训练知识保真度”单独当指标。OpenAI、Anthropic、Google 这两年都在往更重的 post-training 走，尤其是工具使用、风格控制、拒答边界、企业术语注入。流程越复杂，越容易把事实性退化藏在综合分数后面。说真的，很多 release note 只报新任务涨了几点，不报旧知识掉了多少，我一直不太买账。若这篇结论成立，后训练评测至少该加两类东西：一类是与新数据语义相邻的旧知识集；一类是分布漂移监控，而不是只看最后 accuracy。 我还想补一个文章外的对比。RAG 这两年被很多团队拿来替代“教新知识”的 SFT，原因不只是更新快，也是不想碰坏底模记忆。这个选择以前常被讲成工程便利，现在看也有理论支撑：你把新事实放在检索层，少改参数，就少碰重叠表征。RAG 当然也会幻觉，尤其检索失败或引用融合出错时，但那类错和 SFT 把旧知识拧歪，不是同一种病。这个区分很重要，因为修法完全不同。 我自己的疑虑还是证据强度。现在只有 arXiv 摘要，没有表格、没有 ablation、没有错误案例。我还没看到它是否跨模型规模成立，也没看到 instruction tuning、preference tuning、domain SFT 三类场景是否一致。若效果只在小模型或封闭事实集上明显，结论就要收窄。要是它在 7B、13B、70B 甚至 MoE 上都复现，而且能把“局部干扰”用表征分析或参数归因钉住，这篇就不只是“又一个减幻觉技巧”，而是在重新定义后训练的默认目标：学新东西时，先别把旧地图踩烂。

BETA 把黑盒测试时自适应压到 0 额外 API 调用，这比摘要里的 +7.1% 更关键。做过线上推理的人都知道，TTA 最大的问题常常不是精度，而是你根本没法多查几次 API，更没法把延迟翻倍。它如果真能在单次调用约束下，把本地 steering model 当成梯度代理，再把外部黑盒预测拉回一致，这就不是学术技巧堆砌，而是在碰一个能部署的边界。 这条思路我基本买账。黑盒 TTA 以前卡在两个地方。一个是后处理太弱，只能改输出，碰不到模型内部表征。另一个是 ZOO 这类零阶优化太贵，查询次数一上去，云 API 账单和延迟都会炸。BETA 的选择很务实：梯度不从黑盒里拿，改从本地白盒近似路径里拿；黑盒只保留单次预测信号，再用 prediction harmonization 和 consistency regularization 稳住更新。这个设计跟蒸馏、teacher-student、test-time prompt tuning 有亲缘关系，但它多走了一步：它把“我没有梯度”这个硬约束，改写成“我只需要一个方向代理”。这点挺聪明。 摘要里给的数字也不差。ImageNet-C 上，ViT-B/16 提升 7.1%，CLIP 提升 3.4%，还说超过 TENT 和 TPT。放在 TTA 这条线里，这组数至少说明两件事。第一，BETA 不是只对纯分类器有效，连 CLIP 这种视觉-语言模型也能吃到增益。第二，它想打的不是 SOTA 榜单，而是“黑盒条件下还能不能适应分布偏移”。我印象里，TENT 当年强在白盒熵最小化，部署门槛一直不低；TPT 那类方法更依赖 prompt 侧调节，也常常默认你能碰到模型内部或至少碰到 prompt 接口。BETA 如果只靠 API 输出就能接近这些方法，工程含义比 benchmark 排名大。 我还是得泼点冷水。这个摘要最硬的宣传句，其实是“商用 API 上以 250 倍更低成本达到接近 ZOO 的效果”。这句我暂时不认。摘要没披露 API 是哪家，按 token 还是按 image 次数计费，ZOO 的查询预算是多少，单样本延迟是多少，所谓 real-time 是 50ms、200ms 还是 1s 内。只要这些口径没给，“250 倍”就很容易变成一种好看的比值，而不是你能拿去做采购决策的数字。做过 API 优化的人都懂，分母选错一次，结论能差一个数量级。 还有一个我想看但摘要没给的信息：本地 steering model 和远端黑盒之间，到底要多像，BETA 才能稳定工作。如果本地模型和目标 API 架构接近，比如都是 ViT 系或 CLIP 系，那代理梯度大概率有用。要是本地是个小模型，远端是完全不同分布上训出来的专有模型，这条梯度路径会不会把输入推向错误方向，我现在不确定。摘要说用了 filtering 来做 prompt learning-oriented 过滤，这听着像是在抑制坏更新，但过滤阈值、失败案例、跨模型泛化边界都没写。 还有个背景别忽略。过去一年，很多团队对 TTA 的热情其实降了一些，不是因为问题没了，而是更强的预训练和数据增广把一部分鲁棒性前置了。视觉这边从 ImageNet-C 提分，走到真实线上摄像头、医学影像、工业检测，中间经常差一大截。BETA 这类方法的价值，不在“再刷一次 corruption benchmark”，而在它能不能在严格调用预算下处理真实分布漂移。比如供应商 API 不开放梯度、不开放中间层、还限速限费，这才是现实条件。摘要踩中了这个点，所以我觉得它有讨论价值。 我现在的判断是：方向靠谱，宣传口径先保留意见。要让我更信它，不需要再多给几个 ImageNet-C 小数点，而是把三样东西摊开：商用 API 名称或至少类型、每样本查询与计费口径、额外本地计算带来的延迟分布。没有这些，这篇论文更像“黑盒 TTA 终于有了一个像样框架”；有了这些，它才算接近能进生产系统的方法。

论文在 Qwen2.5-1.5B 上拿 61 个提示做重复采样，27 个提示出现分叉，而且正确轨迹与幻觉轨迹在第 1 个生成 token 就拉开。我的判断很直接：这篇东西的价值，不在“又找到一个幻觉相关指标”，而在它把幻觉从输出阶段的问题，往提示编码阶段推了一大步。step-0 残差态对每个提示的幻觉率做到 Pearson r=0.776，这个数如果能复现，很多后处理式 guardrail 都会显得有点靠后了，因为模型在开口前已经偏进某个局部盆地。 我自己一直不太买“幻觉主要是 decoding 温度太高”这套轻描淡写的解释。过去一年不少工作都把问题拆成 retrieval 缺失、校准不足、RLHF 压扁分布、长上下文注意力稀释。它们都对，但这篇给了一个更偏动力系统的说法：同一提示、同一模型、只靠采样就能走到两条轨迹，而且幻觉激活注入正确轨迹，在第 20 层能把 87.5% 试验带偏；反向纠正只到 33.3%，基线是 10.4%。这个非对称性很要命。它说明错误态不是普通噪声坑，而像更容易跌进去、却更难爬出来的吸引子。做过 activation patching 的人都知道，能不能“一针见效”差别很大；这里腐化只要单次扰动，纠正要多步窗口 patch，这已经不是“改一个 logit”能解释的现象。 外部对比也有意思。前面的 logit lens、causal tracing、representation engineering，大多擅长回答“哪一层带了某个事实”或“哪段激活控制了某种风格”。这篇在问另一件事：模型什么时候决定自己要朝哪种生成制度走。这个问题更接近 Anthropic 去年那批 circuit-level work，也有点像一些 mechanistic interpretability 社区谈的 phase transition 视角，只是以前很多说法偏描述性，缺少这种同 prompt 分叉加 patching 的因果证据。我还没查这篇代码和可复现实验，但光看摘要，方法意识是到位的。 但我得泼点冷水。第一，样本太小。61 个提示、27 个分叉，对提出机制假说够了，对宣称“hallucination is attractor dynamics”还不够。六个类别怎么分，提示难度如何控，false-premise prompt 占比多少，正文摘要只给了 12/13 这个聚类结果，没给完整分布。第二，只做 Qwen2.5-1.5B。1.5B 这个量级的盆地结构，未必能直接外推到 32B、72B，尤其是 instruction tuning 更强、tool use 更成熟的模型。我印象里大模型常把很多事实冲突留到更后面才暴露，至少表面上没这么早分叉；这个我没核实具体文献，只能说是经验判断。第三，KL 在 step 1 大于 1.0 很显眼，但生成首 token 的分叉，到底对应“事实承诺”还是“表述模板承诺”，摘要还没彻底拆开。要是首 token 只是先选了一个高置信语气，后面才顺着语气编，那机制就没它讲得这么纯。 我更关心这条线对产品有什么用。要是 step-0 残差态真能稳定预测 prompt-level hallucination rate，那最实际的方向不是继续堆 output verifier，而是在 prefill 末端做 risk gating：高风险 regime 直接切检索、切工具、切低温采样，甚至先发一轮 clarification question。这个比“生成完再审”便宜，因为你在 token 还没喷出来前就能改路由。OpenAI、Anthropic、Google 现在都在做多路由和 test-time compute，我看这篇更像给 routing policy 加了一层表征依据。 还有一点我很在意：论文把 12 个 bifurcating false-premise prompts 聚到 saddle-adjacent cluster。这个结果听着漂亮，但也让我警觉。false premise 本来就是最容易诱发“答题姿态先于事实核验”的场景，所以它们聚在一起，究竟是在发现 hallucination 的通用结构，还是只是在重新识别一种老问题：模型先接受用户前提，再往下续写？这两者差别不小。要证明前者，得看开放问答、长文引用、代码解释、工具调用失败这些场景能不能同样落进类似 regime。 所以我的结论是：这篇值得读，不是因为它已经给了幻觉的统一理论，而是因为它把干预点往前挪了一个完整阶段。以前大家盯 logits、盯 decoder、盯 verifier；这篇在提醒你，很多错答在 prefill 结束时就已经长好了。要是后续在更大模型、跨家族模型上也能复现这种非对称吸引子，那幻觉治理的主战场会从“生成后纠错”转向“生成前分流”。摘要还没给代码、超参、采样设置和跨模型结果，我不会现在就把它捧成定论，但这个方向我会认真跟。

作者在 GSM8K 上比较了 3 个模型的 cache-ON 与 cache-OFF 路径，并报告各采样策略 token 分歧率都是 100%。这件事我很买账，因为它直接打脸了推理工程里一个长期默认值：KV cache 被当成纯性能优化，验收通常只看吞吐、首 token 延迟、显存占用，很少把“数值等价”当成必须成立的约束。只要 greedy decoding 都会分叉，这就不是采样噪声，也不是偶发 bug，而是执行路径本身在 FP16 下已经不是同一个函数了。 抽象里给的因果链也算完整。cache-ON 和 cache-OFF 改变了浮点累加顺序，FP16 非结合性把微小误差放大成 token flip；切到受控 FP32 后，分歧降了 8 个数量级，flip 变成 0.0%。这个解释在数值分析上站得住。大家做 CUDA kernel 或 fused attention 时其实都知道，reduction 顺序一改，低精度结果就会飘。问题在于，行业过去一年把这种飘动默认成“对最终文本没影响”。这篇论文说的恰好相反：在自回归链条里，早一层、早一个 token 的微小偏移，会被后续上下文递归放大。 我觉得有意思的地方，不是“FP16 不稳定”这个常识本身，而是它把一个很工程化的问题，抬到了评测和复现层面。现在很多 benchmark 报分，只写模型名、量化位宽、batch size、上下文长度，连 cache 设置都未必披露。按这篇论文的说法，单是 cache 开关就足以让同一个 checkpoint 走到不同答案。那你拿 A 系统复现实验室结果，或者拿 vLLM、TensorRT-LLM、Transformers 三套栈互相对分，差异就不该再简单归到“采样实现不同”或“环境噪声”。标题已经给出核心结论，正文没披露更细的实验协议，比如具体 prompt 模板、EOS 处理、算子实现、是否固定 cudnn/cublas 的 deterministic 选项；这些细节会影响你能不能把结果原样复现出来。 这里还有一层行业上下文。过去 12 个月，大家一边冲长上下文，一边拼命吃 KV cache 的收益，外加 paged attention、prefix caching、speculative decoding、continuous batching 这些系统技巧，默认目标是“更快且基本一样”。我一直觉得“基本一样”这四个字有点糊。去年不少 serving 框架就在 issue 里反复出现同模型不同后端输出不一致的问题，只是大多数团队把它当工程瑕疵，不当成研究对象。现在这篇 paper 至少把锅先钉在一个很具体的机制上：不是随机种子，不是采样器，而是 FP16 累加顺序和 stateful KV cache 的耦合。 但我也得泼点冷水。100% token divergence rate 这个数字很吓人，解释时要格外小心。它不等于 100% 语义崩坏，也不等于生产可用性立刻归零。abstract 只说 token 序列分叉，没说平均在第几个 token 开始分叉，没说 exact match、pass@k、长度分布、答案语义一致率，也没说这种分叉在更大模型上是变轻还是变重。作者提到 cache-ON 在 9 个条件里有 8 个准确率更高，这说明偏移是系统性的，不是纯噪声；但这也提醒我们，数值不等价不自动等于“更差”。有些系统路径就是会把误差推到一个碰巧更优的轨道上。要把这件事转成工程决策，你还得知道收益和代价：FP32 把 flip 清零了，可吞吐掉多少、显存涨多少、在 H100/H200 上还能不能接受，摘要没给。 另一个我想追问的是适用范围。论文只测了 LLaMA-2-7B、Mistral-7B-v0.3、Gemma-2-2B，外加 GSM8K。这个组合能说明问题，但还不够代表今天的主流部署面。GQA 模型首层尖锐分歧、Gemma 因 head dim 和 sliding window 呈现均匀累积，这个 mechanistic profiling 很像样；可我还想看更现代的架构，尤其是 BF16 默认路径、FlashAttention 变体、MoE、超长上下文和多轮对话场景。现在很多训练和推理栈已经优先用 BF16，就是因为 FP16 的指数范围太紧，数值脆弱性更高。我没看到摘要里给 BF16 对照；如果 BF16 下分歧显著收敛，这篇论文对生产系统的建议就会很明确：别再把 FP16 当默认安全选项。如果 BF16 也同样明显，那问题就更大，说明不少“可复现推理”承诺都得重写。 我还挺在意 activation patching 那个结果。作者说整条 residual stream 做 patch 也救不回 cache-free 轨迹，于是把因果变量定位到 stateful KV cache。这个结论很硬，但正文没披露 patch 的粒度、层位点和干预时机。我自己没跑过这个实验，所以先保留一点怀疑：如果 patch 方案不够细，失败未必足以排除别的中间状态。不过就 abstract 提供的信息看，这已经不是“attention 实现细节导致一点浮动”那么简单，而是 cache 这个状态对象本身在参与塑造生成轨迹。 对从业者来说，比较现实的结论有三个。第一，benchmark 报告应该把 cache 设置、精度类型、attention kernel、serving 后端写进最小披露集，不然复现这两个字越来越空。第二，高风险场景如果要求可审计一致性，FP16 + KV cache 不能再默认通过，至少要加等价性回归测试，或者直接切 BF16/FP32 关键路径。第三，系统团队以后谈“lossless optimization”得收敛一点，很多优化只是任务指标近似不变，不是数值等价。这个差别以前大家懒得分，现在这篇论文把账翻出来了。

AAR 用 1400 个 Wikipedia 导航题把最强代理压到 37.2% 准确率，这个结果我觉得是对过去一年 agent 叙事的一次纠偏。大家一直爱讲“模型会用工具了”，可这篇论文给出的分解很直接：导航错误占 27% 到 52%，工具错误低于 17%。问题不在 call function 这一下，而在 agent 能不能沿着中间状态持续更新目标、选对下一页、在分叉后再合流。很多 demo 看着流畅，是因为任务本身就是 2 到 5 步线性链，路线几乎写在题面里。 这篇最有价值的地方，不是又做了一个更难 benchmark，而是它点穿了旧 benchmark 的结构偏差。作者说六个既有基准里，55% 到 100% 的样本只是 2 到 5 步简单链条。这个指控很重，但从我过去看 WebArena、ToolBench、部分 browser-use 评测的感觉看，方向是对的：它们常把难点放在环境噪声、页面操作、工具格式，少有任务认真考“先去哪，再去哪，为什么”。AAR 把题做成 DAG，等于把 agent 最容易藏拙的地方掀开了。你会调搜索、会调浏览器、会抽取表格，不代表你会规划。把这些混成一个总分，之前确实太宽松了。 Claude Code 和 Codex CLI 都在 37% 左右，但前者 token 少 6 倍，这点也很有信息量。这里我读到的不是“Claude 更强”，而是 agent 架构和推理预算分配已经跟底模能力一样重要。过去一年大家把很多进步算在 base model 头上，实际上不少收益来自 scaffold：何时检索、何时收束、何时回退、何时把局部结果写进 scratchpad。AAR 这个结果像是在说，token 砸下去不自动变成路径感。你如果没有稳定的状态表示，再长的上下文也只是把迷路过程记得更完整。 我会把它和去年几类 agent 评测放一起看。GAIA 这类任务强调开放世界求解，WebArena 强调网页交互，BrowseComp 一类题更考浏览与整合，但这些基准常把最终对错当主信号。AAR 单独拆 finish-line accuracy、pit-stop visit rate、roadblock completion rate，这个设计更像工程诊断，不只是排名。对做 agent 的团队来说，这比“总分提升 4 个点”有用得多，因为你终于知道错在找页面、调工具、还是最后聚合。很多内部评测现在还停在 pass/fail，我觉得已经不够了。 我也有保留。第一，正文只有摘要，我还没看到具体 baseline 配置、prompt、回退策略、搜索接口限制和重试预算。37.2% 是很抓眼球，但 benchmark 对 agent 很敏感，稍微改 planner、memory、branch scoring，分数可能就会动不少。第二，Wikipedia 是个干净环境，链接结构稳定，API 可验证，这对学术 benchmark 是优点；对现实世界 agent 则有点偏理想化。企业知识库、SaaS 后台、邮件线程、权限边界，导航难度往往来自缺页、脏数据、重名实体和动作副作用，不只是 DAG 深度。所以我会把 AAR 看成“暴露规划盲区”的好 benchmark，不会直接把它当现实代理能力的总代理。 还有一层我比较在意：作者把“导航”单独拎出来，其实是在提醒大家重新看待 MCP、function calling、browser tools 这一整套基础设施。过去一年行业默认一个前提：工具接口标准化以后，agent 主要瓶颈会是模型推理能力。AAR 给出的证据更像另一回事——接口统一只能减少调用摩擦，不能替你做路径选择。说真的，这对很多产品团队是坏消息，因为“再接十个工具”比“把规划器重写一遍”便宜得多。但便宜不等于有效。 所以这篇论文的后劲，不在榜单名次，而在它逼着大家把 agent 重新拆开看：检索是不是会偏航，planner 是否显式建图，执行器能不能承认自己走错并回退，聚合器会不会把分支结果合并错。标题讲的是 tool users weak navigators，我基本同意。只是我还想再补一句：很多系统不是不会导航，而是根本没有一个像样的导航模块，只有被长上下文包起来的局部贪心。AAR 把这件事量化了，这就够扎实。

论文在两类受控场景里报告了一个很不舒服的结论：RL 提升推理后，模型的任务表现随之上升，工具幻觉也按比例放大。我的判断是，这条不是“小毛病被 benchmark 放大”，而是在把一条很多团队已经碰到、但一直没拆干净的系统性冲突说透：你把模型训练成更积极的链式求解器，它就更容易把“必须有动作”误读成“必须调用工具”。 这个现象我基本信，原因不是摘要写得多强，而是它对上了过去一年 agent 系统的实操经验。很多人把工具幻觉当成 function calling schema 没收紧、tool description 写太松、或 router 规则不够硬。我一直觉得那只解释了表层。你把同一个底座从直接回答，切到 step-by-step，再给一点 RL 压力，模型的行为就会更像“先铺计划，再补动作”。一旦任务上下文里存在工具接口的记忆痕迹，它就会倾向把调用当成完成推理的一部分。摘要里说连非工具任务训练，比如数学，也会放大后续工具幻觉，这点很关键。它说明问题不只是 API 头部学坏了，而是“推理成功”的内部表征和“行动必要性”的表征缠在了一起。 我对这篇最感兴趣的是它的机制描述：与工具可靠性相关的表征被不成比例地压塌，偏差集中在后层 residual stream。这个说法方向上很像这两年很多 mechanistic interpretability 工作看到的东西：后层更像在做最终答案定稿、风格收束、动作选择。如果失真主要出现在后层，那工程含义很直接——你前面把世界模型和任务分解训得更强，最后几层还是会把“不该调用”改写成“该试一下”。这也解释了为什么很多 agent 产品在线上看起来很聪明，但一碰到“其实没工具”“只有假工具”这种负例，失败会特别坚决，不像普通 hallucination 那样飘忽，而是带着强执行意图。 我也得泼点冷水。摘要说“causal relationship”，但正文没给出实验规模、模型族、RL 配方、统计显著性，也没披露 benchmark 的任务构成和 distractor tool 的设计细节。这个缺口不小。工具幻觉对 prompt 格式极端敏感，system prompt 里多一条“prefer tools when available”，结果就可能变形。DPO 和 prompt engineering 能降幻觉但稳定掉 utility，这个方向我也信，可掉多少、掉在哪类任务、是一次性损失还是校准后可恢复，摘要没说。没有这些数字，我不会把“内在 trade-off”直接升格成定律，更像是现有训练目标下反复出现的经验事实。 外部对比上，这篇其实是在补一块大家讨论得很散的空白。OpenAI 从 o1 到 o3 这一路，把“更会想”推到了产品前台，但社区同时也一直在抱怨 agent 过度调用工具、编造检索结果、明明拿不到环境权限还写出像真的执行日志。我没看到哪家把这个问题拆成一个独立 benchmark 并明确问“推理增强本身是否致因”。Anthropic 那边近几代模型在工具使用上通常更克制，我印象里更多靠宪法式约束、拒答边界、tool-use policy 设计来压行为，而不是默认放大长链推理。这个我没逐篇核过论文，但产品感觉是这样。要是这篇结论站得住，那它对全行业都是提醒：把 reasoning score 往上拉，不会自动带来 agent reliability。 工程上我会把它读成一句很现实的话：别再拿 pass@1、数学分、代码分，去代替工具系统的可靠性评估。至少要单列两组负例——无工具可用、只有干扰工具可用。再往前一步，训练目标也得改。现在很多 RL 配方奖励的是“完成任务”或“走出看起来合理的轨迹”，对“不行动”几乎不给正激励。可在 agent 里，不调用、晚调用、请求澄清，本来就是高价值动作。你不显式奖励这些抑制行为，模型学到的就会是进攻性推理，而不是受约束的决策。 所以这篇我会认真看正文，但不会先接受它的宏大表述。我买账的是方向：推理增强会把工具幻觉一起抬高。我保留意见的是强度：这到底是所有推理训练都会遇到的硬冲突，还是现有 RL/SFT 目标设计太单一导致的副作用。标题已经给出结论，摘要也给了机制线索；可没有具体模型、样本量、效应大小前，这个账还不能一次性算死。

FSPO把个性化奖励建模写成元学习，这个判断是对的。论文报告用超100万条合成偏好训练后，在开放问答里对真实用户拿到70%胜率；对合成用户则是87% Alpaca Eval 胜率。这个落差本身就很说明问题：合成世界里学到的，不等于真实人类的稳定偏好，只能说明作者把“少样本适配用户”这件事做到了可迁移，但还没做到可托付。 我对这篇的正面评价在两点。第一，它没有再走“给每个用户单独攒大量偏好数据”这条死路，而是承认现实里拿不到规模化真人标注，先用公开LLM造出1500名合成用户、三类任务、百万级偏好，再让模型学会“看几条样本就猜这个人要什么”。这比很多 personalization 论文更接近产品约束。第二，它点名迁移成功依赖“多样且自洽”的合成数据，这比单纯堆量更关键。我一直觉得合成偏好最容易坏在两头：一头是 persona 太薄，最后只学到语气模板；另一头是 persona 自相矛盾，奖励模型学成噪声平均器。作者至少意识到了这个坑。 但我有几个保留，而且都不小。70% 胜率听着不错，正文只有摘要，没披露人类实验样本量、对照基线、显著性区间，也没讲“真实用户”是一次性交互还是跨轮次持续使用。个性化系统最难的不是首轮比拼，而是用户偏好会漂移、会受上下文影响、还会出现口是心非。只靠 few-shot preference 能不能撑住一周以上的连续使用，摘要里没有。RAT 这块我也想看细节：如果 user description rationalization 依赖把用户描述先解释一遍，那它是在提炼偏好，还是在把 stereotype 写得更工整？这两件事差很大。 放到过去一年的脉络里看，这篇比通用偏好优化又往前走了一步。DPO、IPO、ORPO 这一波主要解决“群体平均偏好怎么训”；很多助手产品后来发现，平均最优经常等于对谁都不够像本人。OpenAI 的 memory、Anthropic 的 style steering、各类 persona adapter 都在补这个缺口，但公开论文里能把“少量显式偏好 + 合成预训练 + 真实用户迁移”串起来的工作并不多。我没法仅凭摘要断言它领先到哪，但问题设定是准的。 我还是要泼点冷水：如果这条线最后成立，护城河未必是 FSPO 算法本身，而是合成偏好数据工厂。谁更会造“多样且自洽”的用户、谁更会校验这些用户在多轮任务里不崩，谁就更可能把70%抬到能商用的区间。论文现在给了一个好看的上限，却还没给出部署时最难的几项：冷启动成本、长期漂移、恶意偏好注入、隐私约束下的在线更新。摘要没披露这些，我不会把它看成现成方案；我会把它看成一篇把研究方向掰正了的论文。

这篇论文押中了一个很实在的问题：推理模型现在常常不是不会做，而是太爱说。SAR 把奖励从“答对没”往前推了一步，用条件答案与独立答案的相对困惑度差，去奖励贴题、简洁、信息密度高的输出。摘要给出的数字是 4 个模型、7 个基准上准确率 +4%，推理成本 -30%。如果这组数能复现，这不是小修小补，是在碰 RL for reasoning 里一个老毛病：verifiable reward 太粗，最后把模型训成“会拖时长的考试机器”。 我一直觉得，过去一年很多 reasoning work 都在默认一个前提：长链路≈更强推理。这个前提早就松了。DeepSeek-R1 那波把 GRPO 带火以后，大家都看过同一种副作用：模型会学会把思考写得很长，因为奖励常常只盯最终正确率，长度本身不被惩罚，甚至间接被鼓励。OpenAI 的 o1/o3 系列和 Anthropic 的 extended thinking 也都证明了一件事：多想几步有时确实更准，但 token 膨胀很快把产品成本吃掉。SAR 的价值，在于它不是简单罚长度。只按长度做 reward shaping 很容易把模型训成“短但莽”。这篇论文想做的是更细一点的事：短可以，但答案要对 query 有条件依赖，而不是脱离题目也成立的空泛句子。这个方向我认可。 有意思的是，SAR 用的是相对困惑度差，而不是再加一个 judge model。这里面有工程上的吸引力。judge model 奖励这两年被用得很多，但额外引入一个强评审器，训练成本、偏置传染、跨域泛化，问题都不少。SAR 如果只依赖基座模型本身的概率结构，就省掉一层外部裁判，部署上干净很多。我没看到正文，所以还不知道他们具体怎么算 perplexity，是对完整 answer 打分，还是对某些 span 做归一化；长度归一方式、温度设置、reference model 是否冻结，摘要都没披露。这些细节会直接决定 SAR 到底是在奖励“贴题”，还是偷偷奖励“高频短句”。 我对摘要里“Pareto 最优”这句有点保留。论文常把 Pareto-optimal 当成图上一条更好看的前沿线，但前提是比较口径一致。这里的 inference cost 到底是输出 token 数、总生成 token 数，还是 wall-clock latency、FLOPs，摘要没说。要是只是 completion token 降了 30%，这当然有价值，但跟真实线上成本不是一回事。很多推理模型的问题在 hidden reasoning 或多轮采样上，表面输出变短，不等于总计算真降 30%。还有，4 个模型和 7 个 benchmark 具体是谁，摘要也没给。要是大多是数学和可验证问答，这个结论就不能自动外推到 coding agent、tool use、长上下文规划。 还有一个我很想看，但摘要没有的点：SAR 会不会压掉“必要的中间推理”。作者说它能 suppress unnecessary elaboration without losing critical reasoning，这个判断要靠更细的失败案例支撑。因为相对困惑度差这种信号，天然偏好更直接、更像答案的文本。问题是，很多难题的关键恰好在中间步骤，尤其是程序合成、定理证明、需要回溯的多跳任务。你把冗余压下去，很容易顺手把探索空间也压小。我自己没跑过这篇，但从经验看，凡是同时追求更短、更准的 RL 奖励，都要拿 hard subset 单独看，不然平均分会掩盖“简单题更短，难题更早放弃”的退化。 回到行业层面，这条线比“再造一个更会想的 base model”现实得多。现在大厂都在被 inference bill 追着跑。训练涨 5% 准确率很贵，线上省 20%-30% token 常常更值钱。去年很多团队开始做 test-time compute routing、reasoning budget 控制、early exit，本质都是同一个方向：别把每个问题都当 IMO 题来解。SAR 把这个目标直接写进 reward。这个思路要是成立，后面完全可以跟 GRPO、DPO 变体、甚至 process reward 结合，而不是单独存在。 但我不太买“自对齐”这个命名带出的那点轻松感。奖励设计从来不是中性的。你选了 query-conditioned vs standalone 这个差值，就已经假设“好答案应该高度依赖题目表述”。这对 math QA 很合理，对开放式写作、宽口径 research synthesis、需要背景常识展开的任务，未必成立。一个高质量回答有时就是应该包含一些脱离 query 也成立的公共知识。SAR 在这些场景里会不会系统性压短、压背景、压解释，目前只有摘要信息，没法下结论。 所以我的判断是：这不是又一篇“让模型想更久”的论文，而是一篇试图纠正 RL 奖励错配的论文。方向我认同，尤其是它没有偷懒成单纯 length penalty。问题也很清楚：摘要没给 benchmark 名单，没给 cost 定义，没给 ablation，没给失败分布。我会先把它当成一个值得复现的 reward trick，不会马上把“Pareto 最优”当结论。要让我更信，正文至少得补三样东西：一，token、时延、总算力三种成本口径分开报；二，hard-case 上的错误类型；三，和 process reward 或 self-judge reward 的正面对照。少了这些，这篇更像一个聪明的信号设计，还没到方法论定型。

CoMeT 用双记忆模块把标准 Transformer 改成了分块处理器，并声称把长上下文推到常数内存、线性时间。我的判断是，这篇的价值不在 100 万 token passkey，而在它试图绕开“重训一个原生长上下文模型”这条贵路线，直接给现成模型外挂一套记忆层。对很多团队来说，这比再做一次长程预训练现实得多。 机制上也不复杂：FIFO 临时记忆吃近端事件，门控全局记忆存长程依赖，两者作为下一块的动态 soft prompt。这个思路跟过去一年那批 memory-augmented 和 recurrent Transformer 工作是同一族，只是它更强调 plug-in 和少量微调。我记得 Infini-attention、Transformer-XL、RMT 一路都在碰这个问题：你可以把历史压进状态里，但一旦压缩错了，信息就回不来了。CoMeT 现在拿出的硬结果，是 32k 微调后在 1M token 任意位置做 passkey retrieval，以及 SCROLLS 摘要接近 full attention baseline。这个成绩够说明“记忆没完全塌”，但还不够说明“复杂推理也能稳定跨百万 token”。 我对 passkey 这类结果一直有保留。它验证的是寻址能力，不是语义整合能力。很多方法在 needle/passkey 上很好看，换成多跳检索、冲突证据消解、长轨迹 agent state 就掉得很快。摘要里提到 agent 和 user behavior QA，但正文片段没给任务名、基线、误差条，也没披露常数内存的具体常数是多少。这里差很多：常数内存如果常数很大，部署价值会被吃掉；线性时间如果 chunk 间通信很重，吞吐也未必好看。 还有一层我比较在意：它说“只需少量微调”就能嫁接到预训练模型，这个叙事很对工程团队胃口，但兼容边界没写清。是只在特定 decoder-only 架构上成立，还是 Llama、Qwen、Mistral 这类都能稳接？需要改多少层？会不会伤短上下文能力？这些决定了它是论文技巧，还是能进生产栈的模块。代码开源是加分项，复现门槛至少不高。 说真的，这篇我会继续看，但我不会因为“1M 取回”就给高分。要让我买账，我想看到三组补充：一是和 full KV cache、ring attention、Infini 这类方法在同卡同 batch 下的吞吐/显存表；二是 128k 到 1M 上真实任务而不是 passkey 的退化曲线；三是插上 CoMeT 以后短上下文 perplexity 和 instruction-following 有没有副作用。标题给了方向，摘要给了几个亮点，决定它成色的细节，正文片段还没披露。

论文评测13个模型在5类CoT扰动下的数学推理，MathError让小模型准确率掉50%到60%。我对这组结果的判断很直接：它打到的不是“思维链好不好用”，而是很多模型把中间步骤当成高权重上下文，而不是可校验对象。链条里一处算错，后面就跟着错；链条里多写几步，模型反而还能忍。这个分布很说明问题，说明不少模型对“格式连续性”的依赖，大过对“状态一致性”的依赖。 摘要里最有信息量的是三组对照。MathError最伤小模型，扩参后缓解明显。UnitConversion跨尺度都难，中等规模还要掉5%以上。ExtraSteps几乎不伤，最小模型也只掉0%到6%。这三个现象放一起看，比单看“某类扰动会降分”更有价值。多写几步没事，说明模型能容忍冗余文本。单位换算持续出事，说明它们对隐含变量绑定、量纲守恒、符号重命名这类结构约束并不稳。算术错误最致命，说明一旦中间状态被污染，后续token会把错误当既成事实继续展开。 这和过去一年业内对CoT的体感是对得上的。OpenAI、Anthropic、Google这批新一代推理模型，产品上都越来越少暴露完整原始思维链，给用户的更多是摘要式解释。我一直觉得这里不只是安全和蒸馏顾虑，也有稳定性原因：原始CoT一旦进入系统的下一步，坏步骤会像脏数据一样向后传播。很多agent pipeline今天还在做“模型A写推理，模型B接着补”，这篇论文给了一个很现实的提醒：你传递的未必是推理资产，也可能是误差载体。 我对这篇论文最认同的一点，是它没有把“规模变大”讲成万能药。MathError有明显scaling benefit，UnitConversion却扛不住全部规模收益。这个结论很重要，因为过去两年很多鲁棒性问题最后都被包装成“再大一点就好了”。这条在这里不成立。单位换算这类扰动，本质上更像表示层里的绑定失败，不只是参数不够。你把“3 feet”换成“36 inches”，表面是文本改写，底层要求却是量纲等价、数值映射、问题状态同步更新。模型如果没有把这几个约束绑成一个可操作对象，就会在后续步骤里漏一环。 我也有两个保留。第一，正文只给了摘要，没披露13个模型的具体名单、参数段、基线任务、提示模板、采样设置和显著性检验。没有这些细节，很难判断“50%到60%下降”是从80掉到30，还是从20掉到8；含义完全不同。第二，这个基准聚焦数学推理，外推到代码、工具调用、多智能体协作要谨慎。数学链条里的单位换算，在代码任务里未必对应同样的脆弱点；代码里更像变量别名、类型转换、API状态漂移。我还没查到作者有没有做跨任务验证，摘要里没有。 说真的，这条对做应用的人比对做基模的人更刺。很多团队现在的做法，是把模型输出的中间推理直接塞回下一轮，或者存进memory，默认“写出来的步骤”比“最终答案”更可靠。论文给出的结果恰好相反：有些步骤只是看着工整，抗扰动能力很弱。尤其是UnitConversion这种跨规模都难的类型，已经接近生产里最常见的脏输入了——货币、时区、计量单位、字段别名，全都属于这一类。如果你的系统把这些状态放进长上下文里滚动更新，测最终准确率不够，必须测中间状态被轻微污染后的恢复能力。 我自己的经验是，process supervision在这里也别过度神化。去年不少工作把“奖励正确步骤”当成推理增强主线，但如果模型学到的是步骤表面形状，而不是步骤与世界状态的一致性，它照样会把错误过程写得很像对。这个论文没有直接测过程奖励模型，我不能替它下结论；但从扰动分布看，至少能说明“会写链条”不等于“会维护链条中的约束”。 所以我会把这篇论文当成一个很实用的测试框架，不当成对CoT的判决书。CoT没有失效，失效的是大家默认它天然透明、天然可复用、天然能当系统接口。要把它接进多阶段流程，就得先分类型测脆弱性：算术错一位会怎样，单位换了别名会怎样，跳两步会怎样，插几句迎合话会怎样。摘要至少给了一个清晰信号：这几类扰动的伤害不是同一个量级，修法也不会是同一套。

论文用 Qwen2.5 dense 0.5B 到 72B 做了 RL 后训练实验，并声称测试损失可被算力与数据的幂律预测。我的第一反应不是“RL 规律终于来了”，而是阿里这组结果把一件行业里早就在发生的事说穿了：后训练越来越像工程化扩展问题，不太像神秘配方问题。 摘要最有用的点有两个。第一，大模型在 compute efficiency 和 data efficiency 上持续更强。第二，在数据受限区间，重复使用高质量数据仍然有效，最终表现主要由 optimization steps 决定。后一句很关键，因为它直接碰到现在很多团队最痛的约束：不是没人会做 RL，而是高质量可验证数据太少，能稳定跑长程优化的系统也不多。要是这条成立，很多人对“RL 一定很快吃光数据”的担心得改写一半。至少在数学推理这类 reward 可验证、轨迹质量可控的任务上，样本唯一性没那么神圣，步数和训练稳定性更值钱。 我对这点并不意外。DeepSeek-R1 那波之后，业内一个越来越明确的经验就是：只要奖励足够硬，rollout 质量还能看，重复刷高质量题集并不会立刻把模型刷废。OpenAI 早期做代码和数学 RL 时也一直有类似味道，只是公开材料讲得很克制。这里阿里把它抽象成 scaling law，价值在于你终于可以拿它做预算分配，而不是靠经验拍脑袋。比如同样一笔后训练预算，应该先扩数据、先加步数、还是先换更大底座，过去很多团队其实没有统一答案。 但我对这篇论文也有两个明显保留。第一，摘要说的是 test loss，不是 pass@1、accuracy、AIME、MATH-500 这类大家更关心的终点指标。loss 能不能稳定映射到“推理能力提升了多少”，这事我不愿意直接点头。做过后训练的人都知道，loss 漂亮和最终可用性漂亮，经常不是一回事。尤其 RL 里 reward hacking、长度偏置、格式偏置都可能把 loss 曲线修得很好看。标题已给出数学推理，正文摘要没披露具体 benchmark、奖励设计、采样温度、长度控制、verifier 机制与绝对分数，这些缺一块，结论都要打折。 第二，所谓“larger models consistently exhibit superior learning efficiency”，听起来顺，但摘要自己又承认 k(N) 出现 latent saturation trend。这句其实比前半句更重要。它说明规模继续变大，RL 后训练的边际收益不是无限上升，而是在放缓。我一直觉得这是这轮后训练军备赛最容易被 PR 话术盖过去的地方：预训练时代大家迷恋大模型幂律，到了 RL 阶段，底座更大当然更稳，但收益曲线未必还像 pretrain 那样干净。72B 以内能看到效率优势，不等于 100B、200B 以后还会同样成立。摘要没有给出饱和点位置，也没给出不同模型之间的具体斜率差，这决定了结论目前更像“方向成立”，还不是“可以精算采购单”。 我还想补一层文章外的上下文。过去一年，很多团队已经把后训练资源往“可验证任务”集中，数学、代码、工具使用最典型。原因很简单：reward 容易定义，verifier 容易做，训练信号密。相反，开放式写作、长时规划、多轮 agent 任务，RL 的噪声大得多，幂律能不能同样成立，我自己很怀疑。Anthropic、OpenAI、DeepSeek、Qwen 这几家公开展示的 reasoning 提升，几乎都高度依赖可自动评测的任务族。这个背景下，这篇论文的外推边界要说清：它讲的是 mathematical reasoning 上的 RL post-training，不是全部“思维能力”的统一规律。 还有个实践层面的意思，做平台和做应用的人都该看。要是“高质量数据可重复使用 + 表现主要由步数决定”成立，那训练瓶颈会从“找更多独特样本”转向“把 rollout、过滤、验证、重放、checkpoint 恢复、长程稳定性做好”。这会抬高基础设施价值，压低一次性数据采购神话。说真的，这对中等规模团队反而是好消息。你未必要有天量新数据，先把一小撮高信号数据循环系统搭对，也能把后训练推进去。 我的 pushback 还是那句：现在只有摘要，信息口太大。没有 benchmark 名称，没有奖励函数，没有 on-policy / off-policy 细节，没有每档模型的最优 compute 配置，也没有和 SFT、DPO、拒绝采样蒸馏这些替代方案的直接对照。我还没法接受“RL 后训练已经出现像预训练那样稳定的 scaling law”这个强说法。我更愿意把它看成一个很有价值的经验定律候选：在 Qwen2.5 dense、数学推理、可验证奖励这三个条件同时成立时，规模、步数和数据复用呈现出可拟合的规律。这个结论已经够有用了，但离通用法则还有距离。

COMPOSITE-STEM用70道博士级任务把4个前沿模型的最高分压到21%，这先说明一件事：现成 agent benchmark 确实被刷得太熟了，尤其是那种短答案、单回合、强格式约束的数据集。把题目换成跨物理、生物、化学、数学的开放式科学任务，分数立刻掉下去，这个方向我认同。 我对它的判断是：这篇论文更像是在证明“现有公开评测太窄”，还没证明“21% 就准确代表科学代理能力”。原因很直接。正文只给了 70 道题、4 个模型、最高 21% 这几个关键信号，没有披露模型名单，也没在摘要里交代 rubric 权重、LLM-as-a-jury 的一致性、评审间方差、每题工具调用预算、失败样例结构。只看这些信息，你很难分清模型是败在科学推理、长程规划、工具使用，还是败在评分协议本身。 说真的，我一直觉得这类 benchmark 的难点不在“题够不够难”，而在“失败原因能不能拆开”。这篇文章用了 Terminus-2 和 Harbor 这类 agent harness，方向没问题，因为现在很多任务的瓶颈确实不是裸模型回答，而是检索、代码、视觉输入、执行链条能不能稳住。问题是，一旦把 harness、工具、裁判模型都叠进去，分数就不再只是 base model 的能力。去年到今年这波 agent 评测里，这个坑已经出现很多次了：同一个底模，换个 tool router、token budget、retry 策略，成绩能差一大截。我还没看到这篇摘要给出足够细的消融。 还有一个我不太买账的点：LLM-as-a-jury 现在很常见，但在 STEM 开放题里尤其危险。数学和部分物理题还能靠精确匹配兜底；生物、化学里的研究型回答，经常牵涉“部分正确”“路径合理但结论不全”。如果裁判模型本身对领域知识边界不稳，rubric 再漂亮，最后也会把 benchmark 变成“一个模型评另一个模型”。OpenAI、Anthropic、Meta 过去一年都反复碰到这个问题，所以现在像 SWE-bench、Humanity's Last Exam、一些实验室内部 eval，都在拼命增加可验证步骤和人审抽检。COMPOSITE-STEM 摘要里提到 standardized rubric，这比纯自由裁判强，但还不够，我想看 inter-rater agreement 和人工复核比例，正文这里没给。 外部参照也很关键。过去一年几个高难 benchmark 的共同走势很一致：刚发布时分数都低，几个月后要么被工具链优化吃掉，要么被数据污染追上。MATH、GPQA、SWE-bench 其实都走过这条路，只是饱和速度不同。COMPOSITE-STEM 这次把全部任务开源，对复现很好，但也等于更早启动了“围着题面做工程”的循环。所以 21% 这个数字我不会看得太重，我更在意三个月后同一批模型加上更强 scaffold 能涨多少；如果很快从 21% 爬到 40% 以上，那说明 benchmark 测到的更多是 agent plumbing，而不是科学发现里更难的那层抽象。 不过这条仍然有价值。价值不在“又一个更难榜单”，而在它把科学任务评测往可执行、可开源、可复核的方向推了一步。现在实验室嘴上都在讲 AI for science，真到评测环节，很多工作还是停在论文问答和文献摘要。COMPOSITE-STEM 至少把任务拉到更接近研究助理的位置。前提是后续得补齐模型名单、评分一致性、工具预算和错误分类。不然 21% 只是一个很抓眼球的数字，不是一个足够稳的能力结论。

OjaKV 把 Llama-3.1-8B 在 32K、batch size 4 下约 16GB 的 KV cache 压力，拆成了一个很务实的工程判断：别试图把所有 token 一视同仁地压，小心保住开头 token 和最近 token，中间大段上下文再做在线低秩。这个设计我觉得是对的，因为长上下文退化很多时候不是“记不住”，而是注意力锚点先坏了。首段 token 往往承载系统提示、任务定义、格式约束；最近 token 决定当前解码局部一致性。先把这两头保真，再去压中间，至少比一刀切的低秩投影更像真实推理流量里的解法。 有意思的地方在它没走“离线学一个固定子空间”那条老路，而是把 Oja online PCA 塞进 prefill 和 decode 两个阶段。这个判断背后其实是在承认一件事：长上下文分布漂移不是边角问题，是主问题。静态 basis 在论文 benchmark 上常常还行，一到检索增强、代码仓、长文档 QA、multi-hop 这种上下文结构变化大的任务，压缩误差会直接打到 attention pattern 上。我记得过去一年几类 KV 压缩方法，大多在固定数据分布下报出不错数字，但一换任务或者一拉长到 32K、64K，掉点就开始明显。OjaKV 至少从机制上正面处理了这件事，这比再堆一个“更低比特量化”更靠谱。 但我对“高压缩比下还能提升 zero-shot 准确率”这句有点警觉。摘要给了方向，没给关键数字：压缩比是多少，rank 取值是多少，提升出现在哪些 benchmark，平均提升还是个别长上下文集拉高，延迟开销增加多少，update 周期怎么设，正文都没披露。没有这些，现阶段还不能把它当成稳健结论。KV 压缩论文里“准确率提升”常见有两种来源：一种是压缩本身带了正则化，清掉冗余注意力；另一种是 baseline 在超长上下文已经坏得很厉害，改法只要少坏一点，看起来就是提升。两种都不是坏事，但含义完全不同。 我还想补一个文章外的背景。现在线上推理的内存账，早就不只看权重了。8B 级模型上了 32K、64K，再叠 batch 和并发，KV cache 经常比权重更先卡死，这也是为什么 vLLM 的 paged attention、各种 chunked prefill、prompt cache、MQA/GQA 一直有人做。OjaKV 的位置，不是在替代这些系统手段，而是在它们之外再给一层“内容感知压缩”。这点很关键：如果它真能和 FlashAttention 共存，又不需要 finetune，那部署门槛比训练期改架构的方法低很多。说实话，这比 abstract 里“plug-and-play”那句宣传话更有价值。 我的保留也很明确。第一，online PCA 的更新开销到底多大，摘要只说 prefill 重更新、decode 轻更新，没有 tok/s、TTFT、吞吐损失。第二，它在多轮对话和工具调用场景里是否稳，摘要没说；这类场景的上下文切换更碎，basis 漂得更快。第三，它是否只在 Llama-3.1-8B 上成立，我还没查到跨模型结果。很多 KV 技术在 GQA 配置、层数、head 维度一变后，收益会重排。 所以这条我给的判断是：方向很扎实，论文味也不算空，至少抓住了“上下文在变，压缩子空间也该变”这个核心矛盾；但在 benchmark、时延、跨模型复现出来前，还不能把它吹成长上下文推理的通用解。我要看的是完整实验表，不是 abstract 里的那句 accuracy improves。

COMPASS 用旅行规划任务测出了一个很实在的问题：LLM agent 在 70%-90% 条件下能交出可行解，但最优率只有 20%-60%。我对这组结果是买账的，因为它刚好戳穿了这两年 agent demo 里最常见的错觉——会问用户、会调数据库、会吐一份看起来完整的 itinerary，不等于会做约束优化。很多系统把“没报错、能执行、约束基本满足”当成成功，可一旦目标从“给个能用方案”变成“在预算、时间、偏好下找更优方案”，模型就开始偷懒，停在第一个够用解上。 这条最有价值的地方，是作者把锅先从 tool use 身上拿开了。过去一年不少 agent paper 和产品叙事，都把性能不稳解释成工具链不够全、函数调用不够稳、环境搭得不够像真的世界。我一直觉得这只说对一半。工具调用当然会掉链子，但约束优化更核心的是搜索：要不要继续追问一个关键偏好，是否该多查几条航班组合，愿不愿意为了多 5% 效用去展开第二层、第三层候选。摘要里说“信息收集越充分，成功率相关性越强”，这个判断很像我们在代码 agent 上已经见过的现象：不是模型不会写第一版，而是它不愿意系统性地生成、比较、回退和重试。 这跟过去一年的几个基准能对上。WebArena、GAIA、TAU-bench 这一类任务，大家后来都发现，agent 失败常常不是单步推理错得离谱，而是任务树展开太浅，早早 commit 到局部最优。代码 agent 在 SWE-bench 上能把分数抬起来，也不是因为它“更懂代码”这么简单，很多时候是因为 coding setup 天然逼着它做外部化搜索：写脚本、跑测试、看报错、再改一轮。COMPASS 说 coding agents 更接近补上缺口，我觉得方向是对的。它提示的不是“旅行规划该用代码模型”，而是凡是带约束和目标函数的 agent，最好把搜索过程显式化，别只靠一段看上去聪明的对话轨迹。 我还是有几个保留。第一，正文没披露任务规模、约束密度、数据库大小、效用函数形式，也没说 20%-60% 是按模型、难度还是设定分层。没有这些，外界很难判断这组 gap 到底来自组合爆炸，还是来自 benchmark 设计把最优解定义得过细。第二，旅行规划是好任务，但它天然带用户偏好噪声。“最优”如果高度依赖隐含偏好，测到的可能一半是搜索能力，一半是偏好 elicitation 能力。摘要提到多轮问询用户，这很关键；但问几轮、信息增益多大、是否限制 token 或 tool budget，正文这里都没给。第三，我对“tool use 不是瓶颈”这句会稍微谨慎一点。要是工具只提供干净数据库查询，那当然容易把瓶颈推到搜索；可真实世界的工具经常返回脏数据、冲突状态、分页结果，届时工具鲁棒性又会重新变成主问题。 说真的，这篇 paper 更像是在给 agent 产品经理泼冷水。现在很多消费级 assistant 已经能把订票、行程、餐厅串起来，演示视频很好看，但 COMPASS 这种结果说明，离“能规划”到“会优化”还差一层很硬的系统设计：候选生成、约束检查、效用打分、预算内的搜索分配、以及必要时向用户继续追问。只堆更大的基础模型，我看不够。谁先把这套搜索回路产品化，谁才更接近能管真实任务的 agent。