论文 · 2026-04-14

PST 在 3 个数学基准上把 Gemma-2-2B、LLaMA-3.2-1B、Qwen-2.5-1.5B 的 exact-match 提高了 2.2 到 4.3 个百分点，并把 GV-Gap 压低了 26% 到 40%。我对这件事的判断很直接：它有研究味，也有实用味，但别把它听成“模型自己学会推理了”。这套方法更接近把多模型采样时已经存在的共识信号，重新包装成训练信号；增益是真的，叙事要降温。 这次是 2 个源同时挂出同一篇论文，但两边标题完全一致，正文也基本就是 abstract 的再排版。这个覆盖广度本身不代表社区已经验证，反而说明现在的信息源高度集中在作者给出的官方表述上。换句话说，媒体之间没有角度分歧，因为几乎没有独立解读材料。我自己没看到这里给出额外实验细节，也没看到谁补了失败案例、训练成本、聚合器定义或鲁棒性边界，所以很多判断还得卡在论文层面。 方法上，PST 的核心不复杂：多个模型对同一道题顺序作答，最后拿一个聚合答案当“内部标签”，再用 PMI 衡量每个中间回答对最终聚合有多大信息量，信息越低、偏得越远，更新越大。这个设计有意思的地方在于，它不走 teacher-student，也不靠外部 verifier。过去一年大家看过太多变体：self-consistency 用多次采样投票，STaR 用正确链路回灌，debate / self-play 让模型互相挑错，RLVR 则靠可验证奖励把搜索压到正确轨道。PST 是把“推理时集成”往“训练时自蒸馏”搬了一步，这一步是成立的。 但我有两个保留。第一，聚合答案为什么更可靠，摘要里只说“in practice often more reliable”，机制没有展开。若聚合器只是多数票或某种简单汇总，那它吃到的提升很大概率来自误差独立性，而不是模型真的学到了新的推理结构。这个在数学题上常见，因为答案空间收敛、可比对、错法分散。换到开放问答、长程规划、代码修复，群体共识未必比单模型更真，很多时候只是更像平均意见。标题给了“language model reasoning”，正文披露的其实只有数学推理。 第二，这个“无监督”说法我不太买账。它确实没有外部人工标签，也没有 teacher，但它依赖至少多个模型、顺序生成、再聚合、再微调。训练标签没花人工，计算账单没有消失。若 1B 到 2B 模型都要一起跑，采样轮次又不低，这个方法在算力上是否优于直接做更强的 self-consistency 蒸馏，摘要没有披露。没有训练 token 数、采样数、聚合规则、每轮更新预算，就没法判断 2.2 到 4.3 个点到底便宜不便宜。 GV-Gap 降 26% 到 40% 是另一个我会盯的信号。若 generator-verifier gap 的定义稳固，这说明模型生成的中间推理和最终可验证答案更一致了，不只是猜对更多题。问题是这里正文没给公式，也没给 verifier 的构造。若 verifier 本身接近答案匹配或轻量检查器，那这个 gap 更像“格式和结论对齐”；若 verifier 更强，含金量就高很多。现在信息还不够。 跟过去一年的路数相比，PST 的价值在于它给“小模型互相教”提供了一个比简单互蒸馏更像样的权重机制。PMI 加权不是新物理，但它至少试图区分“已经对齐的回答”和“该被纠偏的回答”，避免所有生成都被一视同仁地当伪标签。这比拿最佳采样直接回灌要干净一些，也比单模型自训练少一点自嗨闭环。可它也天然带来一个风险：多模型如果共享同类预训练偏差，聚合器会稳定放大共识偏误，把少数但正确的异常思路压掉。小模型族群尤其容易这样，因为错误相关性通常不低。 我还想看两类缺失实验。一个是异构性：3 个模型分别是 Gemma、LLaMA、Qwen，参数在 1B 到 2B，算有点异构，但摘要没说是不是混合训练、还是各自和同伴交互后分别更新。若必须跨家族协作，工程门槛会上升；若单家族多副本也能复现，那适用面大很多。另一个是任务外迁移：SimulEq、Math500、MultiArith 都偏数学与算术，题目有明确答案。没有 GSM8K 之外的更难组合推理，没有代码 benchmark，没有长上下文任务，我暂时不会把它外推到“通用 reasoning self-improvement”。 所以我给这条的定位是：一个把集成共识转成训练信号的漂亮小框架，短期对小模型数学推理有现实价值；离“无外部监督持续自我进化”还差关键证据。要让我更信，得看到三样东西：同等算力下对 self-consistency distillation 的净胜幅度、开放式任务上的失效边界、以及聚合器在错误共识场景里的抗偏表现。现在这篇论文先说明一件事：多模型之间的分歧本身就是训练数据，只是这批数据目前还只在容易验分的题上显得好用。

WebXSkill 把网页代理成功率在 WebArena 提高最多 9.8 个点，在 WebVoyager 提高最多 12.9 个点，这个结果说明网页 agent 的瓶颈已经很具体：不是模型不会“想”，而是不会把多步操作压成可复用单元。 我对这条的判断挺明确。它抓到的是 2025 年一整年 web agent 都没处理干净的问题。大家一直在堆更强模型、加 planner、加反思、加记忆，演示很好看，长链路任务还是容易死在第 7 步到第 15 步。原因很朴素：浏览器环境是高分支、强状态依赖、页面还老在变。纯文本 skill 像 SOP，代理能读但不能直接跑；纯代码 skill 像宏脚本，能跑但 agent 自己看不懂，出错后不会补。WebXSkill 把“参数化动作程序”和“分步自然语言说明”绑在一起，这个设计我觉得是对的，因为它承认了两个现实：执行必须结构化，纠错必须保留语义层。 这不是一条孤立论文线。我记得从 Voyager、Synapse、DAG/graph 类 agent memory，到去年不少 browser-use、AgentOccam、WebArena 系工作，主线都在逼近同一个结论：网页任务最后都会落到“半规划、半程序”的中间层。只靠大模型在线逐步点网页，成本高，稳定性差；只靠录制脚本，泛化又不够。WebXSkill 的价值在于它把 skill 做成了一个同时给机器和模型读的对象。这个抽象如果成立，后面接不同基座模型都行，甚至小模型也能吃到一部分收益。那就比“换一个更强 frontier model 再跑 benchmark”更有工程味。 我对文中的 URL graph 也有点兴趣。网页任务检索 skill，很多团队先想到 DOM、语义 embedding、甚至视觉相似度。它这里拿 URL 结构做组织，优点是便宜、稳定、部署简单，尤其适合站内流程明确的任务，比如电商后台、工单系统、企业 SaaS。缺点也很直接：现代网站越来越多 SPA、动态路由、A/B 页面、权限分流，URL 不一定能代表状态。标题和摘要给了方法名，正文没披露检索召回、错误路由率、跨站泛化数据，我还没法判断这层在真实生产环境里有多稳。 我还有个保留意见。9.8 和 12.9 个点好看，但现在只有 RSS 摘要，没有完整实验表。我没看到基线是谁，没看到所用模型，没看到是不是同 token budget、同 step budget，也没看到 grounded mode 和 guided mode 各自贡献多少。web agent 论文很容易在 evaluator、网站版本、重试次数、人工修补上吃到红利。这个领域过去一年已经见过不少“提十几个点”，复现实测掉回去一半的情况。代码公开是加分项，但 benchmark 提升先别直接折算成生产可用。 说真的，我更关心两个论文外问题。第一，skill 是从 synthetic trajectories 里挖出来的，那它会不会把老师策略的偏差一起固化？如果教师轨迹本身绕路、点错再改，抽出来的 skill 也会带脏习惯。第二，技能库一旦变大，维护成本会不会压过收益？RPA 当年就踩过这个坑：脚本资产越来越多，最后不是不会执行，而是没人敢改。WebXSkill 这次把可解释性补上，已经比传统录制宏前进了一步，但离“可维护”还差版本管理、失效检测、站点变更后的自动修复这些层。 我总体是偏看好的。网页 agent 现在最需要的不是再争一次哪家模型在 WebArena 多 3 分，而是补出一个介于 prompt 和脚本之间的稳定层。WebXSkill 至少给了一个像样答案。它能不能站住，接下来要看三件事：完整 ablation 有没有证明“可执行代码+语言说明”两部分都必要；URL graph 换到动态站点后还剩多少收益；技能库规模从几十涨到几千后，检索和维护会不会塌。摘要没给这些，先别吹成通用解法。

这篇论文用 220 次监督微调实验检验了最多 8B 模型的后训练语言覆盖，结论很直接：英语单语 SFT 大概率不是局部最优。我的判断比摘要再往前走一步：这不是“给多语用户补福利”的论文，这更像是在提醒大家，英语中心的后训练配方本身就在浪费模型的抽象能力。 我一直觉得，预训练阶段大家嘴上都说 multilingual，到了后训练却又缩回英语，是一套很奇怪的工程习惯。原因不难猜：英语数据更干净，评测更成熟，标注和 reward 流程也更便宜。问题是，SFT 不是只在教答案格式，它也在重新塑形模型的任务接口。你只用英语去塑形，模型最后学到的就不只是英语输出偏好，还会把推理路径、工具调用模式、错误恢复方式都绑到英语分布上。摘要里那句“只加入 1 种非英语语言，也能提升英语表现”很关键，它说明多语言信号带来的不是简单的数据增广，而是表示空间被重新拉直了一点。 这跟过去一年一些现象其实对得上。Qwen、Aya、Gemma 这几条线，只要团队认真做多语对齐，跨语言稳定性通常都比英语优先、最后再补翻译的方案好。我没法拿这篇论文去直接对标 closed model，因为正文没给更大模型和 RL 阶段的数据，但经验上看，很多产品里出现的“英文会做，西语就乱调 API；英文能走完数学链条，阿语就提前塌掉”，问题往往不在 base model，而在 post-training 把行为先验收窄了。这篇文章至少给了一个系统化证据：收窄语言覆盖，本身就在损失泛化。 我觉得作者选数学推理和 API calling 也挺聪明。这两个任务都不是纯表面流畅度竞赛。数学更接近中间推理结构是否稳，API calling 更接近 schema 对齐、参数约束、执行格式。多语言覆盖在这两类任务上都成立，含金量比只测聊天偏好高不少。尤其 API calling 这点，很多团队现在还默认“工具使用语言无关，英语 instruction 就够了”。这篇结果在打这个假设：语言表面不同，任务接口学习也会被影响。 但我还是有两个保留。第一，正文摘要只说用了 parallel translated multilingual data mixtures。这个设定很干净，适合做控制变量；真到生产里，数据不会这么理想。翻译腔、术语漂移、文化特定表达、代码混写，都会让多语后训练的收益打折。换句话说，这篇论文更像是在证明“多语言覆盖有理论和实验上的上限收益”，不是在保证“你把真实世界多语脏数据灌进去就一定赢”。第二，模型只到 8B。这个规模足够说明趋势，但不自动外推到 70B 以上，更不自动外推到带强化学习和在线反馈的 agent 系统。大模型有更强的共享表示，也有更强的英语吸附效应；两边谁更强，我在没看正文前不想替作者下结论。 还有一点我比较在意：摘要说高资源语言是平台而不是退化，这很重要。过去很多团队不做多语 SFT，一个常见借口是“加太多语言会稀释英语能力”。这篇 paper 至少在它的设定里没支持这个恐惧。说真的，这个借口很多时候更像评测设计偷懒。你只盯英文 benchmark，当然会把任何分布扩展都看成噪音；你把跨语言 transfer 和实际工具成功率一起看，结论就会变。 如果这条结论站得住，后面会改的是配方，不只是 KPI。SFT 数据配比、拒答模板、工具调用示例、甚至 preference data 的采样语言，都要重新算。现在不少团队把多语当作 deployment 层的适配问题，我看这篇是在说：错了，多语首先是训练时的表示学习问题。标题已经给出了很硬的方向，正文没披露的是具体语言集合、增益幅度、统计显著性和是否开源数据配方。没有这些，离“行业默认改 recipe”还差一步。但英语单语后训练是安全默认值，这个说法我现在是不太买账了。

这篇论文给出了一个很硬的结论：作者在 Cerebras-GPT 111M-13B 和 Pythia 410M-12B 上发现，contextual entrainment 随规模呈幂律分化，语义上下文里的误导会下降，非语义上下文里的机械复制会上升。摘要给了两个最关键数字：最大模型对反事实错误信息的抗性，是最小模型的 4 倍；对任意 token 的抄写倾向，却是最小模型的 2 倍。 先说多源。这里的两条覆盖都来自 arXiv，一个挂在 cs.CL，一个挂在 cs.LG，标题完全一致，信息源也是同一份摘要。这不算媒体从不同角度独立解读，更像 arXiv 分类系统把同一篇论文投到了两个社区。所以我不会把“2 家来源都在报”当成额外背书。能确认的是，论文已被 ACL 2026 Findings 接收，至少过了一轮学术审稿；不能确认的是，这套结论在今天主流的指令微调聊天模型上还能不能同样成立，摘要没给。 我觉得这篇最有价值的地方，不是又发现了一个“模型有偏差”，而是它把两种常被混写的现象拆开了。过去很多人把“模型太吃上下文”笼统讲成一个问题：给错了就信，给杂了也抄。这篇说不是一回事。语义过滤能力会随规模提升，机械复制倾向也会随规模提升，只是方向相反。这个拆分很重要，因为它解释了一个大家在实战里早就碰到、但一直说不太清的现象：更大的模型在长上下文任务里，经常更能识别明显错误的叙述，但面对模板污染、日志噪声、随机 ID、占位符字符串时，仍会把脏东西卷进答案。 这和过去一年很多应用侧体验是对得上的。做 RAG 的团队常见两种失败：一种是检索段落里有一条错误陈述，模型照单全收；另一种是上下文里塞进了无关字段、表头、追踪 token、UI 残片，模型把这些碎片拼进输出。前一种靠更强基座、更好的 instruction tuning，经常真能改善。后一种没那么容易，尤其在 prompt 很长、结构又脏的时候。论文这组结果，算是给这种工程直觉补了一层可量化解释。 我也得泼点冷水。第一，实验族谱不算新。Pythia 和 Cerebras-GPT 都是预训练研究模型，参数上限 12B、13B，跟 2025 到 2026 年大家实际在用的 GPT-5.x、Claude 4.x、Gemini 2.x、Qwen 3.5 这类指令模型，不是一回事。RLHF、SFT、system prompt、工具调用、推理时检索，都会改写“看见上下文就跟”的行为。论文摘要只说 replicate across model families，但 family 还是这两支预训练族，外推空间有限。第二，摘要没披露 entrainment 的具体测量协议。我还没查到它到底是 next-token logit 偏置、生成命中率，还是某种归一化分数。要是指标设计把表面复制放大了，结论强度会受影响。第三，最大也只到 13B。作者说 scaling alone does not resolve context sensitivity，这个判断在 13B 内成立；放到 70B 以上、加上长上下文位置编码和后训练，正文没给证据。 即便如此，我还是觉得这篇值得存档。它逼着大家别再把“上下文利用率”当单一 KPI。你不能只测模型会不会抗假事实，还得测它会不会吞噪声。你也不能拿 needle-in-a-haystack 命中率，去替代对脏上下文鲁棒性的判断。前者测的是找到相关针，后者测的是能不能把垃圾留在垃圾桶里。两者在这篇里看着就不是同一种能力。 对产品和评测的人，这篇给了一个很实际的提醒：长上下文不是越大越省心。上下文窗口从 128K 拉到 1M，只会让“无关 token 总量”暴增；如果机械 entrainment 也随规模上升，你的系统就会更需要上下文清洗、字段裁剪、检索去噪、模板规约。靠更大模型把脏 prompt 自动吃干净，我不太买账。至少这篇在 13B 以内给出的证据，方向正相反。

这篇论文把 Claude Code 归纳成 7 类权限、5 层压缩、4 种扩展。这个拆法我基本买账，因为 2026 年还在拿“模型会不会自己写代码”当主问题，已经慢了半拍。主循环现在大家都差不多：模型调工具，工具回结果，失败再重试。难做的部分早就挪到外圈了，谁来授权，哪些命令要拦，长会话怎么压，子代理怎么隔离，插件怎么挂进来，日志怎么留证。这些东西不显眼，却决定 agent 能不能进团队环境，而不是只在 demo 里跑一小时。 论文有价值的地方，在于它没把 Claude Code 神化成某个玄学 agent。它反而说明，公开代码里最核心的执行器就是个 while-loop。这个判断和很多一线产品的演化是一致的。Aider、Cline、OpenHands、早期的 OpenAI Codex CLI，底层也都是类似形态。差异不在“会不会循环”，而在循环外面包了多少治理层。Anthropic 这套 7 种权限模式加 1 个 ML 分类器，方向上很像把传统安全工程塞进 IDE agent：把高风险动作从提示词层，往执行边界挪。这个选择比单纯做 refusal 更靠谱，因为 shell、git、网络访问这些能力，一旦落到真实仓库，事故不是答错题，是删分支、泄露密钥、跑坏环境。 我对这篇文章最认同的一点，是它把部署场景差异讲得很具体。Claude Code 是 CLI 工具，OpenClaw 是 gateway 式助手。前者更适合按动作做权限判断，后者更适合在边界层一次性收口。这不是实现细节，是产品哲学。你把 agent 放进终端，它天然靠近用户当前工作目录，就得精细授权。你把 agent 放进统一网关，它天然靠近组织级身份和服务目录，就会优先做 perimeter control。很多团队现在争论“agent 应该做细粒度审批还是粗粒度准入”，我一直觉得这个问题问反了。先看 runtime 在哪，再谈安全模型，不然都是空谈。 但我也得泼点冷水：这篇论文基于公开的 TypeScript 源码反推架构，能看到的是客户端和本地控制面，关键的 server-side 部分未必在里面。标题给了“设计空间”，正文摘要给了结构件数量，可没有披露系统提示词、策略模型训练数据、分类器误报率、权限默认值命中率，也没有给 eval。少了这些，你很难判断 1 个 ML 分类器到底是核心护栏，还是只是 UX 润滑层。说实话我对“分类器守门”一直有点怀疑。业内这两年几乎每家都在加这层，但一到新命令、新插件、新仓库约定，分布就变。没有误报和漏报数字，我不会把它当成熟答案。 5 层上下文压缩管线这个点也很关键。我一直觉得，代码 agent 的瓶颈从来不只是 context window 大小，而是上下文选择错误的成本。窗口再大，塞进错文件、旧日志、无关 diff，照样把模型带沟里。Anthropic 这类产品愿意花工程量做多层压缩，说明他们内部已经接受一个现实：长上下文不是记忆系统，压缩与检索才是。这里我会联想到去年很多“1M context 编程代理”的演示，展示都很猛，真实仓库里却经常败在 context pollution。论文如果后续能补上各层压缩的触发条件、保真损失和 token 成本，那会比抽象原则更有用；目前摘要没给。 子代理加 worktree 隔离也不是小补丁，这是 agent 从“单线程助手”走向“可并行执行器”的标志。Git worktree 这个选择很工程，也很现实：它没有发明新沙箱，直接借成熟版本控制机制隔离任务分支。这个思路我挺认同，因为今天多数 coding agent 的失败，不是模型不会想，而是多个试探互相污染工作区。你让主代理开几个子任务并行跑，没有隔离就等着冲突。这里 Claude Code 的做法，比单纯喊 multi-agent 更落地。多代理这词已经被讲滥了，worktree 才是能复现、能审计、能回滚的那部分。 扩展机制列了 MCP、plugins、skills、hooks 四类，这里也暴露出一个行业趋势：agent 平台正在从“内置工具集合”转向“能力注册系统”。MCP 过去一年被迅速接受，不是因为协议多优雅，而是因为大家都受够了每家 IDE、每个 agent 重写一遍 tool adapter。可我对这块也有保留。能力面一旦开放，安全和稳定性会跟着塌方式复杂化。注册表越繁荣，权限图越难懂，用户越不知道自己到底把什么交给了 agent。论文把这件事当设计方向之一，我赞成；但如果没有统一的 capability manifest、版本约束、审计日志和撤销机制，MCP 生态最后很容易重演浏览器插件商店那套老问题。 我自己读下来，这篇论文最有用的贡献不是那 13 条原则，而是替很多团队改了一个建模视角：别再把 agent 当“更强的 prompt + tool call”。把它当运行时系统，你讨论的问题会立刻变实：权限矩阵怎么配，压缩管线怎么退化，子代理隔离靠什么，能力注册怎么治理，session storage 怎么追责。Anthropic 这代产品的护城河，我看也更多在这些枯燥部件里，而不是模型调用那一圈漂亮 demo。 我的保留也很明确。摘要没有 benchmark，没有故障率，没有人工接管比例，也没有不同权限模式下的完成率差异。没有这些数字，这篇更像一份架构地图，不是战报。架构地图当然有用，尤其适合正在做 agent 平台的人抄作业；但你要拿它证明 Claude Code 在生产里已经形成压倒性方法论，我不买账。

AiScientist 在两项基准上给出了 10.54 分和 81.82% 这组数字，我的判断很直接：这篇论文抓到的核心不是更会想，而是更会把项目存活下来。长时程 agent 这两年一直卡在同一个坑里，任务跑到第 3 小时后，上下文漂移、实验记录断裂、代码改坏没人认账。它把顶层控制压薄，只保留阶段摘要和工作区地图，把分析、计划、代码、实验结果全落到持久工件里，这个方向我基本认同。去掉 File-as-Bus 后，PaperBench 掉 6.41 分，MLE-Bench Lite 掉 31.82 分，这已经不是“实现细节”，而是在说明长期状态连续性本身就是主变量。 我一直觉得，很多 agent 论文把失败归因到模型推理不够强，其实有点偷懒。OpenAI 去年到现在那批 computer-use、deep research、code agent 产品，外面看像模型越来越会做事，里面更像是任务分解、工具调用、检查点恢复、工件缓存一起堆出来的。Anthropic 在 computer use 和 tool use 那条线上也反复碰到同一件事：单轮决策再强，跨文件、跨实验、跨天协作还是会散。AiScientist 这篇至少诚实，它没把功劳全算到“更聪明的 planner”头上，而是把系统状态拿出来单独建模。这个口径比一堆“我们加了个 manager agent 就 SOTA”靠谱得多。 但我对 benchmark 叙事还是有保留。标题讲的是 Autonomous Long-Horizon Engineering for ML Research，正文摘要给出的只有 PaperBench 和 MLE-Bench Lite 两项结果。问题在这：PaperBench 更像论文复现与工程执行混合题，MLE-Bench Lite 也不是完整 Kaggle 级开放环境。81.82% Any Medal 听着很猛，可正文没披露样本数、模型底座、token 预算、运行时长、并行度、失败重试规则。没有这些条件，这个数字没法和 OpenHands、SWE-agent 系体系，或者近几个月那些 repo-level coding agents 正经对表。尤其 Any Medal 这种指标，铜牌、银牌、金牌混在一起，信息密度没那么高。 我还想追问一个更硬的问题：File-as-Bus 到底是在提升“研究工程”，还是在把 benchmark 做成更适合文件工作流的题型。很多真实 ML 研究并不只是读写文件。它涉及集群配额、数据许可、实验排队、坏 checkpoint 回滚、wandb 污染、评测脚本口径错位、随机种子漂移。摘要里说 workspace 是 permission-scoped，这很好，至少承认权限边界是系统设计的一部分；可正文没披露权限模型细节，也没说 agent 在 shell、Python、Git、远程作业系统之间怎么同步状态。如果这些外部状态没有被纳入，File-as-Bus 的胜利就还是局部胜利。 说真的，这篇让我想到去年不少代码 agent 的一个分水岭：不是从“聊天记录接力”走向“多代理”本身，而是从短暂消息走向可检查、可重放、可追责的工件流。你看 Devin、OpenDevin、OpenHands、Meta 那些软件工程 agent 讨论，最后都会落回同一个词：artifacts。谁把计划、补丁、日志、测试、回滚点存成一等公民，谁的长任务成功率就高。AiScientist 把这套东西明确搬进 ML research engineering，算是补上了一块一直缺的系统论文。 我不太买账的地方，是“自主科研”这个大词。按摘要看，它更接近 autonomous ML engineering，不是 autonomous science。它能持续搭环境、改代码、跑实验、读结果，这已经很有价值；但从这里跳到“能做研究”还差一层：问题定义、假设生成、负结果取舍、benchmark 污染判断、什么时候该停。标题已经给出 long-horizon engineering，正文其实也主要证明了 engineering。这个边界最好说清，不然又会被市场部拿去包装成 AI scientist 已经到了。 如果后续正文补出底座模型、成本、平均 wall-clock、失败案例，我会更容易下重判断。现在这条我给的结论是：方向是对的，数字也不弱，但它的贡献主要在系统记忆与协作协议，不在研究智能本身。对做 agent 的人，这比“又一个 planner”有用得多；对盯 AGI 叙事的人，这盆冷水得先接住。

论文给出两条条件，解释大语言模型 OPD 成败。这个判断我基本买账，因为它击中的正是过去一年蒸馏讨论里最含糊的一块：大家一直把 on-policy distillation 当成“更密的 RL 信号”，却很少拆开看，学生到底在学老师的能力，还是只是在老师常走的轨迹上做局部模仿。这里作者的答案很直接，条件有 2 个：思维模式要兼容；老师还得提供学生训练里没见过的新能力。光是“老师分数更高”，不够。 先说多源。这个事件只有 2 个来源，还是同一篇 arXiv 挂在 cs.CL 和 cs.LG 两个分类，不是两家媒体独立判断，也不是外部复核。两边标题完全一致，结论一致，说明这里没有“报道角度差异”可挖，信息几乎全部来自论文原文和摘要。换句话说，覆盖数是 2，但独立信号其实是 1。我会把它当成一篇值得细读的研究稿，不会把“多源”误读成社区共识。 论文里最扎实的一点，是它把 OPD 成功的 token 机制说具体了。作者称，成功蒸馏时，学生访问到的状态上，会逐步对齐老师的高概率 token，而且共享 token 集很小，却吃掉 97% 到 99% 的概率质量。这个观察挺有用，因为它把很多训练现象从“玄学 recipe”拉回分布几何：学生未必要复现老师整条思维链，只要在高质量轨迹上，对那一小撮高质量 token 的排序和质量逼近，就能拿到大部分收益。要是这个结果能在更多模型族上复现，它对蒸馏数据筛选、logit matching 粒度、甚至 rollout budget 分配都会有指导意义。 我更在意的是他们做的 weak-to-strong reverse distillation。论文说，同家族 1.5B 和 7B 老师，从学生视角看在分布上不可区分。这个点很刺耳，但很像真问题。很多团队默认“大模型采样出来的数据”天然比小模型自采样更有蒸馏价值，实际未必。若学生已经覆盖了这套推理习惯，老师给出的只是更稳定的同分布答案，那 OPD 训练得到的就是更密的自举信号，不是能力迁移。过去很多“小模型吃大模型轨迹后涨点”的案例，我一直怀疑里头混着大量 format imitation、search bias 收敛、reward hacking 式的局部增益，而不是跨能力台阶。这篇论文至少给了一个能解释这些现象的框架。 论文还提出 2 个补救手段：off-policy cold start 和 teacher-aligned prompt selection。前者不新，很多 RLHF/RLAIF 配方早就在做 warmup 或 SFT cold start；后者更像把题目分布朝老师擅长区域重排。工程上这两招当然有用，我自己也不意外。可我有个保留：如果恢复 OPD 的主要办法，是先用 off-policy 数据把学生拖到老师轨迹附近，再精挑 prompt 让老师优势能显现，那你得到的结论其实已经不是“OPD 单独很强”，而是“OPD 对初始化和样本分布极度敏感”。这两件事差很多。摘要没有披露各补救策略带来的具体提升幅度、代价曲线、额外样本量，我还不能判断这套 recipe 到底是通用方法，还是对某组设置的有效修补。 还有一句我觉得作者说得对，但业界不太愿意正视：OPD 看起来像免费午餐，因为 token-level reward 很密；代价是长时程蒸馏未必能扩展。这个问题卡得很深。短链路任务里，老师每一步都能给局部监督，学生容易收敛；长链路任务里，前缀一旦偏航，后面那些密集 token 奖励常常只是在放大错误轨迹上的局部相似性。过去像 DeepSeek-R1 蒸馏、Qwen 系列推理蒸馏、以及一堆 code reasoning 小模型工作，都在证明蒸馏很有用；但凡任务 horizon 拉长，或者需要工具调用、搜索、回溯、环境反馈，纯 OPD 的收益就没宣传里那么干净。这个方向我一直觉得最后会逼回混合范式：少量高价值 off-policy 轨迹打底，on-policy rollout 只负责局部修正，再加环境或 verifier 信号兜底。只靠老师 token 分布灌学生，天花板不低，但没高到能替代探索。 说实话，我最想看而摘要没给出的，是实验边界。正文提到“same-family”这一条件很关键，那跨家族呢？比如 Qwen 蒸 Llama、Llama 蒸 Mistral、指令风格强的 teacher 蒸 base-ish student，会掉到什么程度？还有“新能力”怎么操作化，靠 benchmark 子集、OOD prompt，还是 trajectory novelty 度量？如果这些定义不硬，论文容易从机制研究滑回经验归纳。标题已经给出 phenomenology、mechanism、recipe 三层野心，正文摘要披露了机制线索，但 recipe 到底有多稳，目前还得看完整实验表。 我对这篇的总体判断是：它不是在发明新训练术，而是在给 OPD 去神秘化。对做后训练的人，这比再来一个涨点曲线更值钱。因为它提醒你，老师强、分数高、采样多，这三件事都不自动等于可蒸馏性。先问学生是否看得懂老师的轨迹，再问老师是否真带来分布外能力。少了任何一个条件，OPD 很容易退化成昂贵的同分布复读。

这篇论文给出的关键信号很硬：禁掉 1 个常见词或标点，就让 4 个模型系的指令微调模型完整性掉 14% 到 48%，1,920 组成对比较里基线胜率达到 77% 到 100%。我对这件事的判断很直接：很多人把 instruction tuning 理解成“把能力整理成更稳定的助手行为”，这篇文章反过来说明，它经常是在能力外面包了一层很窄的表达脚手架。脚手架一断，能力没消失，但回答先塌了。这个结论比“模型不够鲁棒”更麻烦，因为问题不在推理深度，而在回答规划从一开始就被表层词法牵着走。 论文里最有价值的不是掉分幅度，而是机制证据。作者说线性探针在生成前就能预测回复长度，R² 达到 0.51 到 0.93；两阶段生成先自由写、再受约束改写，能恢复 59% 到 96% 的长度。这个组合基本把锅指向 planning，而不是 decoding 小毛病。模型看到“不能用这个词”后，不是局部改写失败，而是整段回答计划先缩了。说真的，这跟过去一年很多 agent 失败案例是同一类病：不是工具不会调，不是知识没有，而是系统在开工前先误判了“我还能安全输出多少”。 我一直觉得，社区对 instruction tuning 的默认叙事有点偷懒。大家常说 SFT/RLHF 把模型“对齐”为更有帮助、更听话的助手，但这篇结果更像另一面：它把回答风格、结构完整性、礼貌包裹和任务求解绑成了同一束表示。作者说 base model 在同样约束下没有系统性崩溃，线性探针甚至给出负 R²，这点很关键。它说明脆弱性不是语言模型天然就有，而是对齐后新增的。这个观察和过去一些 refusal/verbosity 研究能对上：模型一旦被训练成固定的“好助手姿态”，格式、语气、免责声明、分点结构就容易彼此耦合。你动一个小零件，掉下来的不只是一种措辞，而是整套回答框架。 这里有个文章外的对照很重要。去年不少团队测试过 JSON mode、XML tags、首字母约束、固定输出 schema，结论通常是大模型能扛住格式限制，性能只小幅波动。OpenAI、Anthropic 也一直在把 structured output 当成产品化常规能力卖。我对那个叙事本来就保留意见，因为“能按 schema 出 token”和“能在语义受限时保住回答计划”不是一回事。这篇专门打到词法层，结果连 GPT-4o-mini 都有 31% 完整性损失，99% 基线胜率，说明以前很多“约束生成很稳”的测试其实只碰了容易的那半边：格式约束没碰到模型内部的帮助性模板，所以看起来稳。一旦约束击中高频连接词、标点或常见过渡结构，instruction-tuned 模型可能先缩答案，再谈正确率。 我对论文最买账的一点，是它顺手捅了评测方法。独立打分只看到平均 3.5% 质量下降，成对比较却看到 23%。这个差距不小，说明 LLM-as-judge 在“回答变短但还像样”这类退化上很迟钝。行业里现在大量 constrained decoding、policy filtering、style guardrail、enterprise redaction 都靠自动评测回归。如果评审模型默认接受“短一点但格式整洁”的输出，那很多产品团队会把明显的功能塌缩当成轻微质量波动。这个坑我觉得比论文主结论还贴近生产。 我也有两点保留。第一，正文没有展开被禁用的具体 token 分布，也没说哪些词触发最严重。禁掉逗号、句号、the、and，这几类约束对英文回答规划的冲击完全不是一个量级。没有这层拆分，你很难把 14% 到 48% 映射到具体产品风险。第二，评委用了 GPT-4o-mini 和 GPT-4o。这个做法合理，但我还是想看人工评审或至少更多异构 judge，因为“完整性”本身就容易被长答案偏好放大。作者拿两阶段生成恢复长度来支撑 planning failure，我基本同意，不过长度恢复不等于信息恢复，正文摘要也没给事实性或正确率的细拆。 即便带着这些保留，我还是觉得这篇很重要，因为它把一个常被误会的问题说清了：对齐常常没有把能力变稳，而是把能力包进了更脆的默认话术。做产品的人最好别把“模型通过了常规 helpfuIness eval”当成鲁棒性证明。只要你的系统里有禁词、品牌词规避、PII 遮盖、敏感术语替换、模板改写，这篇论文就在直接敲你。更麻烦的是，作者给出的修复方向也很现实：先自由规划，再受约束重写。这个思路不新，很多高质量写作 agent、代码修复器、甚至一些 safety wrapper 已经在偷偷这么做；这篇的贡献是把它从工程经验推到机制层证据。 我的结论是，instruction tuning 现在更像是在压缩“好回答的外观”，不是在巩固“好回答的内核”。如果这个判断成立，下一代对齐工作就不能只盯偏好优化分数，而得单独测 planning 在局部词法干预下会不会提前塌。否则模型表面越来越像助手，骨架却越来越脆。

GlotOCR Bench 把 100 多种 Unicode 文字系统摆上同一张卷子，结果是多数 OCR 模型只在不到 10 种脚本上表现稳定，最强前沿模型也跨不过 30 种。我的判断很直接：这不是 OCR 还差一点的问题，这是行业过去两年把“多模态会看字”偷换成了“多文字系统可用”的问题。 这条最扎心的点，在于作者把失败机制说得很清楚：成绩基本跟着 script-level pretraining coverage 走，陌生文字会触发噪声输出，或者直接 hallucinate 成相近脚本。也就是说，很多模型读字不是先做稳健视觉分解，再映射到字符系统；它更像先用语言先验猜“这看起来像我见过的哪套字”。这个结论我基本买账。过去一年大量 VLM 在英文文档、拉丁字母票据、部分中日韩页面上看起来很强，很多团队就顺手把它包装成通用 OCR。说真的，这个外推一直站不住，因为 benchmark 本来就偏。你去看常被引用的 OCRBench、各类 document VQA 榜单，覆盖广度和脚本均衡性一直不够，我印象里它们更擅长测页面理解、表格、公式，没把“100 多种书写系统”当成主问题。GlotOCR 这次至少把这个洞补上了。 我还挺认同“预训练覆盖决定上限”这个判断，因为它跟我们在 ASR、MT、tokenizer 设计上见过的老问题是同一类。模型没见过足够多的字符分布、排版习惯、双向书写规则，视觉塔再强也会掉到近邻类比里。比如相近字形脚本互相串台，这在 Unicode 世界根本不新鲜。以前做 multilingual NLP 的人就知道，script confusion 不是边角 bug，它会直接影响识别、归一化、检索和安全过滤。现在 VLM 只是把这件事重新演了一遍。 但我对这个 benchmark 也有一处保留。正文明确说数据来自真实多语文本，再用 Google Fonts、HarfBuzz、FreeType 渲染 clean 和 degraded 图像，且做了人工 review。这套流水线对可复现很好，我支持公开代码和数据集。问题是，它仍然主要在测“排版文本渲染后的 OCR 泛化”，不是现实世界里最脏的那层：手机斜拍、压缩伪影、低端扫描、历史文档、手写混排、字体缺字 fallback、复杂背景遮挡。换句话讲，这个 benchmark 很适合证明“脚本覆盖没做好”，但还不足以证明谁在真实文档场景里最强。标题给出了 100+ scripts、<10、<30 这些关键结论，正文没披露具体模型名单、每类退化强度、按脚本族的分数分布，我没法进一步判断哪些架构掉得最厉害。 外部对比也很有意思。过去一年产品侧一直在把 OCR 融进大模型入口：OpenAI、Google、Anthropic 都在文档理解上强调 end-to-end，多数 demo 看起来像“截图即读”。企业侧更务实，PaddleOCR、Tesseract 加语言包、版面分析器、后处理词典，反而经常在窄域里更稳。GlotOCR 这篇论文等于提醒大家：大模型把 OCR 吃掉了一部分工作流，不等于它已经吃掉 script engineering。只要脚本覆盖和 tokenizer 设计没补上，所谓统一模型就还是在高资源脚本上赢，在长尾脚本上漏。 我自己最在意的，不是榜单谁第一，而是这套结果会不会逼厂商公开 script coverage。今天很多 OCR 或 VLM API 写“100+ languages supported”，这个口径常常混着语言、脚本、翻译能力、甚至 UI locale，工程上没法用。GlotOCR 给了一个更硬的问法：你到底在哪些脚本上达到可部署阈值？阈值是字符准确率、词错误率，还是字段抽取成功率？这些如果不按脚本摊开，所谓 multilingual support 基本就是营销文案。 所以我对这篇的评价挺高。它没发明新模型，却把一个被集体跳过的评测维度补上了。我的保留也一样明确：渲染基准还不是现实世界全貌。可就算只看它已经披露的结论，很多“通用 OCR 已经成熟”的说法也该收一收了。

这篇论文直接戳穿了一件行业里默认装作没看见的事：很多“多语言基准”在测的是跨语言包装过的推理题，不是多语言生成本身。作者给出的证据很硬：thinking 变体在这类基准上分更高，到了 LMArena 这类真实交互场景反而更差，往返翻译指标和用户评分却有 0.94 的相关。这个判断我基本认同，因为过去一年很多榜单都在把 MMLU、GSM8K、知识问答翻译成几十种语言，再把总分叫成 multilingual capability。那套做法天然奖励“会做题”的模型，不一定奖励“会把话说对、说稳、说地道”的模型。 我觉得这条最有价值的地方，不是 round-trip translation 这个点子本身，而是它把评测目标重新钉回“语义保真”。这其实更接近用户体感。你让模型写客服回复、合同摘要、医疗说明、代码注释，用户先感受到的是意思有没有跑偏、语气有没有失真、实体有没有掉。数学推理强，不自动推出这些能力也强。FLORES 这类传统机器翻译集很早就在测保真，但前沿模型评测后来被 reasoning 榜单带偏了，大家开始默认“题做得出来，就说明多语言也强”。这篇论文是在把钟摆往回拉。 但我对 0.94 这个数字有保留。RSS 摘要没披露样本量、参与模型数、语言覆盖、语义缺口的具体打分机制，也没说明相关是在总榜层面还是分语言层面算的。相关系数在小样本里很容易漂亮，尤其当被测模型家族相近时更明显。我还想看两件事：一是它对低资源语言、方言连续体、混码输入稳不稳；二是 round-trip 会不会系统性奖励“保守改写”。模型如果把一句尖锐、细腻、带文化负载的话翻成安全而平的句子，再翻回来，语义差距未必大，但真实质量已经掉了。 LiT 这个基准我有兴趣，但目前只有标题和摘要信息，正文没给我最关键的细节：覆盖哪些语言对、是否包含形态复杂语言、是否有人类主观校验、和 FLORES-200 或 xCOMET 一类指标怎么对齐。说真的，如果这些没处理好，LiT 也会变成另一套看起来更合理的新榜单。可即便如此，这篇文章还是抓到了一个正确方向：前沿模型的多语言评测，该少问“会不会解题”，多问“翻一圈回来，意思还在不在”。

LMM-Searcher 用 UID+外部文件系统把图像移出上下文，并把多模态搜索拉到 100 轮。我的判断很直接：这篇东西的价值不在“搜索 agent 又涨分了”，而在它承认了一件很多人早就知道、但论文里老被淡化的事——长链路多模态 agent 的瓶颈先是内存与带宽，后面才是推理。 现在很多多模态 agent 论文还是把图片整批塞进上下文，最多加一点压缩或摘要。短任务还能跑，回合数一上去就开始失真：模型不是忘图，就是被 token 成本拖死。LMM-Searcher 这次的做法很朴素，把图像当外部对象存起来，只在需要时用 fetch-image 拉回。这听着不炫，但我反而更买账。因为它接近真实系统设计，不接近 benchmark 演示。做过 agent 的人都知道，生产环境里长期记忆、工具调用、对象引用，本来就比“把一切塞进 prompt”更靠谱。文本 agent 这条路上，外部 memory、RAG、工具状态机早就这么干了；多模态现在才补上这课，不算晚，但确实该补。 我还挺在意它选的表示层：不是把图像压成固定 embedding 常驻上下文，而是保留 UID 回指。这里有个隐含判断：作者认为后续检索到原图、局部重看、按需感知，比一次性做视觉摘要更重要。我基本同意。很多跨模态多跳任务，失败点不是“没看过图”，是第一轮看图时提炼错了，后面再也回不去。UID 机制至少给了系统反悔权。这一点跟纯文本 deep research agent 很像：网页先存引用，后面再回抓原文，而不是首轮就让模型写死摘要。 但我对这篇的 SOTA 叙事要打个折。正文只给了“4 个基准开源 SOTA”和“100-turn horizon”，没给具体分数、对照模型、token 成本、平均每题 fetch 次数，也没说 100 轮是上限配置还是常态分布。没有这些数，SOTA 两个字信息量有限。多轮 agent benchmark 很容易吃到评测口径红利：工具预算放宽一点、停止条件改一下、每轮可见信息多一点，结果就能抬一截。尤其多模态场景里，额外 fetch-image 到底算不算同等计算预算，很多论文写得并不严。 外部对比也能看出这条路线的现实性。过去一年里，大家已经在文本侧反复验证“引用比复制更能扩展长任务”，从 browser agents 到 deep research workflows 都是这样。多模态侧的问题更重，因为一张图的 token 开销远高于一段 URL 或摘要。我没看到文中给出具体节省比例，这点很可惜；但如果它真能把图像常驻上下文改成按需加载，成本下降一般不会是小数点级别。相反，如果 fetch 频率高到每几轮就重看一次图，那节省会被工具往返吞掉，这就是我还没法下结论的地方。 12K 蒸馏轨迹这块，我态度也偏保留。1.2 万条对专用 agent 微调不算少，但离“覆盖真实世界多模态搜索分布”还差得远。尤其文章说它合成的是复杂跨模态多跳查询。合成数据能把任务结构教出来，教不会开放世界噪声：网页布局变化、图像质量差、OCR 错漏、证据冲突，这些往往才是 agent 在真实环境里摔跤的地方。拿 Qwen3-VL-Thinking-30A3B 微调出一个 benchmark 强模型，我信；拿它证明“长程多模态搜索已经被解决”，我不买。 说真的，我反而觉得这篇更像一个系统工程信号。开源圈在多模态 agent 上，开始从“堆更强底模”转向“管理上下文对象”。这跟去年很多代码 agent 的演化类似：性能提升不再主要来自 base model 升级，而是来自文件系统、缓存、检索、执行痕迹这些外部结构。LMM-Searcher 如果后续代码公开，最该看的不是榜单名次，而是三个可复现指标：单任务总 token、平均图像回取次数、回合数上升时的成功率衰减曲线。标题给了 100 轮，正文没披露这三项。我自己会先等这组数，再判断它到底是一个扎实的系统改进，还是一次对 benchmark 很友好的封装。

RePAIR 把遗忘指令搬到推理时执行，并报告 Acc_f=0.00、F-RL=0.00、最高约 3 倍加速。我的判断是，这篇论文有技术新意，尤其是把单样本、免训练、低秩伪逆更新塞进交互式流程里；但“用户自己删知识”这个包装讲得有点满，按摘要信息看，它更接近 prompt-aware model editing 加 refusal steering，不等于把参数里的知识从根上清掉。 先说我觉得它为什么有意思。过去一年机器遗忘大多还是 provider-centric：要么走 SISA、gradient ascent、negative preference optimization 这一类重训练路线，要么像 MEMIT、ROME 那样做局部知识编辑，但通常是研究员或服务商操作，不是终端用户一句自然语言就触发。RePAIR 的设计把 watchdog、surgeon、patient 拆开，再用 STAMP 对 MLP 激活做闭式伪逆更新，这个工程思路很聪明。复杂度从 O(d^3) 压到 O(r^3 + r^2*d)，如果这个低秩近似在 7B 到 13B 模型上还能稳，端侧执行就不只是口号。对很多做本地模型、企业私有部署、合规沙箱的人，这比再训一轮现实得多。 但我对它的“遗忘”定义有两个疑虑。第一，摘要里的核心动作是把激活导向 refusal subspace。这个表述很关键，因为它听起来像让模型在命中某类知识时更稳定地拒答，而不是证明相关表征已经不可恢复。很多 model editing 工作都踩过这个坑：主评测上改对了，换个问法、换个语言、加多跳推理，知识还是会泄出来。论文给了 Acc_f 和 F-RL，但摘要没披露攻击设置、重述模板数量、跨语言迁移、对抗提示强度，也没说有没有测 extraction attack。没有这些，Acc_f=0.00 我不会直接当“删除成功”。 第二，用户侧触发这件事，产品叙事很顺，安全边界却更麻烦。谁来判定用户有权删除什么？如果我让本地助手“忘掉公司报销规则”或“忘掉药物禁忌”，系统是在尊重用户，还是在破坏安全约束？watchdog 负责 intent detection，surgeon 负责生成 repair procedure，这两层本身就会引入新的攻击面。我自己更想看的是误触发率、连续多轮编辑后的漂移、以及多用户环境里的隔离策略。摘要都没给。 我还会把它和去年到今年几条线放一起看。ROME、MEMIT 证明了局部知识编辑能很快，但保真度和泛化一直难兼得；Anthropic、OpenAI 那套更偏向 inference-time policy shaping，强在稳定拒答，弱在“你到底删没删知识”很难证明。RePAIR 刚好卡在两者中间：它不是重训练式 unlearning，也不是纯输出层拒答模板，而是动中间层激活路径。这个位置选得挺准，因为 MLP 常被当作 factual memory 的主要载体之一；只是“主要载体”不等于“唯一载体”，注意力层和分布式表征照样会漏。我记得这件事在 Transformer knowledge localization 那批论文里已经反复出现过，具体哪篇先做得最系统我没现场核。 所以这篇的价值，我会放在“把交互式模型修复做成一个可运行机制”，不是“把机器遗忘问题基本解决”。如果后续正文能证明三件事，我会更买账：一是同一知识点在 paraphrase、跨语种、检索增强条件下都压得住；二是 retain set 的 84.47 不是靠整体保守化换来的；三是多次连续编辑不会把 patient 模型修成一块补丁布。标题给了方向，RSS 摘要也给了几个漂亮数字，但最难的鲁棒性细节目前还没披露。

Triton-GRPO-32B 在 Mind2Web 做到 58.7% Step Success Rate，比文中列出的 GPT-4.5 高 16.3 个点。我的判断很直接：这篇的价值不在“开源 32B 反杀闭源”，而在它把网页导航里最难教的那一块拆开了——先学模仿，再学排错，最后再学长程一致性。 网页 agent 这条线，过去一年一直卡在同一个地方。模型经常不是“不会点”，而是“看起来都会点”。页面上十几个按钮都像对的，文本也像对的，标准 SFT 很容易把这种近邻误差学进去。文中给的 Structural-Semantic Hard Negative Mining，核心就是专门喂这些拓扑相似、语义也相近的错元素。这个思路我买账，因为它对应的就是实际失败模式，不是泛泛地再堆一批轨迹。ORPO 放在中间阶段也合理：先把“别点错”学扎实，再上 GRPO 追长链回报，训练信号会干净很多。 我对另一个点更感兴趣：作者把数据集做到了 59 万条，还用了 Dual-Agent Consensus 做任务合成和验证。这很像近一年 agent 训练的主流转向：瓶颈越来越少是 base model 常识，越来越多是环境构造、负样本质量、奖励定义。你看 BrowserGym、WebArena、Mind2Web 这几条基准，大家最后拉开差距的地方，常常不是参数量本身，而是谁把“可执行轨迹”和“高混淆反例”整理得更像真实网页。我没看到正文披露网站覆盖分布、去重方式、模板站占比，这些都直接影响结论硬度。 我也得泼点冷水。58.7% 这个数字很强，但 Mind2Web 是文本网页导航基准，不等于现实浏览器代理已经跨过产品门槛。正文没披露评测是否统一了工具调用预算、页面截断策略、候选元素抽取方式，也没说 GPT-4.5 和 Claude-4.5 是不是做了同等提示工程。这个口径差一点，十几个点的优势会被放大。过去很多网页 agent 论文都出现过同一问题：在固定 DOM 表示上进步很快，一到真实登录态、异步加载、反爬、弹窗和视觉定位，成绩就掉得很快。OSWorld 和真实 computer-use 任务上的分数，我印象里到现在也远没到“可托管生产流程”的程度，但这篇摘要没有给交叉验证。 还有个潜在问题我没法从摘要里确认：Triton 数据是不是和 Mind2Web 的站点分布过近。网页任务最怕“泛化”被模板相似性偷走。要是训练里已经大量覆盖电商、表单、搜索、论坛这几类高频结构，模型学到的就不只是 discrimination，也包括站型先验。那依然有价值，但它更像 benchmark engineering，不是通用网页智能的跃迁。作者如果后面补出跨站点切分、跨时间切分、未见框架前端的 ablation，这篇会更站得住。 说真的，我对“specialized data curriculum outweighs raw parameter scale”这句结论只买一半。放在 Mind2Web 这种任务上，我基本同意；放到更广的 agent 场景，我不买账。因为参数规模带来的世界知识、工具调用稳态、错误恢复能力，还是会在开放环境里回头找补。更准确的说法应该是：在网页导航这种高混淆、低容错任务里，数据组织方式现在比继续堆通用预训练更缺。这个判断，对做 agent finetuning 的团队很有用。 所以这篇我会当成一个很务实的信号：网页 agent 的下一轮提升，未必先来自更大的 base model，先来自更凶的负样本、更干净的课程顺序、还有更严格的评测口径。要是后续代码、数据和评测脚本都放出来，这条的参考价值会比榜单名次更高。

PromptEcho 用冻结 VLM 的 token 级交叉熵，直接把 Z-Image 和 QwenImage-2512 的 DenseAlignBench 净胜率拉高了 26.8 和 16.2 个百分点。我的判断很直接：这篇值钱的地方，不是又多了一个 reward trick，而是它把文生图强化学习里最贵、最慢、最难复用的那层东西删掉了。以前这条路卡在两处，CLIP 这类分数太粗，偏好奖励模型又要人工对比数据、还要再训一遍。PromptEcho 试图绕开这两笔账，直接榨干预训练 VLM 已有的图文对齐知识。对开源社区，这比单次 benchmark 提升更重要。 我一直觉得，文生图 RL 这块过去一年有点被语言模型叙事带偏了。做 LLM 时，大家已经默认 RL 需要一套单独奖励器，最好再配偏好数据。可图像生成不是聊天。很多失败样本并不是“审美差一点”，而是 prompt 里 6 个条件漏掉 2 个，左右关系错了，属性绑定错了。这类错误更像 dense grounding 失败，不太像纯主观偏好。拿 token 级交叉熵去量“图里有没有把原 prompt 说回来”，逻辑上比 CLIP score 靠谱；CLIP 长期吃亏就在细粒度组合关系上。我没跑过这篇代码，但方法方向我买账。 文章里还给了一个很关键的 claim：同一 VLM 下，它全面优于 inference-based scoring。这个点比 headline 里的 26.8pp 更有信息量。过去不少 VLM-as-a-judge 做法，本质是在让模型生成一段解释或打分，再从文本里抠结论。那套流程一旦进了解码，方差就上来了，prompt template 也会偷结果。PromptEcho 直接读 token loss，奖励变成确定性的，这对 RL 很重要。奖励一抖，策略就容易学歪。说真的，很多“judge 很强”的论文，最后输在 reward noise，不是输在模型本身。 我这边也有保留意见。第一，DenseAlignBench 是论文自己提的。正文只给了净胜率提升，没披露 benchmark 规模、标注协议、与 GenEval 或 DPG-Bench 的重叠程度。自建 benchmark 当然可以，但它天然会放大方法偏好，这里我不会把 26.8pp 直接当成通用结论。第二，reward quality scales with VLM size 这个说法方向上合理，部署上却未必便宜。更大的开源 VLM 会抬高训练时的打分成本，文生图 RL 本来就贵；省掉人标和奖励模型训练，不等于总成本一定更低。第三，VLM 自身的识别偏差会被原样继承。要是 VLM 对计数、空间关系、细小属性仍然不稳，reward 也会把这些盲点固化进去。 外部参照也很清楚。去年图像侧不少对齐改进还是靠偏好数据蒸馏，或者靠更重的 captioner / judge 级联，效果有，但复现门槛高。语言侧从 RLAIF 到 constitutional 这条线已经证明一件事：只要基础模型里已经有足够强的判别知识，就没必要每次都再造一个奖励模型。PromptEcho 像是把这套思路搬到文生图，而且抓住了图像任务更需要“逐 token 对齐”这一点。这个迁移我觉得挺聪明。 我不太买账的一点，是“奖励会随开源 VLM 变强而自动变强”这句宣传口径。自动变强只在一个条件下成立：更大的 VLM 真在图文细节对齐上更强，而不是只在开放问答或 caption fluency 上更强。很多 VLM 的升级，先涨的是聊天感，不是 grounding。标题给了这个方向，正文没披露他们用了哪些 VLM、尺寸差多少、增长曲线多平滑。没有这组细节，我不会把它看成已经证实的 scaling law。 但即便打点折扣，这篇还是有劲。它把“奖励模型是独立资产”的老思路往后推了一步。以后开源文生图的竞争，未必先看谁能收更多人类偏好对，而要看谁能把现成 VLM 的识别能力榨成更稳定的 reward。要是开源社区后面拿更强的 Qwen-VL、InternVL 一类模型复现出同样趋势，这条线会很快变成标配。

这篇论文给了一个挺关键的校正：很多人把模型能写长文、补代码、续故事，直接等同于“它先想好了再写”。作者在 Qwen-3 0.6B 到 14B 上做的事，是把这个大而化之的说法拆小，先证明一件更窄、也更可信的事——模型内部确实会提前表征一个未来词，并让前文配合它出现。拿“accountant”这个例子说，模型如果先在内部锁定这个词，前面就会生成“an”而不是“a”。这不是完整的计划器，更像局部语义目标在反向约束局部表面形式。这个区分很重要，因为业内这两年太容易把“会生成”和“会规划”混着讲。 我觉得这篇最有价值的地方，不是“规模越大越会规划”这句结论，而是它把机制层的证据往前推了一步。过去关于规划的讨论，很多停在行为层：比如给模型 Tower of Hanoi、行程安排、代码修复，看它能不能做对。做对了，到底是边生成边修补，还是先有隐式目标再展开，往往说不清。这里作者至少试图把因果链钉住：内部特征先出现，未来词受它驱动，前文也被它塑形。只看摘要，我还没看到完整实验细节，正文外的信息缺口很明显：特征是用 probe、activation patching、还是 causal mediation 拿到的，摘要没披露；统计显著性、任务模板数量、提示词控制条件，摘要也没给。没有这些，强因果这层话我不会先全收下。 外部上下文里，这条跟过去一年两类工作能接上。第一类是 Anthropic、Apollo 以及一些 mech interp 团队做的 feature tracing 和 circuit work，核心都在证明模型里有可定位、可干预的中间表征，而不是一团不可读的分布式噪声。第二类是“reasoning model”叙事，把长链 CoT 当成规划的外显证据。我的看法一直是，CoT 更像可见的搜索痕迹，不等于内部先验计划。很多模型在不写思维链时照样能做局部一致性决策，这篇就站在这一侧：你不必先把 plan 说出来，内部也能有 plan-like state。这个方向跟去年一些工作很像——我记得有论文区分过 lookahead 与 online decoding，但题目我没核实，不想硬贴。 我对这篇也有两个保留。第一，任务太“词级”了。冠词选择、押韵对句，这类任务很适合抓局部前瞻，因为目标词和前文的约束关系非常紧。问题在于，现实里的规划常常不是“提前想到一个词”，而是提前锁定一个结构、一个工具调用序列、一个验证步骤。词级潜在规划能不能外推到 agent 的多步规划，我不太买账。过去一年我们已经见过太多这种跳跃：模型在小型受控任务里出现某种机制，市场马上把它讲成“通用 agent 已经在路上”。这条离那个结论差得远。 第二，摘要自己已经暴露了上限：到押韵对句这种稍长程一点的任务，连更大的模型也“很少”提前规划。这个“很少”其实比“存在规划”更有信息量。它说明尺度带来的，不是从无到有的统一能力开关，而是计划视野在很短距离内先增长，然后很快碰壁。这个现象跟我们在代码和工具使用里看到的东西是一致的：模型能提前铺一两步，经常也能为一个即将到来的 API 参数预热上下文；但一旦跨度拉到十几步、还要求中间状态稳定保存，错误率就陡增。所以我更愿意把它理解成 credit assignment 半径在变长，不是抽象计划模块突然成形。 还有一点我挺在意：作者说 4B 到 8B 已经有 nascent planning mechanisms。这个阈值如果稳，含义不小。它跟这两年的经验判断对得上——很多“像样的”局部推理、约束满足、轻度工具编排，往往不是从超大模型才开始，而是在中小模型某个规模段突然变得可测、可诱导。Qwen 系列在这个区间出现信号，不算反常。对开源圈更实际的启发是，做 planning 研究不一定非得盯着 70B+；4B 到 14B 这种段位，反而更适合把机制挖清楚，因为成本低、可重复性高、干预实验也更容易跑。 说真的，这篇如果最后站得住，它会压低一部分市场宣传的音量。它支持“模型内部会提前准备未来内容”，不支持“模型已经像经典规划器那样稳定地做长程搜索”。两者差一大截。摘要只给了 RSS 片段，正文没有披露 benchmark 规模、干预强度、失败案例拆分，我还不会把它抬成规划研究的分水岭。但它至少把一个老问题讲实了：LLM 不是纯粹的逐 token 贪心反应机，它在一些受控条件下会提前埋目标，只是这个目标目前看还很短、很脆，也很难跨任务迁移。

论文系统比较了 5 种置信度估计方法、5 个前沿模型、2 个表格问答基准，给出的核心数字是 smooth ECE 0.35-0.64。这个量级如果成立，问题不小，因为正文同时给了文本问答常见区间 0.10-0.15。我的判断很直接：表格问答一直被很多团队当成“比开放问答更稳”的场景来接业务，但这篇工作在拆一个误会——结构化输入不会自动带来可用的置信度。 这次是多源事件，但“多源”的含金量要打折。arXiv 和 Hugging Face 这类论文聚合页，信息高度一致，基本都贴着同一份摘要走。这里的一致，不是多家媒体独立核实后收敛，而是同一官方文本的再分发。我自己会把它当成论文发布信号，不会当成产业面已经形成共识。标题和摘要给了 AUROC、ECE、p<0.001、3-seed 标准差 0.006，这些统计描述算完整；但每个模型的具体名字、各基准样本规模、API 成本计算口径，摘要没展开，很多判断还得回 PDF 看。 有意思的地方在方法分化。作者说 self-evaluation 路线，也就是 verbalized confidence 和 P(True)，AUROC 只有 0.42-0.76；扰动路线，也就是 semantic entropy、self-consistency，再加他们提的 Multi-Format Agreement，能到 0.78-0.86。这个结论我基本买账。表格问答有个老问题：模型很容易把“格式理解正确”误认成“答案正确”。你让模型自己报把握，它往往是在复述语气，不是在估计误差。反过来，改写同一张表的无损序列化格式，Markdown、HTML、JSON、CSV 来回切，如果答案漂移了，那确实更像在测决策边界，而不是测口头自信。 MFA 这点我觉得是本文最像样的贡献。摘要说它比 sampling baselines 低 20% API 成本，ECE 降 44%-63%，在 TableBench 上四个模型平均 AUROC 0.80，和 self-consistency 集成后从 0.74 拉到 0.82。这个思路比“再问几次”更贴表格场景，因为它利用的是结构化数据特有的不变性。说真的，这比很多通用校准论文更有工程味：你不需要拿到底层 logprobs，也不要求模型厂商开放额外接口。 但我有两个保留。第一，摘要把它称为首个系统比较，这种写法在 arXiv 很常见，我还没核实是否真没有更早的表格校准工作。第二，MFA 依赖“无损且确定性”的格式变换，前提并不总成立。真实业务表格常有合并单元格、缺失值、脚注、单位列、层级表头，转成 JSON 或 CSV 时语义并不天然等价。论文如果主要在干净 benchmark 上成立，那离企业报表、财务表、医疗表还差一截。 我还挺在意一个外部对比。过去一年，很多通用置信度研究都发现 verbalized confidence 不稳定，但在开放文本 QA 里，它至少常能当一个便宜 baseline。这里它在表格上掉到 AUROC 0.42 这种接近反向信号的区间，说明 structured reasoning 的错法和文本错法不是一回事。你不能把文本 QA 那套 calibration recipe 原样搬来。做 agent、BI copilot、数据分析助手的团队，如果现在还只看“答案对了多少”，没做 selective prediction、拒答阈值、格式扰动一致性测试，这篇论文是在点你名。 我的总体看法：这不是那种会立刻改写产品路线的论文，但它把一个长期被忽略的评估坑钉住了。表格问答不是“更容易校准”的子任务，恰好相反，结构化输入给了模型更多制造稳定错觉的空间。

论文提出 Preference-Paired Fine-Tuning，并报告 96.6% 多选准确率、8.69 开放生成得分、44.76% 个体偏好对齐提升。我的判断是，这个方向比很多“人格化助手”论文更接近真实使用场景，因为用户偏好本来就不是静态标签；麻烦也在这，摘要里给出的提升很大，当前两家来源却基本没有超出同一份 arXiv 信息。 这次算是“2 家覆盖”，但别把它看成 2 次独立验证。arXiv 页面给的是原始摘要，Hugging Face Papers 那条通常也是基于论文内容做二次转述。两边标题几乎一致，核心数字也一致，说明现在的公共信息源头就是作者自己的论文摘要，不是媒体各自挖到了补充材料。这个一致性只能证明作者叙事稳定，证明不了结果已经被外部复核。 我觉得作者抓到的问题是对的。过去一年，很多对齐工作默认“偏好=稳定偏序”，做法不是 SFT 就是 DPO，再往前一步是 persona conditioning、user embedding、memory injection。它们都默认用户口味能被压成一条相对平滑的向量。现实里常见的情况反而是：同一人对效率和安全、礼貌和直接、隐私和个性化，会在不同任务里切换权重。论文把这个叫 dynamic individual preferences，而且专门构造 Value Conflict Dilemma 数据集，至少问题设定没有躲在“平均人类偏好”后面。 但我对结果数字有保留。摘要说 PFT 超过 single-preference、DPO、SFT 和一些传统方法，最高到 96.6%。问题是，正文摘要没披露基座模型大小、训练样本量、评测 prompt 设计、开放生成 8.69 的打分协议、评审人数、方差区间，也没披露 VCD 的冲突类型分布。没有这些信息，96.6% 更像“在作者定义的选择题里学会了冲突模板”，还不能直接等价成“模型已经更会处理动态价值”。尤其是多选分类任务，本来就容易把复杂对齐压缩成识别题。 “有限用户历史就能快速推断 preference vector”这句也挺关键。摘要只给了 44.76% 提升，没给样本条件。到底是看 3 条历史、10 条历史，还是几十条？是冷启动后在线更新，还是离线先做用户画像？这差别非常大。做产品的人都知道，个体偏好学习的难点从来不只是建模，还包括数据稀疏、反馈延迟、偏好反转和隐私约束。要是推断向量需要成串高质量交互，这套方法就更像实验室 personalization，不太像能直接进消费级 agent。 我还想追问一个更硬的问题：配对微调解决的是“冲突偏好”的表示，还是“冲突偏好”的检索与路由？如果用户今天要严谨、明天要鼓励式表达，模型可能不是不会回答，而是没有拿到当前上下文里的正确偏好开关。很多时候问题出在 inference-time conditioning，不一定非得再做一轮 fine-tuning。摘要没有把这层切开讲，所以我自己暂时不会把它看成对 DPO 的直接替代，更像是在用户级对齐里补一块训练目标。 外部对比上，这条和近一年那类“长期记忆 agent”工作有共鸣，但关注点不同。长期记忆系统强调存什么、何时取；这篇论文强调同一记忆里本来就有互相冲突的价值信号。这个切口是有意义的。很多团队现在把 memory 当累计偏好仓库，我一直觉得这有点偷懒，因为过期偏好、情境偏好、角色偏好会互相打架。PFT 如果真能把这些冲突显式编码，价值不小；前提是它在跨任务、跨时间、跨用户迁移上站得住。摘要没有给这些泛化结果。 所以现阶段我的结论很简单：问题定义比结果数字更可信，方法名字比实验说服力更成熟。两家来源的高度一致，说明现在我们看到的还是作者版本的最佳叙述。我还没查到代码、数据划分细节和人工评测协议；在这些披露前，这篇论文适合当“研究议程信号”，还不适合当“方法已跑通”的证据。

这篇论文把 128K 预填充提到 2.5 倍，并把 KV cache 压到原来的 10%。我对这个结果的判断是：它击中的不是单点优化，而是 MLA 路线一个拖了很久的缺口——缓存压了，计算却没一起压，部署端一直不够痛快。 看摘要给的信息，LCA 的核心动作很清楚：它不在 token 空间做稀疏，而是在 MLA 的潜空间里分开处理语义向量和位置键。语义侧做 query-aware pooling，位置侧做 anchor selection，而且不加参数。这个设计比“再发一个稀疏注意力变体”靠谱，因为 MLA 的 latent 结构本来就和标准 token attention 不同，很多稀疏方法直接套不上去。你硬把 SnapKV、H2O、StreamingLLM 这一类 token 级筛选搬过来，往往先撞表示错配，再撞工程复杂度。LCA 至少是在正确的接口层下刀。 我记得 MLA 是从 DeepSeek 那条线被更多人认真看见的，理由也很现实：长上下文推理里，显存压力和带宽压力经常比纯 FLOPs 更早爆。FlashAttention 这类方法把访存做顺了，但不改变 KV cache 随长度涨的基本盘。MQA、GQA 能降缓存占用，可对长前填充的计算量帮助有限。LCA 这篇的价值，就在它试图把“省缓存”和“省算力”放进同一个机制里做，而不是两层补丁往上叠。这个方向对 serving 比对 leaderboard 更有意义。 但我对这组数字有保留。正文只给了“up to 2.5x”和“90% reduction”，没给完整基准表，也没给任务拆分。128K 是在哪类 workload 上跑的，needle、长文 QA、代码仓检索、还是合成检索，摘要没说。硬件条件也没说。A100、H100、H200 跑出来的收益差很多，prefill 吃算力和带宽，换卡就可能改结论。还有一个常见问题：很多长上下文优化在 128K 很亮眼，落到 16K、32K 的主流生产区间，收益就缩得很快。摘要没有这段曲线，我不会直接把它当成线上默认配置。 还有一处我想继续追。论文强调 prefilling speedup，却没在摘要里交代 decode 端代价。很多系统的瓶颈不只在 prefill，尤其 agent 场景里，长输入之后还跟着多轮生成和工具调用。你如果为了压缩上下文，引入额外的 query-aware 聚合和 anchor 选择逻辑，decode 时延、实现复杂度、连续批处理兼容性会不会反咬一口，当前信息不够。标题给了“efficient long context modeling”，正文摘要没有披露端到端吞吐和延迟分解，这块不能跳过去。 论文还说它能扩到 GQA，这点我觉得有意思，但也先别提前庆祝。GQA 的部署面确实比 MLA 广，若这套方法真能平移，受益面会大很多。问题是，MLA 里“语义 latent / 位置 key”这种解耦结构，本身就给了它更干净的操作空间。换到普通 GQA，信息是不是还能拆得这么利落，误差界是不是还同样好看，摘要没展开。我愿意把它看成一条值得复现的研究线，不会现在就把它当成通用长上下文解。 说真的，这类论文最后能不能留在系统里，看的不是单次 128K 演示，而是三件更硬的事：第一，32K 到 128K 的收益曲线是否稳定；第二，长文理解、代码、多跳检索上的精度掉点有多少；第三，和现有 paged attention、continuous batching、KV 分页管理能不能顺畅共存。只要这三项里有一项答得差，2.5 倍就容易停在 paper gain。现在这篇给出的信号是积极的，我自己也愿意看后续复现，但在完整表格出来前，我不会把它排进“已经可落地”的那一档。

ReasonXL 这篇先做成了一件很具体的事：它用 5 个语种、每种超 200 万条对齐样本，训练模型直接用目标语言写推理链，而不是继续让模型在德语题目里偷偷想英语。这个问题以前一直存在，做多语应用的人都见过：表层输出是法语、西语，内部 reasoning trace 还是英文。对研究论文这像可解释性细节，对产品其实是合规、教学、政务、本地客服里的硬约束。你要是给老师、审计员、标注团队看链路，英文中间态本来就不合适。ReasonXL 至少把“目标语言推理”从 prompt trick 变成了可监督目标。

论文在 LoCoMo 的 10 组、300+轮对话上，用 8–24 token 书签加 recall() 取回机制，跑赢了 6 种基线。我的判断是：这条有价值，不是因为它又发明了一种“长上下文替代品”，而是它把外部记忆系统里最常被糊弄过去的接口问题掰开了——模型不是不会想起要查旧内容，它是不知道该查哪一页。 96% 会触发 recall()，57% 能选对页，这组数已经把问题说得很直白。很多人讲 agent memory、episodic memory、conversation memory，默认失败来自“模型忘了”或者“检索器不够强”。这篇给的信号不是这个。失败先发生在压缩表示层：你把一段历史对话蒸成一个短标签，标签如果不够可区分，后面的检索、工具调用、再推理都救不回来。关键词具体度单独拉开 25 个点，这比很多 memory paper 爱讲的索引结构、分块算法都更刺中要害。 我一直觉得，长对话系统最后都会长成“轻量目录 + 按需回页”，而不是把 1M token 上下文硬塞到底。OpenAI、Anthropic、Google 过去一年都在推长窗口，但真到产品里，session persistence、summary memory、tool state 还是分层存。原因很简单：成本、延迟、注意力稀释都摆在那。这里有个反常识点：文中说 full context 也没赢。要是这个结果经得住复现，那它打到的不是上下文长度，而是注意力分配——把所有历史都留着，不等于模型会把相关片段用好。这个我基本买账，因为在长链对话里，信息定位常常比信息保留更难。 但我对这篇也有两层保留。第一，LoCoMo 只有 10 组真实多会话对话，规模很小。作者补了 3,176 个 synthetic probes 和 1,600 个 LoCoMo probes，这能增强统计显著性，不能替代分布广度。客服、多角色协作、代码 copilot、带文件附件的 enterprise chat，记忆形态差很多。FIFO 在 synthetic 最好，LFU 在 LoCoMo 最好，这已经说明策略高度吃数据分布，别急着把 fixed_20 和某个 eviction policy 当通用答案。第二，评测依赖 4 个独立 LLM judges，给了 p=0.017，但正文片段没披露 judge prompt、rubric、仲裁机制，也没说和人工评审的一致性。我不是说这个结果不成立，我是说这组胜负边界有多稳，现在还看不清。 还有个地方我觉得挺关键：content-aware 的 topic_shift 只到 56.7%，粗粒度 fixed_20 反而 96.7%。这很反直觉，也很说明问题。很多人天然相信“语义边界切分”更聪明，现实里它常把局部主题漂移放大，反而破坏了后续页级定位。长对话不是百科分段，记忆单元更像操作系统里的 page，不像论文目录。标题已经把 cooperative paging 讲明白了，但正文没披露一个我很想看的细节：书签生成是离线规则、单独模型，还是主模型自举；训练/推理成本各是多少；不同模型间的书签可迁移性如何。没有这些，离工程落地还差半步。 我自己的结论很简单：这不是“让 LLM 拥有长期记忆”的终局，它更像给 memory stack 补上了一个一直欠账的页表层。谁在做长会话 agent、销售/客服 copilot、治疗陪伴、教育 tutor，都该把 bookmark discrimination 单独做成指标。你不测这个，长记忆 demo 很容易好看，系统一上线就乱页。

NVIDIA 这次放出了 120B 总参、12B 激活、1M 上下文的 Nemotron 3 Super。我的判断很直接：它想证明的不是“我们也有开源推理模型”，而是“NVFP4 + LatentMoE + MTP 这套组合能把单位成本打下来”。标题里最响的是 120B，工程上更关键的是 12B active 和原生 speculative decoding，因为这两个东西才决定你一张卡上能塞多少并发。 现在先别急着吃下那组 2.2 倍、7.5 倍吞吐。正文只有 RSS 摘要，没给 benchmark 名称，没给 batch size，没给输入输出长度，没给精度目标，也没说跑在什么 GPU 上。吞吐数字脱离这些条件，信息量会掉很多。尤其 Nemotron 这次把 NVFP4、MTP、MoE 都叠上去了，任何一项都能把 tokens/s 拉高；如果对手是更高精度、不同解码设置，7.5 倍这种数字就不够可比。我对这类厂商自测一直比较谨慎，NVIDIA 在硬件和软件发布里经常先给峰值，真实线上部署最后落到更保守的区间。 有意思的地方在架构选择。Hybrid Mamba-Transformer 不是新概念，过去一年这条线一直有人试，理由也很朴素：长上下文里，纯 attention 的 KV cache 和带宽压力太重，状态空间模型能在部分 token 路径上省掉成本。问题是这条线常常卡在训练稳定性、后训练对齐、工具调用表现不稳。NVIDIA 现在把它和 MoE 绑在一起，再加 MTP，本质上是在赌“agentic reasoning”这类 workload 更吃推理效率，而不是死磕单次 pass 的 benchmark 绝对分。这个方向我买账一半。Agent 场景确实是多轮、长轨迹、反复调用工具，成本结构跟聊天基准不一样；但 agent 能不能跑好，还得看 tool use、rollback、长轨迹奖励设计，摘要里都没披露。 我想到的外部参照有两个。一个是 DeepSeek 那条路：先把 MoE 的激活参数压低，再用系统优化把推理成本做出差距。另一个是一些长上下文模型过去的老问题：号称支持 1M context，不等于在 1M 上还有稳定检索和推理精度。很多模型在 128K 以后就明显掉点，只是“能吃进去”而已。Nemotron 这里也一样，标题给了 1M，正文没披露 needle-in-a-haystack、长文检索、代码仓级任务这些更硬的结果，所以我不会先把它算进“1M 可用”的那一档。 开源部分反而是这条最实在的信号。它不只放 post-trained checkpoint，还放 base、quantized 版本和数据集。这个动作说明 NVIDIA 这次想要的是生态采用，不只是论文存在感。说真的，这跟 Meta 放 Llama 时的意图不一样。Meta 要的是分发面和生态标准，NVIDIA 更像要让开发者顺手接受它的精度格式、量化路径、推理编译链和部署习惯。你如果最后在 TensorRT-LLM、NIM、Hugging Face 上把这套跑顺了，模型本身只是入口。 我这边最大的保留意见有两个。第一，25T token 预训练听起来很大，但摘要没给数据配比、去重策略、合成数据比例、代码占比，也没给训练稳定性细节。没有这些信息，很难判断它的泛化质量。第二，LatentMoE 是新名词，正文没展开 routing 机制、专家数、负载均衡方法，也没说它到底更像 DeepSeek 式稀疏路由，还是偏向低秩/潜变量压缩的折中设计。没这些，外界很难复现“accuracy per FLOP”这个核心卖点。 我的结论不复杂：这条先看成一份公开的系统设计宣言，不要先看成基准榜单事件。要是后续论文和代码把测试条件、长上下文质量、真实部署成本都补齐，它会对开源推理栈很有参考价值；要是这些关键条件继续不披露，这条的含金量就主要停在 NVIDIA 讲自己平台故事。

CompliBench给出一个结论：小型裁判模型在合规违规检测上超过顶级闭源模型，但摘要没披露模型名单、分数、数据规模和业务域数量。我的判断是，这条先别读成“最强模型不会审判”，应读成“通用模型没被专门训过细粒度合规定位”。这两件事差很多。 我一直觉得，LLM-as-a-Judge在开放式偏好打分上还能凑合，一到企业合规这种任务就会露底。原因很具体：这里要同时做规则检索、跨轮记忆、证据定位、条款映射，错一环就判错。去年很多安全评测更像单轮分类，给一个回复判安全不安全；CompliBench把任务抬到多轮对话，还要求指出哪一轮、违反哪条规则，这个难度级别高一截。摘要里“controllable flaw injection + adversarial search”这套生成法，我是买账的，因为它至少把监督信号做成了可验证标签，不再全靠昂贵人工逐条标。 但我对论文叙事还是有保留。第一，合成数据把小模型训强，不等于它真能跨到真实企业流量。摘要说“generalizes well to unseen business domains”，可没给具体域、迁移幅度、人工集表现。我还没查到论文正文，没法确认是不是从相近规则模板泛化到相近模板。第二，很多“闭源模型吃力”的结论最后都卡在提示方式。是零样本、少样本，还是给了规则检索工具？没说。若不给工具，只靠参数记忆企业政策，掉分很正常。 这条让我想到两条旧线索。一个是去年不少团队拿合成偏好数据训练reward model，规模不大但在窄任务上能压过大而全的judge；另一个是金融、医疗客服里，合规审计本来就不是“聪明”问题，而是“流程约束”问题。说真的，行业过去一年有点把通用大模型神化了，觉得同一个模型既能当 agent，又能当裁判，还能当审计。CompliBench如果正文分数站得住，打脸的就是这套偷懒架构：执行模型和审计模型本来就该拆开，后者还该吃专门的、带定位标签的数据。 我现在最想看到的不是一句“超过SOTA”，而是三组缺失数字：参评模型名、违规定位F1或准确率、真实人工标注集上的外部验证。没有这些，这篇更像一个方向很对的基准雏形；有这些，它才够资格影响企业里 judge stack 的选型。

Local-Splitter 用本地分流加提示压缩，把编码代理的云端 token 降了 45%到79%。这组数很扎实，前提也写得清楚：前面先放一个小本地模型做 triage，后面再接 frontier 云模型。我的判断是，这篇的价值不在“省 token”四个字，而在它把一堆团队私下做的土办法，第一次按负载类型拆开量了。做 agent 的人这两年都知道，账单不是只被最终回答吃掉，检索上下文、反复 edit、长对话状态、工具回填才是大头。现在它至少给了一个可复现框架：edit-heavy、explanation-heavy、RAG-heavy 不是一类活，别拿一套默认链路硬跑。 我对其中两点比较认可。第一，T1 本地路由加 T2 提示压缩就能打到 45%到79%，说明很多 coding-agent 请求根本不该直接上最贵的云模型。很多 IDE agent 的真实流量，都是“改 3 行”“解释报错”“补一个 import”这种低熵任务，本地 7B 到 14B 级别模型先筛一遍，工程上完全说得通。第二，RAG-heavy 任务要靠全套策略才省 51%，这也符合经验。检索链路的 token 浪费，通常不在用户问题，而在 chunk 拼接、重复证据、system prompt 膨胀，还有 review loop。光压 prompt，往往不够。 但我有个保留意见：正文没披露基线模型、具体云模型价格、时延分布和路由误判代价。45%到79% 这个区间很大，没有 p50、p95，你很难判断收益是不是被少数超长上下文样本拉高。routing accuracy 也提了，阈值怎么设没说。对 coding agent 来讲，省 60% token 但把 3% 的关键编辑路由错了，开发体验就会直接塌。这个 trade-off 比 headline 难看，也更关键。 回到行业背景，这条其实踩在一个很明确的趋势上。2025 年很多团队已经从“只换更强模型”转去做 inference engineering：Anthropic 和 OpenAI 一边推 prompt caching、batch API、长上下文；另一边，Cursor、Continue、Aider 这类工具链都在想办法减少无效上下文搬运。我记得去年开始，大家对“便宜模型做前置分类，大模型只做高不确定度请求”这套越来越接受，只是公开测量一直不多。Local-Splitter 的意义，就是把这个经验主义往前推了一步。 我也想泼一点冷水。文章把七种 tactic 摆在一起，很容易让人误以为“叠得越多越省”。我看未必。semantic caching、draft-review、minimal-diff edits 这些东西，一旦接进真实团队环境，会碰到缓存失效、代码库漂移、工具状态不一致、审计日志变复杂。省下的云端 token，可能被本地算力、运维复杂度、延迟抖动吃回去。正文提了 latency，但没给拆解，我还不能判断这套 shim 在 IDE 交互里是否真的顺手。 所以我会把这篇当成 deployment paper，不当成 capability paper。它没有证明本地小模型突然够强了。它证明的是另一件事：在 coding-agent 里，很多 token 从一开始就不该发到云上。这个判断对成本敏感团队很实用，尤其是要控 Azure/OpenAI 账单、又不想牺牲主模型质量的团队。要是后续开源仓库把 workload trace、路由阈值、误判案例、各 tactic 的 p95 延迟都放出来，这篇就会更硬。现在这版能指导方向，但离“拿来就配生产默认栈”还差关键细节。

CodeSpecBench用15个模型测可执行行为规格生成，仓库级最好成绩只有20.2%。我对这条的判断很直接：这不是又一个“代码基准+排行榜”，它是在拆穿代码生成赛道里一个被默认接受太久的偷换——大家拿 pass@k、单函数单测、HumanEval 风格结果，当成模型“理解需求”的近似指标，但规格生成把问题反过来问，门槛一下就抬出来了。 这次是两家来源同时挂出同一标题，但信息密度其实高度一致。arXiv给的是论文原始摘要，Takara 基本是在转述同一份材料。这个一致性更像官方论文摘要驱动，不是媒体各自跑出独立发现。所以能确认的硬信息主要有四个：一，任务是生成可执行的前置条件和后置条件；二，既有函数级，也有仓库级；三，评估强调 correctness 和 completeness；四，15个模型里仓库级最好只有20.2%。标题和摘要已经把方向讲清了，正文没披露每个模型的分数分布、repo 规模、执行沙箱细节、成本曲线，这些都还缺。 我比较买账的点，在于它把“代码写出来”和“行为边界说清楚”分开测。过去一年很多代码模型的宣传都在涨分，SWE-bench、LiveCodeBench、各类 agentic 修 bug 任务轮着刷。问题是这些任务常常允许模型靠模板、检索、局部模式匹配，先把能跑的东西拼出来。规格生成没这么好糊弄。你要写 precondition 和 postcondition，等于你得先回答：什么输入合法，哪些副作用允许，哪些状态转换算正确，哪些边界条件必须拒绝。这个任务对语义压缩能力要求更高，也更接近 code review、formalization、测试设计这些高价值工作。 20.2%这个数很刺眼，因为它出现在 repository-level。函数级任务里，模型还能靠局部上下文、类型签名、docstring 和常见套路过关。到了仓库级，行为定义会散在多个模块、配置、隐式约束、异常路径里。模型如果没有稳定的跨文件语义整合能力，就会把规格写成“看起来像规格”的测试样板，accept 过宽或 reject 过严。论文摘要提到同时看 correctness 和 completeness，我觉得这点比单纯 pass rate 更关键。很多自动生成的规格会犯一个老毛病：写得非常保守，只覆盖最显眼路径，于是“看起来没错”，但根本挡不住非法行为。能执行，不等于有判别力。 我自己的疑虑也有。第一，20.2%听上去很低，但如果基线任务本身非常苛刻，这个数字未必能直接推出“现有模型不懂语义”，只能推出“现有模型在这套可执行规格协议上不稳”。第二，摘要说规格生成显著难于代码生成，这个结论我基本认同，但我还没查到它和哪些 code generation benchmark 做了同分布对比；如果比较对象不是同一数据来源、同一上下文预算、同一执行环境，这个差距会被放大。第三，repo-level 的失败，到底是语义理解差，还是上下文检索、依赖解析、运行环境构造差，摘要没拆。这个拆分很重要，因为前者指向模型本体，后者指向 agent scaffold。 说真的，这条对做 coding agent 的团队很有参考价值。你如果现在还把单元测试通过率，当成“需求理解”的代理变量，这篇论文是在提醒你：代理得很粗。更实际的做法，是把规格生成当成中间监督信号。先让模型显式写出可执行约束，再去生成实现，或者反过来让实现和规格互相校验。2023 年就有 μFiX 这类工作在做“先理解测试，再改代码”；CodeSpecBench 把这条路往前推进了一步，因为它给了一个更像工程现场的、可执行的语义评测面。 我还会留一个保留意见：两家来源都没有给出领先模型名单、提示策略、上下文长度、是否用工具、是否允许测试反馈迭代。没有这些，排行榜层面的解读先别做太满。可这不影响核心判断：代码模型现在最容易被高估的，不是能不能补几行实现，而是大家太快把“生成通过样例的代码”当成“掌握程序行为”。CodeSpecBench把这层滤镜撕开了一点。

CascadeDebate 把多智能体审议插入 LLM 级联边界，并在 5 个基准报出最高 26.75% 提升。我的判断很直接：这条的价值不在“多智能体”三个字，而在它承认了一件老问题——大多数级联系统浪费的钱，不是花在最难样本上，而是花在一堆模型自己没把握、但其实内部再算一步就能解决的灰区样本上。 这也是我对这篇 paper 的第一反应：它更像 test-time compute 的预算分配机制，而不是 agent 协作能力有了新台阶。文章给出的结构很清楚，低置信样本才触发轻量 agent ensemble，先做内部共识，再决定要不要升级到更大模型或人工专家。这个设计抓得很准，因为现实里的 cascade 失败点本来就常出在 escalation boundary。小模型如果过度保守，会把一堆本可自解的题目推给大模型；如果过度自信，又会把错答留在低价层。把“再思考一次”的 compute 插在边界上，比无差别地让所有请求都跑 debate 合理得多。 我一直觉得，多数 multi-agent 论文的问题不是 agent 太少，而是路由太假。要么默认所有样本都值得拉几位 agent 开会，要么阈值是离线拍脑袋定的，分布一变就塌。这里作者强调 online threshold optimizer，相比 fixed policy 有 20.98% 到 52.33% 的相对提升。这个数字比 26.75% 还让我在意，因为它说明收益大头未必来自“辩论”，而是来自“什么时候辩论、什么时候升级”。如果这点成立，很多团队现在堆 agent 角色、堆 prompt persona 的工作量，可能都放错了地方。先把 uncertainty calibration 和 escalation economics 做对，收益往往更硬。 这条和过去一年不少系统工作是连着的。OpenAI、Anthropic、Google 这一轮都在把 test-time compute 做成产品能力，只是名字不同：reasoning tokens、thinking mode、tool-use loops、self-consistency，本质都是拿额外推理预算换尾部样本准确率。CascadeDebate 的区别，是它把这件事放进分层级联系统里，而且明确把 human expert 当最后 fallback。这个方向我认同，因为企业环境里本来就不是“单模型答一切”，而是小模型、贵模型、规则系统、人工审核一起上。只谈单模型 benchmark，已经有点脱离部署现场了。 但我对这组结果有几个保留。第一，正文只有 RSS 摘要，没披露五个 benchmark 的具体名称、样本规模、成本口径、置信度定义，也没给每一层模型的参数级别或 API 价格。没有这些信息，26.75% 很难判断到底是大幅超车，还是 baseline 设得不够强。多智能体系统最常见的“提升”来源，就是给 baseline 一个单次采样，却给新方法多次采样加投票，这种比较我不太买账。第二，online threshold optimizer 听起来对分布漂移很友好，但正文没披露它在线更新的反馈信号是什么。是用已知标签、延迟监督、人工纠错，还是用模型间一致性做代理？如果线上要真实标签才能调阈值，很多场景根本接不住。第三，人类专家作为最终 fallback 很合理，但摘要没写 abstention rate 和人工升级率。没有这两个数，所谓 cost-aware 还是没法落地判断。 我还想补一个文章外的上下文。去年到今年，很多团队重新发现 cascade 不是“省钱小技巧”，而是部署高吞吐 AI 系统的主结构：先用便宜模型吃掉 70% 到 95% 的简单请求，再把剩下的尾部流量送进更强模型。这个框架早就存在，老一点的 NLP 分类系统也干过。新变化在于，reasoning model 让“中间层再花一点 compute”有了更高回报。所以 CascadeDebate 如果成立，它的意义不是证明多 agent 神奇，而是说明级联系统中间那层可以从 one-shot classifier，升级成一个弹性 deliberation zone。这个改动对实际预算影响很大，因为它决定你把钱花在所有请求上，还是只花在低置信的那 10% 到 20% 上。 说真的，我对“共识”这个词还有点警觉。多 agent 共识有时只是相关错误的平均化，尤其当所有 agent 都来自同一基础模型、共享同一偏差时。你看到的是更稳定，不一定是更正确。要证明 deliberation 真有独立信息增益，至少得看 agent 多样性怎么造出来：不同模型？不同工具访问？不同检索证据？还是只是同模型换几套 prompt？正文没披露，我没法替作者补完。 所以这篇我会把它放进“值得复现的系统论文”，不是“多智能体能力突破”。如果你在做线上客服、医学问答分诊、企业知识库检索后问答，这个思路很实用：把辩论预算钉在低置信边界，不要全量开会。但在作者给出更完整的成本表、升级率、校准曲线、以及分布漂移下的在线更新细节之前，我不会把它当成通用结论。现在看到的是一个方向对路的控制层设计，标题里那个 debate，声量比实际贡献大一点。

论文提出 Thought-Retriever 用历史 thoughts 替代 top-K 原始片段检索，并在 3 个数据集把平均 F1 提高至少 7.6%、胜率提高 16%。我对这个方向基本认同，因为很多 agent 系统现在卡住，不是检索不到数据，而是检索单元太笨：段落只携带事实，不携带“这类问题上次是怎么解开的”。把记忆单位从 chunk 换成 reasoning trace，确实更接近人类做长期任务的缓存方式。 我一直觉得，RAG 这两年有个误区。大家拼 embedding、拼 reranker、拼 context window，默认更多原文就更好。实际做过 agent 的人都知道，窗口变长只解决“能塞进去”，不解决“模型会不会用”。很多失败案例里，模型看到证据了，还是不会把证据组织成动作计划。Thought-Retriever 瞄准的正是这层缺口：先把旧任务里产出的中间推理过滤、组织，再把这些抽象过的“解题痕迹”拿回来复用。这个思路比继续堆 top-K 更有工程味。 外部参照其实不少。MemGPT、LONGMEM、MemoryBank 这一波工作，早就在试长期记忆，但多数系统存的是摘要、事件、用户偏好，少数存工具调用轨迹。它们共同的问题是，记忆越久越像日志仓库，不像可迁移的策略库。Thought-Retriever 往前走了一步，明确说要存“thoughts”。这点和 ReAct 之后的 agent 经验能对上：很多任务成败，差在中间分解，不差在最终答案。我没核实作者拿来对比的 baseline 清单，正文摘要也没给模型名、检索库规模、thought 过滤成本，所以目前只能说思路成立，工程账还没结。 我对这条的保留也很明确。第一，thought 不是天然高质量记忆。LLM 的中间推理经常带试探、绕路、伪因果。你把它们写进长期记忆，等于把模型当时的偏见也持久化。一次答对，不代表过程可复用。多轮下来，系统容易形成“会做题的幻觉”：看起来越来越有经验，实际只是越来越依赖自己过去那套未校验的解释。摘要里说做了 filtering 和 organizing，这是必要步骤，但正文片段没披露过滤标准、人工占比、误保留率，这部分恰恰决定方法能不能落地。 第二，这条和当下主流产品路线有点拧巴。OpenAI、Anthropic 过去一年都在弱化显式 chain-of-thought 展示，理由很现实：安全、对齐、还有推理痕迹本身不稳定。Thought-Retriever 虽然是内部用，不是对外展示，但它依旧把“thought”提升成核心资产。这里有个张力：如果 reasoning trace 本来就不是稳定语义对象，那把它索引化、可复用化，收益和风险会一起放大。尤其在企业场景，错误推理被二次召回，比一次 hallucination 更难排查。 AcademicEval 这块我反而挺想看细节。作者说它用真实学术论文测试超长上下文的忠实利用，这个设定是对的。很多长上下文 benchmark 现在都太像 needle-in-a-haystack，考的是定位，不是消化。学术论文问答更接近真实知识工作，因为答案常常要跨摘要、方法、实验、附录拼起来。问题是，正文没给题量、论文长度分布、是否控制论文领域泄漏，也没说 faithful use 怎么判。我对“faithful”这个词会比较警觉，因为这类评测最容易被风格相似和常识补全污染。 工程上我会怎么读这篇？它更像给 agent memory 提了一个更贵、但更像样的抽象层。原始 chunk 是便宜存储。thought memory 是高压缩、带任务结构的存储。你会多付一次生成和清洗成本，换来后续检索时更高的命中率。这个交换在高频、重复型工作流里很有吸引力，比如内部知识助手、代码修复、科研 copilot。低频且分布漂移大的任务，我没这么乐观，因为旧 thoughts 很容易把新问题带偏。 我买这篇的一半，另一半得看复现。标题已经给出提升幅度，正文摘要未披露训练或推理开销、thought memory 的增长曲线、错误记忆的衰减机制，也没说明在更强基座模型上收益会不会收敛。如果这些数字不好看，这条就会退化成一个学术上漂亮、线上维护很重的 memory trick。要是作者后续开源了完整 pipeline，我最先会测的不是 F1，而是两件事：错误 thought 被召回后的连锁伤害有多大，和 memory 越积越多时检索质量会不会反向下滑。

论文用 600 条轨迹定义了 policy-invisible violations，并把 Sentinel 准确率做到 93.0%。我觉得这条最有价值的地方，不是又多了一个安全 benchmark，而是它把很多 agent 团队一直偷换的前提掀开了：你不能指望模型只看当前 prompt 和工具返回，就替组织做合规判断。 这个坑在实际系统里很常见。动作语法对，用户也点头，工具响应看着干净，最后还是违规。问题不在生成文本，而在决策时缺了世界状态。论文把缺失信息拆成实体属性、上下文状态、会话历史，方向是对的。很多内部 agent 事故也都卡在这里：合同看起来能发，发件人也有权限，但客户处于 litigation hold；报表字段不敏感，但收件方地域触发数据驻留限制；代码库可读，但该仓库正处在 freeze window。只做内容扫描，天生看不见这些条件。 我对这篇的判断是，它比大部分“agent safety”论文更接近企业真实痛点。过去一年很多防护还停在 prompt injection、越权工具调用、输出过滤。那些当然重要，但都默认策略能写进上下文，或者能从内容里直接读出来。PhantomPolicy 反过来说：上下文根本没给你，违规依然发生。这跟传统 DLP 的局限几乎一一对应。老 DLP 擅长查身份证号、财务编号、源码片段，不擅长判“这个人现在是不是这个客户的服务团队成员”。这类条件是关系型的、时序性的、会变的。 Sentinel 的机制也比“再上一个审查模型”更靠谱一点。它把每个动作当成知识图谱上的 proposed mutation，先做反事实执行，再查结构不变量，最后给 Allow、Block、Clarify。这个思路我买账，因为它把 enforcement 从文本分类改成状态验证。说真的，这跟数据库约束、事务前置检查、OPA/Rego 一类 policy engine 的精神更接近，只是这里多了一层 agent action 的 speculative execution。68.8% 到 93.0% 的提升，至少说明 content-only DLP 在这类任务上确实不够看。 但我对 93.0% 也有保留。正文只有 RSS 摘要，没给各类别混淆矩阵、精确率召回率细分，也没披露 Sentinel 拿到的图谱信息是否完整、是否实时。这个差别很大。如果图谱是干净的、全量的、强一致的，那是在 favorable conditions 下证明上限；如果放进真实企业环境，身份目录、CRM、工单、法务状态、地区限制经常不同步，世界状态本身就是脏的。那时错误不再只是模型误判，而是 policy substrate 失真。论文摘要其实已经留了口子：it demonstrates what becomes achievable once policy-relevant world state is made available。问题恰恰是，现实里最难的就是“made available”。 还有一个我挺认同的点：作者人工复核把 32 个标签改判，占 5.3%。这不是小修小补。agent benchmark 过去一年有个老毛病，按 case-level 标注就急着跑榜，没把整条 execution trace 看完。这里改成 trace-level human review，至少更像真实审计。我记得前几波 tool-use 和 web-agent benchmark 也吃过这个亏：终局答案看似对，过程里已经越权或泄露，只是榜单没记。这个工作算是把“过程合规”单独抬成评测对象。 我还是会追问两件事。第一，Sentinel 对多跳历史依赖的类别到底掉了多少分，摘要只说 certain violation categories 还有改进空间，没给数字。第二，Clarify 的触发率是多少。企业里很多系统把不确定都打成 ask-human，准确率会很好看，但吞吐会直接崩。没这个数字，很难判断它是可部署的 enforcement layer，还是一个高分但高摩擦的 gate。 所以这篇别当成“模型又更安全了”。它更像是在提醒大家：agent 安全的主战场正在从输出内容，转到动作前的状态可见性。谁能把 IAM、数据目录、工单状态、法务约束、会话历史接到同一个决策层，谁才有资格谈 agent governance。模型本身在这里只占一段，系统边界才是大头。

AlphaEval把7家公司94个任务做成生产型代理基准，这件事比又一个“谁家模型更强”的榜单靠谱得多。它直接测Claude Code、Codex这类完整产品，不把模型权重、工具调用、UI自动化、失败恢复全都洗掉。对做 agent 的人，这个口径更接近现实，因为线上成败经常坏在系统层，不坏在 base model 那一行分数。 我对这条的正面判断很明确：行业早就该从 model eval 转到 product eval 了。过去一年常见的代理基准，像 SWE-bench 这一系，能抓到代码修复能力，但任务边界通常清楚，验收条件也相对静态。企业里的活不是这样。需求里有隐含约束，资料散在 PDF、邮件、表格、网页里，输出还是长链条交付件。AlphaEval把多模态输入、隐性约束、领域经验、动态标准都摆到台面上，这比再刷几分 pass@k 更有用。 我还是有个很大的保留：论文摘要里最有野心的部分，其实不是94个任务，而是“把真实需求快速转成可执行评测”的流程。这个说法如果成立，价值会很大，因为多数公司缺的不是评测意识，缺的是把脏需求整理成稳定 benchmark 的人天成本。我自己见过不少团队，做一套内部 agent eval 要两三周，跨法务、运营、产品来回对 requirement，还要补 judge rubric、重放环境、脱敏数据。AlphaEval说“minimal time”，正文片段没给具体耗时、参与角色、失败率、需要多少人工校对。我对这句有点怀疑。没有这些数字，这更像方法宣言，不是已验证的流程优势。 方法上它混用 LLM-as-a-Judge、形式化验证、参考答案指标、rubric、自动 UI 测试，这个组合是对的，但也带来一个老问题：不同范式的分数可比性很弱。一个 domain 靠 formal verification，另一个 domain 靠 judge model，最后汇总成一个总分，读起来很顺，实际含义未必稳。我还没看到它怎么处理 judge 偏置、任务难度校准、跨公司任务分布失衡。7家公司、6个 O*NET 职业域听着不少，放到生产场景里仍然偏小，尤其如果任务主要来自愿意配合研究的早期团队，样本会天然偏向“已经有流程、已经能写清需求”的组织。 我一直觉得，2025年以后 agent 评测会分成两条线：一条是公开 benchmark，方便市场比较；一条是公司内部 replay benchmark，直接绑定工单、日志、SOP。AlphaEval卡在两者之间，这很聪明。它想保留真实业务形状，又想做成可复用方法学。问题也在这里：一旦抽象过头，生产味道就没了；一旦保留太多现场细节，别人又复现不了。现在摘要给出的信息，还不够判断它站稳了哪一边。 所以我对 AlphaEval 的结论是：方向对，口径对，论文最值钱的那部分还没被证实。要让我真正信服，我想看到三样东西： requirement-to-benchmark 的平均耗时；不同评测范式的一致性数据；同一产品在模型升级、工具链变更、UI改版后，分数波动有多大。没有这些，AlphaEval更像一个很懂痛点的框架提案，而不是已经定型的生产评测标准。