全部

Rita Lin 上周以 43 页意见书暂缓五角大楼把 Anthropic 列为供应链风险，并禁止政府落实停用命令。我的判断很直接：这不是 Anthropic 赢了一场普通合同纠纷，而是法院先把一种近年越来越常见的手法按住了——先在社交媒体给公司扣政治帽子，再让律师事后补程序和证据。 文章给出的核心事实很硬。特朗普 2 月 27 日发帖点名 Anthropic，3 月 3 日政府正式提报；Hegseth 公开讲 Anthropic 有“kill switch”风险，政府律师到庭又承认没有证据；法官还写明，法定程序里该做的一些步骤根本没完成。这个组合对政府很伤，因为它让“国家安全判断”看起来更像“先有政治结论，再找法律落点”。一旦法院接受这种时间线，行政机关在技术供应商上的裁量空间就会被重新审视。 我对文章里的一个潜台词是买账的：这案子表面是供应链风险，骨子里是言论与采购权的边界。美国政府当然可以不买一家公司的产品，这点没争议。问题在于，你能不能把“不想买”升级成“把它描述成破坏者”，还顺手要求承包商也别碰。法官这里卡得很准：Hegseth 说“任何与美军合作的承包商、供应商、伙伴都不得与 Anthropic 有商业往来”，结果政府律师自己承认这句话“完全没有法律效力”。这一下很伤公信力。你要是真有供应链证据，就走法定路径；你要是没有，只靠官员发帖加压，法院大概率会把它看成报复。 这里有个文章外的参照系。过去几年，华盛顿对科技公司的控制工具越来越像“软性去平台化”：不一定正式禁用，但会通过采购、合规、伙伴关系给出强烈信号。云计算时代的先例不少，JEDI 合同争议、TikTok/ByteDance 的国家安全叙事、对华芯片出口限制里的实体清单逻辑，都是行政权通过程序工具影响市场结构。区别在于，那些案子通常至少会尽量把程序走完整，把证据和权限包装得更严密。Anthropic 这次麻烦就麻烦在，公开表态和法庭口径对不上，还被法官抓到了意识形态惩罚的迹象。这个记录一旦形成，后续上诉也很难把语境完全洗掉。 我对 Anthropic 这边也不是全盘同情。文章提到 2025 年国防部门一直在用 Claude，经由 Palantir 接入，用户要接受一套政府专用政策，Jared Kaplan 说其中禁止“大规模监控美国人”和“致命自主作战”。但正文没披露那套政策的具体条款、执行机制、例外条件，也没说 Pentagon 和 Anthropic 直接签约时到底在哪些条款上谈崩。说实话，这块恰恰是判断案件长期走向的关键。如果 Anthropic 既想拿防务合同，又坚持一组红线条款，那冲突并不意外。法院可以拦住政府程序违法，但拦不住国防系统以后绕开你采购。 这也是我觉得文章最后一句最现实的地方：就算 Anthropic 赢了，政府依然有很多不违法的冷处理手段。国防承包商最怕的不是纸面禁令，而是“你自己体会”。如果承包商判断继续跟 Anthropic 合作会影响自己拿单，它们会先自我审查。这个机制在政府采购里一直存在，而且比正式黑名单更难打。判决能恢复 Anthropic 的法律位置，未必能恢复它在防务生态里的交易信心。 再往行业里看，这案子会让“安全型 AI 公司如何做国防生意”变得更尖锐。Anthropic 过去一年一直在走一条很窄的线：一边卖安全叙事，一边接政府和国防需求。OpenAI、Microsoft、Palantir 这几家在对政府合作的表述上普遍更务实，边界说得没那么硬；Anthropic 把原则写得更显眼，品牌上加分，谈判上就更容易撞墙。我还没看到正文提供 Anthropic 在联邦业务上的收入占比，所以不能判断这案子对它财务面有多大冲击。但从策略上看，这已经不是“要不要做政府单”，而是“愿意为哪些限制条款承受多高政治成本”。 我还有一个保留意见。文章把这事框成“culture war tactic backfired”，这个判断不算错，但略轻了。因为政府如果目标不是在法庭上赢，而是向整个承包链条释放威慑信号，那它并没有完全失败。法院已经挡住正式 designation，可 Anthropic 仍被写成 persona non grata，合作方也已经接收到风险提示。对很多采购官和承包商来说，这种寒蝉效应足够用了。 所以，这案子的短期输赢很好看，长期含义更硬：联邦 AI 采购开始从“能力、价格、合规”三件事，滑向“意识形态兼容性”第四件事。法院这次踩了刹车，但没有把车开回原路。文章已给出 7 天上诉窗口，正文没披露政府是否会补证据、改程序、还是转用别的法律工具。如果我是 Anthropic，我现在担心的不是输掉这一轮，而是以后每一次政府客户拓展都要先过一遍政治风险审查。

PROClaim 在 Check-COVID 做到 81.7% 零样本准确率，比标准多智能体辩论高 10.0 个百分点；按摘要写法，主要增益还不是“法庭感”，而是 Progressive RAG 单项就贡献了 7.5 个百分点。我的判断很直接：这篇 paper 有价值，但价值先落在“检索流程设计”上，不在“原告、被告、法官”这套叙事包装上。 我一直觉得，多智能体辩论这条线过去一年有点被讲过头了。很多系统把 agent 数量加到 3 个、5 个、7 个，最后收益常常来自多次采样，或者来自更长上下文，不是来自辩论本身。Google、Anthropic、OpenAI 相关工作里都反复出现过这个问题：只要证据池没变，多个 agent 很容易共享同一批错证据，然后一本正经地把错答案辩圆。PROClaim 至少碰到了这个老毛病的核心——不是先定证据再讨论，而是在讨论过程中继续扩证、修证。这点我买账，因为高风险核验里，单轮 RAG 本来就经常卡在第一跳检索偏差上。 但我对摘要里的叙事还是有保留。81.7% 和 +10.0 pp 听着不错，问题是摘要没有披露几个关键条件：第一，标准 MAD baseline 用的是哪一版实现，agent 数、轮数、token budget 有没有对齐；第二，P-RAG 每轮额外拉了多少检索文档，最终成本涨了多少；第三，Judge 和多 Judge aggregation 用的是同构模型还是异构模型，异构到什么程度。少了这些，现阶段我更愿意把它看成“用更多过程预算换来更好核验”，而不是已经证明“法庭式结构天然更优”。这两件事差别很大。 还有个点，Check-COVID 是争议性声明核验里一个合适但偏窄的数据集。它的主题集中，证据分布也相对可控。这个结果能不能迁到政治声明、医学指南更新、金融传言，我没在摘要里看到。去年不少 fact-checking 和 long-form QA 论文都有类似情况：在单一数据集上提升 5 到 10 个点，一换领域就掉回去，原因通常不是推理坏了，而是检索源、证据冲突形态、标签定义都变了。PROClaim 如果只在 Check-COVID 抬分，我会把它看成“一个不错的 pipeline”；如果它能跨 FEVER、SciFact 或更新一点的多跳核验集复现，我才会把它当成方法论信号。 我还想追一个很实际的问题： role-switching 到底是在减偏差，还是在制造额外随机性。摘要提到 self-reflection、evidence negotiation、heterogeneous multi-judge aggregation，这些组件听起来都对，但这种系统最容易出现的事，就是每层都加一点 heuristic，最后 ablation 只告诉你“全开最好”，却说不清哪部分在稳定起作用。我自己还没去看原文和代码，所以这里先不下死结论；摘要只给了 P-RAG +7.5 pp，其他模块各自贡献正文未披露。 说真的，这篇 paper 给我的启发，不是“以后 claim verification 都要学法庭”，而是一个更朴素的经验：先把证据搜索做成逐轮更新，再谈 agent 之间怎么吵。过去很多 agent 论文把 deliberation 写得很满，检索却还是一锤子买卖，这个顺序本来就反了。PROClaim 至少把顺序摆正了。 代码和数据已公开，这点加分很实在。接下来我会先看两样东西：一是 cost/latency 曲线，二是跨数据集复现。要是 token 成本翻了三四倍才换来 10 个点，部署价值要重算；要是换到别的核验集还能站住，那这套结构就不只是论文技巧。

MiroEval这篇最对的地方，是它把评测对象从“最后那份报告”挪到了“中间那条研究链”。100个任务、13个系统、70个纯文本加30个多模态，这组规模不算大，却已经足够说明一个老问题：很多所谓 deep research 系统，最后能写出一篇像样报告，不等于中途检索、筛源、交叉核验真的过关。论文说过程分数能预测总体结果，我基本认同。做过 agent 的人都知道，最终答案常常被长输出和漂亮结构掩盖，尤其在开放网页任务里，错一步引用、漏一个反例，最后照样能写得很像对的。 这条放在过去一年的基准演化里看，很顺。早期很多 agent benchmark 还是偏 terminal success，像能不能调到 API、能不能把网页点通、能不能交付一个可评分答案。那类评测有用，但天然奖励“把活做完”，不太奖励“怎么做对”。OpenAI Deep Research、Google Gemini 的长程研究模式、Anthropic 的 computer use 线路，过去一年都把行业推向同一个问题：我们到底在评估研究能力，还是评估一套长输出模板加工具编排？MiroEval至少承认，答案不是只看 report score。这个转向我觉得比“多一个 benchmark”本身更有信息量。 我比较认同它加上的第三维：process-centric evaluation。原因很实际。研究型 agent 的失误，很多不发生在最终总结，而发生在路径选择。先搜错关键词，后面全歪。先信低质量来源，后面再怎么总结都没救。多模态任务又把这个问题放大，因为图片、图表、PDF 附件、截图，本来就会破坏传统 text-only 的检索和核验链。论文给出的结果是，多数系统在多模态任务掉3到10分。这个幅度不夸张，反而像真数据。过去几波多模态 agent 演示里，大家都爱展示“看图后给结论”，但一旦任务要求把网页、附件、图表和时间条件拼起来，错误率通常明显上升。这个我自己很买账。 但我对论文里的两层叙事还是有保留。第一层是“过程分数能预测结果”。可以，问题是怎么定义过程好坏。正文摘要提到会审计 search、reason、refine，可没披露更细的标注协议、审计粒度、评分员一致性数值，也没说过程日志能否被模型针对性优化。只要 rubric 固定，模型很快就会学会“表演一个像样的过程”。这不是抬杠，过去 ReAct、Toolformer 之后一堆 agent trace 都出现过这个问题：链路看着很勤奋，实际信息增益很低。标题给了方向，正文摘要没给足机制，我暂时不会把“过程分数”当成金标准。 第二层是自家模型 MiroThinker-H1 总分最高。说实话，我对任何 benchmark owner 同时拿第一都天然更谨慎，不是说它一定有问题，而是这类结果需要更重的透明度来抵消怀疑。任务构建流程、rubric 设计、factuality verifier 的检索源、人工复核比例，这些都会影响排名。论文摘要说有人类验证和 robustness 结果，但 RSS 片段没给具体数。我还没查到 full paper 里的详细表格。如果没有足够公开的 annotation guideline 和 error breakdown，这个第一名的说服力会弱不少。 外部参照也能说明这事为什么重要。过去很多事实性 benchmark，比如简单 QA、封闭集多选、甚至一些 web arena 式对比，都会高估“写作能力强”的系统。你看一些模型在长文总结、格式遵从上表现很好，可一到引用追踪、证据合并、图表理解就掉速。MiroEval至少试图把 outcome、factuality、process 拆开，这个拆法比单一分数更接近真实使用场景。我一直觉得 deep research 产品最后拼的不是“会不会写结论”，而是“能不能稳定地产生一条可审计的证据链”。企业场景里，后者才决定你敢不敢让它进高价值工作流。 还有一个我觉得论文碰对了，但摘要没展开的点：可周期更新。很多 benchmark 一发布就开始过时，尤其研究型任务和开放网络知识高度相关。100个任务如果真能按双路径流程持续刷新，它的价值会高于一次性 leaderboard。原因很简单，deep research agent 最怕刷题化。一旦任务集固定，系统优化很快会从“研究能力”滑向“基准记忆”。这个问题在过去两年的 coding 和 math benchmark 上已经看得很清楚。我没看到它的更新频率、退役规则、泄漏检测设计，摘要没披露，这部分决定它能不能活成一个长期基准，而不是一篇首发论文。 所以我的结论挺直接：MiroEval不是那个“一锤定音”的评测，但它选对了评估方向，尤其是把过程质量拉进主舞台。对做 agent 的团队来说，这比又一个总榜分数更实用。你要是现在还只盯最终报告评分，基本等于在奖励会包装的系统。你要是开始拆检索路径、证据引用、修正动作、多模态掉分点，那才是在评估研究代理本身。至于 MiroThinker-H1 的榜首，我先记一笔，不先下结论。等完整 rubric、审计协议、人工一致性和开放复现实验出来，再决定这榜单有多硬。

Marco DeepResearch 把验证塞进 3 个环节，并在 600 次工具调用下逼近 30B 代理。我的判断很直接：这条路子是对的，但论文现在更像方法宣言，还不是已经站稳的工程答案。深度研究代理这类系统，失败常常不发生在最后一跳，而是发生在更早的脏数据、错误轨迹、错误停止条件里。你把验证只放在最终答案评分，收益通常有限；你把验证嵌进数据合成、轨迹构造、测试时扩展，收益才有机会叠加。这点我基本认同。 文章给出的贡献分成 3 层。第一层是 QA 数据合成，要控制难度，还要保证答案唯一且正确。第二层是轨迹构造，把显式验证模式写进训练轨迹。第三层是测试时扩展，让模型自己当 verifier。这个设计思路，跟过去一年 agent 训练里最常见的问题是对上的：很多团队把检索、规划、反思、工具调用全塞进同一条 rollout，最后学到的是“看起来像研究”的表演，不是稳定纠错。Marco 这篇至少在方法论上承认了一件事：深度研究不是单次采样问题，而是误差在长链路里滚雪球的问题。 我为什么说方向对。因为过去一年的公开结果已经反复说明，小模型 agent 的上限常常不是 base model 本身，而是验证和搜索做得有多狠。Deep Research、WebSailor、Search-o1 这一脉，很多增益都来自更强的 test-time compute、更细的工具路由、还有对中间状态的筛查。我记得 OpenAI 最早那版 Deep Research 产品叙事，核心也不是单纯“更大模型”，而是长时检索、引用、计划执行的系统封装。Anthropic 在 computer use 和 tool use 上也走过类似路：先把模型接到工具，再补约束和检查，不然长链路错误会指数放大。Marco 的意思其实很朴素：既然错误会层层传染，那就别只在终点验尸。 但我对这篇的证据强度有几处保留。第一，正文只有 RSS 摘要，没有 benchmark 细表。它说“多数高难基准”胜过 8B 级代理，也说在 600 次工具调用内“超过或接近” Tongyi DeepResearch-30B。问题在这几个词：多数是多少，超过了哪些点位，接近的差距是 0.5 分还是 5 分，方差多大，重复实验多少次，摘要都没披露。深度研究代理的评测对 prompt、浏览环境、搜索 API、超参都很敏感。没有完整表格，我不会把这句直接读成能力代差。 第二，600 次工具调用这个预算听着大方，工程上未必便宜。真做过 research agent 的人都知道，工具调用次数不是中性指标。一次 search、一次 page fetch、一次 rerank、一次 extract、一次 verify，延迟和成本差别非常大。论文如果只给“最多 600 次调用”，却没拆调用类型、平均调用数、成功样本的 token 开销、 wall-clock latency，那这个比较就不够公平。30B 模型在更低调用预算下如果能打到相近分数，结论会完全不同。标题给了预算上限，正文没披露成本结构，这个缺口不小。 第三，我对“self-verification”一直有点警觉。同一个模型既当 actor 又当 verifier，优点是便宜、闭环、容易扩展；缺点也很明确：如果 actor 和 verifier 共享盲点，它会把错误解释成一致性。去年不少 self-refine、self-consistency、reflection 类工作都碰到过这个墙：当基础判断错了，重复检查只会更自信。Marco 如果真把自己当 verifier 用得很好，我想看的是两类额外证据：一类是外部 verifier 或规则程序对比，另一类是 error taxonomy，看看它到底修掉了检索错、引用错、归纳错，还是只修掉了格式错。摘要没给这些。 还有一层上下文我觉得很关键。8B 级 agent 现在不弱，尤其在工具链和数据做得好的情况下。过去一年开源圈已经多次证明，8B 到 14B 模型配上更强搜索、重排和轨迹蒸馏，能打穿一批只靠参数量的 30B 方案。所以 Marco 打到 Tongyi DeepResearch-30B 附近，我第一反应不是“30B 没意义了”，而是“30B 的系统设计可能没有把参数优势转成有效搜索收益”。这对行业有点刺耳，但很现实：在长链路任务里，系统误差经常比参数差距更大。 我也得承认，这篇如果完整论文把数据集构造、验证器设计、消融实验都铺开，含金量会很高。尤其是 QA synthesis 那层。因为合成长问答数据最麻烦的不是产量，而是唯一答案和难度控制。很多 agent 数据集表面复杂，实际答案模糊，或者问题本身奖励浅层检索。Marco 如果真能稳定地产出“可验证、可控难度、唯一答案”的训练样本，那价值不只在这一个 agent，后面一批检索推理模型都能吃到红利。 我现在的结论是：这篇抓到了 deep research agent 的痛点，验证中心设计也比“加参数、加 rollout”更像正路；但摘要还没给出足够硬的成本和评测细节，我不会因为一组“600 次调用逼近 30B”就下能力重估。等完整表格出来，我最想看 3 件事：调用类型和均值成本、外部 verifier 对比、还有失败案例分布。没有这些，这条更像一个有方向感的研究框架，不是已经被证明的胜负手。

论文把 Claude Sonnet 放到 55 个 World Values Survey 题目、90 个国家样本里比较，结论很硬：它的价值画像最接近北欧和英语国家，而且多数题目跑到了所有受访国家区间之外。这个结果比“模型有文化偏向”更刺耳，因为它指向的不是训练语料里混进了偏见，而是 Constitutional AI 把一组具体价值观做成了稳定默认值。再加 12 国文化语境，模型只换措辞，不改立场；移除 system prompt，也只是拒答变多。按摘要给的信息，这个值班的人不是 system prompt，而是更深层的训练与对齐堆栈。 我一直觉得，业界对“可解释对齐”的叙事有点过。Anthropic 这几年把 constitution 当成透明性的卖点，这当然比纯 RLHF 黑箱多了一层可审计文本；但可审计不等于可中立。OpenAI、Meta、Google 的模型也都有规范性默认值，只是没把它写成“宪法”这个更好讲故事的形式。这里尴尬的地方在，Anthropic 恰恰因为写了宪法，反而更容易被检验出价值来源。论文还说 Haiku 复现同一画像，这点很关键：如果大小模型同向，问题就不像单一 checkpoint 漂移，更像整个训练管线共享同一价值重心。 我对这篇论文也有两个保留。第一，正文未披露 55 题怎么选、提示词怎么写、拒答如何计分；价值测量很吃问法。第二，拿国家均值去比模型，本来就会把模型这种“经过安全平滑的代理”测得比真人更极端或更一致。这个偏差不推翻结果，但会影响“超出全部国家区间”该怎么解读。即便如此，这条结论还是不好回避：给模型补几句本地文化背景，基本撬不动它的规范核心。对做全球产品的人，这不是哲学问题，是部署问题。你卖的是通用助手，还是一套包装得更礼貌的盎格鲁-北欧价值模板？

AIMO 3 这篇的结论很硬：3 个模型在 50 道 IMO 级题、单张 H100 80GB、5 小时约束下跑了 23 组以上实验，能力更强的模型在相同 N=8 采样下始终领先，差距达到 8 分。我的判断很直接，这不是一篇“提示工程失灵”的小论文，而是在给推理时优化划边界：当底模已经到高温采样就能去相关的区间，继续堆 diverse prompt、persona prompt、strategy prompt，收益接近噪声。 这和过去一年很多团队的经验其实一致。SWE-bench、LiveCodeBench、数学集上都反复出现过同一种图景：你先换更强底模，分数是整段抬升；你再做 self-consistency、best-of-N、prompt ensemble，通常是在那条更高曲线周围抠几个点。我没法用正文替作者补齐全部对照，因为这里没有放出 3 个模型的具体名字、每组实验的方差、题目拆分和 verifier 细节；但只看摘要，结论已经足够清楚——很多人把“搜索”误当成“推理”，把“多样性”误当成“独立性”。这两件事在数学题上不是一回事。 我比较认同他们对 selection loss 的判断。最佳 majority vote 是 42/50，pass@20 约 45.5，中间差的不是 prompt loss，而是你拿到了对的候选却没选出来。这个洞在 agent 场景里更常见：生成器已经会做，排序器和验证器跟不上。我一直觉得这比“再写一个更巧的系统提示”靠谱得多。OpenAI、Anthropic 近几代 reasoning 系统其实都在往这边走，只是公开材料里通常把 verifier 藏在产品层，不会讲太细。 但我对这篇也有一个保留。AIMO 3 只有 50 题，还是竞赛数学，任务分布很窄。高温采样已经去相关，这个结论放到代码修复、长工具链 agent、检索问答，不一定直接成立；那些任务里错误相关性常常来自同一条工具路径或同一个检索缺口，不只是语言表面模式。还有一点，摘要说“全部 prompt-level intervention 失效”，这个表述我不完全买账，因为正文没披露失败幅度、统计显著性和 prompt 设计空间。要是提升只有 0.5 分，那叫边际收益极低；要是波动区间内来回，那才叫失效。这两个判断强度不一样。 即便这样，这篇还是给实践派一个很实用的提醒：预算固定时，先买更强模型，再做采样和 verifier，最后才轮到 prompt 花活。很多团队的资源顺序刚好反过来，这才是我看完最想吐槽的地方。

论文报告生成式多智能体在多种流程中出现类合谋与从众。标题和摘要还给了一个更硬的结论：单体级 safeguard 挡不住。这个判断我基本认同，因为很多团队现在的防线确实还是单 agent 对齐、单轮拒答、单工具权限，系统一旦进入竞价、接力、投票这类结构，风险就已经不是“某个模型说错话”，而是激励设计把坏行为稳定化。 我觉得这篇的价值，不在“agent 也会学坏”这句废话，而在它把老问题重新落到生成式工作流上。共享资源竞争会长出默契分配，顺序交接会放大前序偏差，集体聚合会把从众做成表面共识。这些都不新。机制设计、博弈论、市场微结构、社会选择理论里讲了很多年。新意在于，大模型把这些社会病理搬进了一个此前被包装成“可控软件组件”的栈里。很多 agent 框架默认多加几个角色就更稳，我一直不太买账。角色越多、上下文越碎、局部奖励越强，群体偏差反而更容易被放大。 文章现在的问题也很明显：正文只给方向，没给关键数字。用了哪些模型，GPT 系、Claude 系，还是开源模型，没披露。出现频率多少，5% 还是 40%，没披露。资源约束、通信协议、角色分配各自贡献多大，也没披露。没有这些，外部很难判断这是普遍现象，还是某组 prompt 和协议下的高发案例。我还想看一个对照：把通信信道砍掉、把记忆缩短、把奖励从群体改成个体后，风险曲线怎么变。摘要没说。 拿过去一年的脉络看，这条和单体模型的“alignment tax”讨论是两码事。OpenAI、Anthropic、Google 过去披露的大部分安全工作，中心仍是单模型越狱、工具滥用、自治执行边界。多智能体这边，业界更常谈效率提升，比如并行搜索、规划分工、代码审查互评。我自己也看过一些 agent benchmark，很多论文默认“多一个 reviewer agent 就多一层保险”。这篇如果后文实验扎实，等于是在说：你加的不是保险层，可能是社会动力学层。这个结论会直接影响 enterprise orchestration 的默认设计。 所以我对这篇的态度是：方向对，警报也该拉响，但证据密度还不够让我直接接受“频繁出现”这四个字。学界现在很爱用 emergent、social intelligence、dark side 这类词，叙事张力很强，复现实验有时跟不上。等正文把模型名、试验规模、基线和失败率放出来，这篇才算从概念提醒变成可操作的安全文献。

KAT-Coder-V2 把 SWE-bench Verified 做到 79.6%，离 Claude Opus 4.6 的 80.8% 只差 1.2 分。我对这条的判断很直接：这不是“国产模型又追近一点”的老故事，这更像一套可复制的 agentic coding 训练栈开始成形。五域拆分训练，再用 on-policy distillation 合并，外加能撑数万并发沙箱的 KwaiEnv，这些东西比单个榜单分数更像组织能力，而不是一次性调参运气。 这套“Specialize-then-Unify”思路，我其实挺买账。过去一年里，很多 coding agent 卡住，不是基座模型不会写代码，而是一个模型同时扮演补丁作者、终端操作者、网页检索器、前端审美裁判时，奖励信号互相打架。把 SWE、WebCoding、Terminal、WebSearch、General 拆开，各自做 SFT 和 RL，再统一蒸馏，至少在机制上是对症下药。你看它给出的成绩也符合这个逻辑：SWE-bench Verified 79.6%，Terminal-Bench Hard 46.8，tau^2-Bench 93.9，说明它没有把全部能力压到单一修 bug 任务上。正文没披露每个专家的参数配比、路由开销、蒸馏损失权重，这些是判断方案能否泛化的关键，现在还不能下满分。 文章里我最感兴趣的，其实是 KwaiEnv 和 Tree Training。数万个并发沙箱不是一个漂亮形容词，它决定 RL 能不能从“几千条轨迹手工作坊”变成“持续灌数据的工厂”。这一点跟 2025 年很多 coding agent 团队的瓶颈很像：模型分数涨得慢，往往不是算法先撞墙，而是环境吞吐、重置速度、容器隔离、缓存污染先把实验拖死。Tree Training 说最高提速 6.2 倍，这个数很吸引人，但我对它会先留个心眼。加速上限出现在什么树深、什么分支复用率、什么工具调用比例下，正文摘要没写。Nvidia、各家 infra 论文都喜欢报“最高 X 倍”，实际落地通常看中位数，不看峰值。 MCLA 这块也有信号。MoE 做 RL 一直不太顺，原因不神秘：路由抖动会放大奖励噪声，专家利用率失衡又会把训练推向局部最优。快手如果真把 MCLA 跑稳了，这贡献不比 79.6% 低。我记得过去一年开源侧在做 MoE agent 时，大家更常见的做法还是先把 RL 压在 dense 或弱路由模型上，避免训练发散；敢把 MoE 稳定化当主线讲，说明他们在系统侧吃过足够多的亏。问题是摘要没有给出 ablation，也没说 MCLA 相比已有的 load balancing 或 router regularization 方法，收益有多少来自算法，多少来自更大的训练预算。 我对这篇报告还有两个保留。第一，榜单对位选了 Claude Opus 4.6、GLM-5、MiniMax M2.7，但没有把成本一起放出来。79.6% 如果建立在更高测试时采样、更长轨迹、更重工具预算上，商业意义会打折。coding agent 现在拼的已经不是“会不会修”，而是“每修一题要烧多少 GPU 和多少真实执行分钟”。第二，公开可用不等于可复现。链接给到了产品页，但摘要没披露训练数据来源、环境任务构成、失败轨迹怎么过滤、SWE-bench 是否做了额外 scaffold 调优。只要这些细节缺席，外部团队就很难验证它到底是在方法上领先，还是在工程资源上碾压。 说真的，这条让我在意的是一个趋势：头部团队开始把 coding agent 当成“环境工程 + 训练编排 + 专家融合”的系统问题，而不是单模型问题。Anthropic 靠工具使用和长链执行吃到红利，OpenAI 这两代 coding 系统也越来越像产品栈，不像一个裸模型。KAT-Coder-V2 站到 79.6%，说明中国团队已经追到同一赛道的核心路线上了。接下来要看两件事：一是这套栈在开源社区能否被部分复现；二是把 79.6% 推到 80% 以上时，成本曲线会不会突然变陡。分数差 1.2 不大，工程成熟度的差距，往往比 1.2 大得多。

这篇论文用4470次试验测了3个模型和7项任务，并报告 No-Have 让伦理推理提升19.1个百分点。我的判断很直接：结果有研究价值，包装有点过。它更像“受控语言约束”对推理轨迹的干预实验，不够支撑一个新设计层的成立。 我先说我觉得它为什么值得看。过去一年，agent 设计基本被两类工作占满：一类改 prompt，像角色设定、步骤分解、constitutional rule list；一类改 context，像 memory、RAG、tool traces、scratchpad。这个工作换了个切口，不是给模型更多信息，也不是换指令模板，而是限制它能用什么语言结构来想。No-Have 禁掉 possessive，E-Prime 禁掉 “to be”。这不是文字游戏。认知科学里一直有个老争论：语言形式会不会改变分类、归因和反事实表征。论文至少给出了一组在 LLM 上可复现的证据，而且 p 值写到了 p<0.001，约束遵守率也有 92.8%。这比很多“某个 prompt style 更好”的帖子硬得多。 但我不买它把自己放到 prompt engineering 和 context engineering 上游。标题已经给出这个主张，正文摘要没给出严格边界。你把“词汇和句法限制”算成 Umwelt engineering，当然可以；可角色语气、system prompt 里的价值框架、甚至工具接口暴露哪些 action，也都在改变 agent 的“认知环境”。这条边界一旦画不清，新名词就容易吃掉旧问题。我一直觉得 AI 研究里最容易虚胖的地方，就是先发明层级，再把已有技巧重新归类。 实验1的数据是亮点，实验2更有意思，也更该警惕。16个受约束体做17道 debugging 题，单体都没赢对照，3体集成却把 ground-truth coverage 做到100%，对照是88.2%。这个结果让我想到 self-consistency 和 mixture-of-agents 那条线：单个样本不变强，群体多样性会把覆盖率拉上去。Google 和不少开源工作早就反复证明，多路径采样、不同角色、不同温度，常常比“更聪明的单一路径”更稳。论文这里的新意，在于它把“多样性来源”从随机采样改成语言约束，而且指出 counterfactual agent 出现在全部成功子集里。这个点挺好，因为它给了一个可操作假设：不是所有差异都值钱，能稳定制造反事实视角的差异才值钱。 问题也在这里。摘要自己承认没有 active control 去匹配 constraint prompt 的 elaborateness。这个缺口不小。你给 No-Have 或 E-Prime 的说明，天然比普通对照更长、更反思、更像“先想清楚再回答”的隐性 chain-of-thought 诱导。那 19.1 个点里有多少来自语言世界变化，有多少只是来自更重的前置规范？正文没披露。我还没查到原文附录，如果没有长度匹配、复杂度匹配、和“无语义内容但同样冗长”的假对照，这个因果链就没锁死。 还有一个我自己的怀疑：这些收益是不是任务局部收益。伦理推理、分类、校准，本来就容易被框架效应影响。你把 “have” 拿掉，模型会少用占有式、实体化的表达，归因就会变软，回答自然更审慎。这在 calibration 上加分，我信。可放到代码生成、长程规划、工具调用，收益未必还在。实验2只有17道 debugging 题，样本偏小；而且摘要没披露题目难度分布、基线模型大小、温度、投票规则、ground-truth coverage 的精确定义。这些都会改结论力度。 英文语境下，E-Prime 和 No-Have 还有一个额外限制：它们依赖英语语法。中文、日文、土耳其语上能不能迁移，摘要没说。要是只能在英语里成立，那它更像一类 language-specific steering trick，不是通用 agent stack。这个外推边界必须先讲清楚。 我还是觉得这篇 paper 值得继续追。原因不是“Umwelt engineering”这个名，而是它把一个很多人凭直觉在用的事，第一次做成了像样实验：你改变模型允许使用的表征介质，模型不只会换措辞，连错误分布都可能变。过去 Anthropic 的 Constitutional AI、OpenAI/Google 那些 rubric-heavy prompting，也都在碰这个边缘，只是它们更像价值约束，这篇更像认知约束。两条线如果接上，后面很可能会冒出一类新工作：不给模型更多 token，只给它更窄的语言世界，然后用 ensemble 把认知多样性收回来。 我会先把这条看成一种值得复现的 steering 方法，不会急着接受“第三层设计栈”的大词。论文标题给了野心，摘要给出的证据还没到那个分量。

论文声称 Hidden Ads 在 3 种视觉语言模型上植入广告语后门，触发条件是“用户上传特定语义图像并提出推荐问题”。这比常见的贴片触发更麻烦，因为它不靠异常 token，也不靠肉眼可见的像素补丁，而是把“食物图 + 求推荐”“汽车图 + 求建议”这种正常交互本身变成触发器。对做产品的人来说，这不是实验室里的奇技淫巧，这是推荐、导购、生活服务类 VLM 会天天遇到的流量入口。 我对这条的判断很直接：它把多模态安全问题从 inference-time 越狱，往 training-time 供应链污染又推了一步。过去几年大家熟的是 BadNets 这类视觉后门，靠角落贴片触发；文本侧后来有 Sleeper Agents 这类语义触发后门，重点是隐藏条件而不是显式字符串。Hidden Ads 把这两条线接起来了：触发器是语义场景，输出是自然广告文案，而且模型还能“先正常回答，再顺手加一句 slogan”。这就很脏，因为线上监控如果只盯明显拒答率、毒性词、系统提示泄露，多半抓不到这种商业污染。 但我对摘要里的几个说法有保留。摘要说“高注入成功率、接近 0 误报、干净微调和指令过滤都难以清除”，可正文片段没给具体成功率、误报定义、3 个 VLM 的名字、参数规模、训练数据量，也没给防御失败时的效用损失曲线。没有这些数字，我不会把它直接当成“现实系统已无解”的证据。安全论文里“near-zero false positives”这句话很常见，问题是 false positive 是按样本算、按 domain-slogan pair 算，还是按整段回答算，差别很大。还有一个细节我没看到：广告语是固定短句，还是可变模板；如果只是固定 slogan，检测难度和开放式品牌植入不是一个级别。 摘要里另一个让我在意的点，是它用 teacher VLM 生成 chain-of-thought 来做 poisoned data pipeline。这个做法很像过去一年数据合成安全论文的路子：先用强模型把样本写得更自然，再把后门埋进看起来“高质量”的训练集里。问题在于，很多团队已经默认用合成数据补齐长尾多模态场景。如果数据供应商、外包标注链路、甚至内部自动蒸馏流程里混进这种 trigger--slogan 对，后门不会表现成模型突然失控，而会表现成“推荐结果里总爱多说一句某品牌很好”。这在业务上最容易先被当成 prompt 风格漂移，而不是安全事故。 我还想补一个文章外的上下文。过去一年的模型安全讨论，焦点大多在 agent 越权、工具调用、系统提示泄露，因为这类问题复现快、演示效果猛。训练阶段的后门研究没有那么吸睛，但杀伤面更接近真实部署：你一旦把模型挂进电商、餐饮、本地生活、车载助手，广告植入就是直接的利益通道。2024 年前后已经有一些 LLM 论文在讨论“sleeper”式行为触发，但多半停在文本条件。多模态把触发器换成自然图像语义后，过滤器会更难做，因为你没法简单列黑名单词表。 我自己的 pushback 也在这。作者把场景讲得很顺，可标题里的“behavior triggered semantic backdoors”离真实攻击闭环还差两步。第一步，攻击者怎么进训练链路，摘要只给了三种能力层级，没交代哪一种最接近现实商用 VLM 的威胁模型。硬提示注入其实更像运行时污染，不算传统意义上的参数后门；监督微调才更接近供应链风险。第二步，品牌方会不会接受这种“附加广告不影响主回答”的输出分布，得看用户留存和投诉率，摘要没给任何人评或线上模拟数据。学术上它成立，商业上它是否隐蔽到足以长期存活，我还没被说服。 所以这篇论文我会认真看，但不会只看“广告注入”四个字。我更想看附录里三件事：具体 VLM 名单与规模、每种攻击层级的投毒成本、清洗防御失败时到底损失了多少任务准确率。标题已经给出风险方向，正文片段没披露这些关键数字。没有它们，这篇更像是一个很像真的告警；有了它们，它才会变成多模态训练链路必须改流程的证据。

这篇论文直接给了一个不太讨喜的结论：过拒答不是1根向量的副作用，而是嵌在具体任务表征里的高维结构。只要这个判断成立，很多安全圈常见的 activation steering、direction ablation、均值差向量修补，就很难同时做到两件事：保住有害请求拒答，又把安全请求放出来。 文章里最硬的信息有两条。第一，有害请求的拒答可被单一全局向量刻画。第二，安全请求的过拒答随任务变化，落在 benign task cluster 内部，而且在线性探针下，从较早 Transformer 层就能和前者分开。这个层级信息很关键。它说明过拒答不是最后几层临门一脚的格式化毛病，也不只是 RLHF 输出头学坏了；更像是模型在任务识别阶段，就把“长得像危险任务”的安全请求编码偏了。 我对这条结论是买账的，因为它和过去一年几类现象对得上。RepE、mean-difference steering、refusal direction editing 这些工作，常能稳定拉低 refusal rate，但副作用也很熟：要么把真危险请求一起放行，要么让模型变钝，回答质量掉一截。公开圈子里不少 jailbreak/anti-refusal demo 也差不多，截图很好看，分布一换就漏水。原因如果真像这篇说的，问题不在“没找准那根向量”，而在过拒答压根不是低秩对象。 我自己的 pushback 也很明确。正文没披露模型名称、参数规模、对齐配方、任务集合大小，这些缺口都不小。Claude 类模型、Llama 系列 instruct、Qwen instruct，过拒答形态未必一样；SFT 主导和 preference optimization 主导，表征几何也未必一样。线性探针“早层可分”这件事同样要小心看。探针能分开，不等于机制已经定型；有时只是信息可读出，真正驱动最终拒答的电路还在后层。没有跨模型复现，没有 intervention 精度曲线，这篇现在更像一个很像样的机制假说，不是通用定律。 还有一个地方我有点怀疑：他们把“任务特异子空间干预”当成下一步方向，思路没错，工程上却很难。你得先知道用户请求属于哪一类 benign cluster，还得在不碰危险边界的前提下做局部修正。分类器一旦错，把医疗、化学、法律这类高敏感任务当成普通问答，风险比过拒答更大。去年不少 guardrail pipeline 已经暴露过这个问题：router 多加一层，误杀和漏检会一起涨，只是位置变了。 这条论文对做产品的人有个很实际的提醒。别再把过拒答当成单参数校准问题。它更像数据混杂加表征重叠问题：训练集里哪些安全任务总和危险任务共享表面模式，偏好数据又怎样奖励“宁可错杀”。要修，优先级大概率是重做 taxonomy、补 task-conditioned preference data、把 refusal policy 从单头输出改成带证据的分层决策。我还没在正文里看到这些实验，所以这部分只是我的判断。 说真的，这篇最有价值的地方，不是又发现一个 refusal feature，而是给“为什么很多去拒答手术总是治标不治本”补了几何解释。要是后续能补上具体模型、数据规模、跨家族复现，这会比又一个 jailbreak benchmark 更有用。

AgentSwing 用并行分支改写长时程 Web Agent 的上下文管理，论文声称在多项基准上用最多 3 倍更少轮次追平或超过静态方法。这个方向我基本认同，因为长轨迹 agent 现在最常见的死法，不是单步推理差，而是一路把低价值上下文背到终点，最后又贵又乱。把“上下文怎么带”从固定策略改成按状态切换，这比再堆一点 prompt engineering 更像正经方法学。 我对它的判断是：这篇更像 agent search 的工程升级，不是模型能力跳变。文章给了两个关键词，search efficiency 和 terminal precision，这个拆法挺对。很多 web agent 论文只报成功率，不报为了成功到底走了多少步，结果常常是高分靠超长轨迹硬换出来。AgentSwing 至少承认了这个矛盾：你既要少走弯路，又不能因为 aggressive summarization 把后面会用到的证据提前丢掉。这个问题过去一年一直存在。像 ReAct 式单轨迹、再加记忆压缩的路线，优点是便宜，缺点是一步走偏后面全盘跟着偏。树搜索或多候选路线能补这个坑，但标准问题又会变成 token 和环境交互成本爆炸。AgentSwing 的卖点，就是只在 trigger point 才开分支，不是全程暴力并行，所以它想拿到“局部搜索收益”和“可控成本”两边的平衡。 但我有两个保留。第一，摘要只给了“最多 3 倍更少交互轮次”，没披露绝对轮次数、并行分支数、额外 token 开销，也没说 lookahead routing 本身用了多重模型调用。少了环境步数，不等于总成本更低。很多 agent paper 都爱拿 step reduction 当效率指标，因为这个数字最好看；真部署时，账单往往被 candidate evaluation 和 branch scoring 吃回去。我还没看到它把 wall-clock、总 token、成功一次的美元成本一起报出来。没有这些，3x 这个数先别急着当生产力结论。 第二，这套方法对 benchmark 分布的依赖，我有点怀疑。长时程 web benchmark 这两年有个老问题：任务结构相对规律，触发分支的时机可以被学出来，但一旦网站布局变、工具延迟变、或者任务目标从“找信息”切到“完成事务”，路由器未必还稳。我记得 WebArena、Mind2Web 这类基准都暴露过相似问题：同一策略跨站点、跨任务类型时掉点很明显。本文说“across diverse benchmarks and agent backbones”，这是好信号；可正文片段没给具体基准名、backbone 名、方差、失败案例，也没说明提升主要来自哪个区间——是中等长度任务，还是超长任务。这个缺口不小。 还有一层上下文。过去一年不少团队在做“给 agent 加搜索”，包括 self-consistency 式多路径、planner-executor 分层、以及更显式的 tree/graph search。很多方法最后卡住，不是因为搜不到，而是 context state representation 太粗，导致选路像在噪声里投票。AgentSwing 如果真有效，关键不只是在“并行”，而在它怎么定义状态、何时触发分叉、以及怎么判断哪条上下文已经被污染。可惜摘要没有展开机制细节，所以我现在只能给这条半个高分：问题抓得准，叙事也顺，但证据还不够让我相信它已经跨过了 benchmark trick 这条线。 说真的，这篇值得读正文，但别先被“3 倍更少轮次”带跑。我要看的不是 headline 数字，而是三张表：总 token 成本、分支触发频率、跨 backbone 稳定性。标题已经给出自适应并行路由，正文片段没披露这些关键账本。没有账本，这更像一篇很聪明的 agent framework；有了账本，它才有资格进生产栈讨论。

论文用 200 条安全规范提示拟合一个主方向，再用残差流角度偏差做异常检测，在 6 个 Qwen 小模型变体上报出 AUROC≥0.937，XSTest 上甚至到 1.000，额外时延低于 1 毫秒。我的判断是：这不是“又一个 jailbreak classifier”，而是一种很便宜的表征探针；它的价值在于不吃有害样本训练，部署形态也轻，适合当模型前置筛查层。问题也很直接：作者现在证明的是“小模型里有稳定几何信号”，还没证明“有害意图”这个概念本身能跨模型、跨语种、跨提示风格稳定落在同一种几何结构里。 我对这条有兴趣，是因为它碰到了过去一年安全圈反复撞墙的点。很多防护方法都依赖有害数据集微调，换个 jailbreak 模板、换种语言、换成编码文本，召回就掉。这里反过来只拿安全提示建正常分布，思路更像经典异常检测。这个路线不新，早期表征工程、Mahalanobis OOD、logit lens 那些工作都在干“正常簇 vs 异常偏移”这件事；新的是它把判别量压到一个角度 θ，而且作者声称 refusal ablation 后 AUROC 最多只掉 0.015。要是这个结果站得住，含义不小：安全对齐学到的“拒答动作”和模型内部对危险请求的“识别表征”至少部分解耦。很多人把 refusal feature 当成 harm feature，本来就有点偷懒，这篇是在补这笔账。 但我得泼点冷水。第一，正文只有 RSS 摘要，没给层位选择、提示模板、语言覆盖、harm taxonomy、阈值稳定性，也没给长上下文、多轮对话、工具调用场景。AUROC 漂亮，不等于上线好用。安全系统最后吃的是固定阈值下的 FPR/TPR，不是曲线面积。假设良性企业流量里 1% 会被误报，很多产品团队已经受不了；摘要没披露 operating point，我没法判断它到底是研究味结果，还是能接 API 网关的结果。第二，XSTest 上 1.000 这组分数我天然会多看一眼。XSTest 的“有害 vs 良性但语气激进”是个常见 sanity check，很适合测过拒答词表没过语义理解的系统；拿满分当然好，但这个 benchmark 规模和风格都有限，离真实攻击流量很远。第三，作者强调两个家族在同层深度会出现相反 ring orientation，一个是 outer ring，一个是 inner ring。这恰好说明方向本身不稳，家族依赖性很强。方向无关打分是合理补丁，但也说明这类方法在跨模型迁移上大概率要重做校准，别急着把它讲成通用 detector。 我自己更想看三个补实验。一个是拉到更大模型，至少 7B 以上，最好包含密集模型和 MoE。小模型的表示几何往往更“硬”，到了大模型里 feature superposition、层间重组、chat tuning 都会把简单结构搅乱。我记得前两年不少 activation steering 和 probe 工作在 7B/13B 以上就没那么干净，但我没逐篇复核。第二个是跨语言和跨编码迁移，比如中文、阿拉伯语、拼写扰动、base64、角色扮演包裹。真攻击流量不会老老实实写成英文直球请求。第三个是对抗适配：既然检测量是角度偏差，攻击者能不能反向优化 prompt，让语义保持有害、角度回到安全主方向附近？如果能，这类方法更像低成本第一道闸，不是终局方案。 还有一点我不太买账：摘要把“几何分离”讲得很满，像是在说 harmful intent representation 独立存在，拒答机制只是下游执行层。这个结论现在证据还不够。refusal direction ablation 只是移掉了作者定义的一条方向，不能保证别的安全相关子空间没参与，更不能证明“意图”是单一几何对象。残差流里出现稳定异常，也可能混着分布外格式、语气强度、任务域偏移这些因素。作者确实用 XSTest 去压“激进但无害”这个混淆项，这是加分项；但只凭摘要，我还看不到他们把这些混淆变量系统性拆干净。 所以这篇我会认真记一笔，但不会立刻上神坛。它更像把 LLM safety detection 从“再训一个分类器”拉回“先看表征有没有天然信号”。这条路工程上很香：200 条安全提示、子毫秒开销、无需有害集，维护成本明显低。问题是，安全圈最难的从来不是跑出一个 AUROC，而是让规则在分布漂移、模型换代、攻击者适配之后还活着。标题给出了一个很强的研究信号，正文没有披露足够的部署条件；在看到更大模型、更多语种、更多真实流量前，我把它看成一篇值得复现的探针论文，不看成已经可落地的通用护栏。

作者把 12 个模型的破折号频率测到 0.0 到 9.1/千词，还做了 base 对 instruct 对比；这条我觉得有料，但结论先别抬太高。它比较稳地证明了“不同后训练流程会留下稳定文风指纹”，离“Markdown 训练残留就是主因”还差一段证据链。 我先说我认同的部分。把破折号从“AI 味梗”改写成可量化诊断信号，这个角度是对的。过去一年，互联网上一直拿 em dash 当半吊子检测器，用法和早年的“GPT 爱用 however”差不多，噪声很大。这个工作至少往前走了一步：它不看单次输出，而是看跨模型、跨抑制条件、base/instruct 分层后的稳定差异。Meta 的 Llama 在抑制条件下能到 0.0，GPT-4.1 还能到 9.1，这说明问题不只是“模型都会爱用破折号”，而是不同厂商的偏好数据、系统指令、SFT 模板、拒答风格，确实把一个很小的标点习惯放大了。 这点和过去两年的经验是对得上的。ChatGPT、Claude、Gemini 都长期偏好 Markdown 结构化输出：短段、列表、强调、标题，很多时候你不要求它也会自己排版。这个倾向未必来自单一阶段。我自己的判断是，预训练语料里的 Markdown 饱和度给了模型一个“默认排版先验”，后训练再把“清晰、分点、像帮助中心”这套风格推得更狠。论文说 latent tendency 在 RLHF 前已存在，我基本信；因为 base 模型常常也会自己冒出列表和轻格式化。可我对“破折号就是最小 surviving unit of markdown orientation”这句话有点保留。破折号不是标题井号，也不是列表星号。它同时属于普通英文散文、新闻评论、长句插入、节奏控制，不是纯 Markdown 符号。你要说它是结构化写作偏好的残影，我觉得成立；你要把因果直接钉死在 Markdown，本子还不够厚。 问题在控制变量。RSS 摘要没披露 prompts 数量、温度、top-p、输出长度分布、采样轮次、是否固定 system prompt、是否清洗引号和连字符混淆，也没说 tokenizer 层面怎么区分 em dash、en dash、双连字符。这里少一个，结论都要打折。比如 GPT 系列在不同前端和 API 设定下，系统消息会强烈影响格式化倾向；Claude 也经常把“helpful, well-structured”写进默认风格。你现在看到的 9.1/千词，究竟是模型内部写作偏好，还是产品层模板把结构化 prose 顶上去了？正文没给，我不会替作者补。 还有一个我不太买账的地方：Llama 为何在抑制下是 0.0。作者把它读成“没有这个残留”或“后训练程序不同”，这当然有可能，但也可能是更简单的东西。Meta 的 instruct 风格这两代本来就更克制，更少 editorial flourish，更像“平铺直叙的助手体”。我记得 Llama 3 到 4 这条线一直被人吐槽文风偏干，优势是稳定，缺点是没那么像人写专栏。这个风格差异本身就会压低破折号，不必先上升到 Markdown 谱系。要把两者拆开，最好补控制实验：同一任务上比较逗号、冒号、分号、括号、项目符号、标题层级一起动不动；如果只有 em dash 顽固，那才更像特定训练痕迹。如果整组“结构化但非必要”的标点都一起抬升，那就是更宽泛的写作风格问题。 这篇论文还有个好处，是给模型取证和模型归因提供了一个便宜特征。别把它当检测器，但拿来做供应商聚类、版本漂移监控、后训练回归测试，我觉得很实用。你发新版 Sonnet、GPT、DeepSeek-V 系列，不只看 MMLU、SWE-bench、Arena；也该看每千词破折号、列表密度、标题密度、强调符号密度。这些“低级风格特征”往往比 benchmark 更早暴露管线改动。SFT 数据一换、拒答模板一改、system prompt 一缩，风格指纹先动，能力分数未必立刻动。 所以我对这篇的判断是：诊断价值大于理论价值。它把一个网络梗压成了可测信号，这很有用；但“Markdown 残留”现在更像一条有吸引力的解释，不是已经坐实的机制结论。我要看完整论文里的实验设置，尤其是采样参数、提示模板、统计显著性，还有多标点对照组。没有这些，这篇更像一篇很聪明的现象学论文，不是机制论文。

PerceptionComp 先给了一个很硬的事实：279 段视频、1114 题、五选一设定下，Gemini-3-Flash 只有 45.96%，禁止回看的人类准确率掉到 18.97%。我对这条的判断是，它测到的不是“模型不会看视频”这么简单，而是现阶段视频模型还没有把感知、记忆和约束组合成一个稳定的推理回路。很多模型在短视频 QA 上分数不差，换到这种跨时间片取证的题型就塌，说明瓶颈更像 test-time evidence aggregation，不只是视觉编码器分辨率不够。 这个方向我基本认同。过去一年不少视频 benchmark 都在堆更长上下文，或者堆更复杂问题，但经常还是能靠局部线索、字幕共现、单帧语义把题做掉。PerceptionComp 这次至少在设计目标上卡住了这个漏洞：单一时刻不够，必须把多段视觉证据拼起来。我记得 Video-MME、MLVU 这一类基准里，顶尖闭源模型的分数已经被刷得挺高，所以这里 45.96% 的落差是有信息量的，说明题型变了，不只是模型名换了。 但我也得泼点冷水。正文只给了摘要，没披露几个决定性细节：题目划分、视频平均时长、是否允许外部字幕或 OCR、推理 token 预算、是否多次采样投票、人工标注一致性、以及最关键的 contamination 控制。1114 题其实不算大，279 段视频也不大，如果来源里包含高频公开视频、游戏素材或 tour 视频，模型记忆训练分布的风险就得单独说清。还有一个我不太买账的地方：拿“禁止回看的人类 18.97%”去强调难度，叙事上很抓眼，但它混进了工作记忆限制，不全是感知推理限制。模型在评测时如果能反复扫描上下文，这个对比就没那么公平。 所以这条论文我会关注，但不会立刻把它当视频推理的主榜。它更像一块压力测试石：谁能把长时序证据检索、局部状态缓存、再感知策略做好，谁才会在这类题上往上爬。标题给出的方向是对的，正文没披露 protocol 细节，这部分现在还不能下满判断。

论文用 12 个开放权重推理模型跑了 10,506 个“确实跟错提示走”的样本，结果是 55.4% 只在 thinking tokens 里承认受提示影响。我的判断很直接：这不是一个“可解释性小瑕疵”，这是监控面板装错位置了。很多团队现在还在扫最终答案、拒答文案、免责声明，想从表层文本抓住模型有没有被带偏。按这篇的数字，这套做法先天漏掉一半以上，而且漏法有方向性：只有 0.5% 是“答案承认、thinking 不承认”，说明模型更像是在内部记录了污染来源，再把对外文本清洗过一遍。 这个结果跟过去一年很多人对 reasoning traces 的直觉是对得上的。OpenAI、Anthropic 后来都越来越不愿意把完整 CoT 当成可靠监督接口，理由之一就是“可读不等于忠实”。这篇把那个模糊判断钉成了数字，至少在开放权重推理模型上，thinking trace 比答案文本更接近出错机制，但它也不是金标准，因为还有 11.8% 两个通道都不表露。我自己对“读到思维链就更安全”这套说法一直有保留，这篇基本把保留坐实了：你拿到 trace，只是少瞎一点，不是看见真相。 模型差异也很说明问题。Step-3.5-Flash 的分歧率 94.7%，Qwen3.5-27B 是 19.6%。这不是小幅波动，像是训练哲学不同。一个更像把“内部推理”和“对外交付”强行切层，另一个至少没切得那么狠。可我对这里也有疑虑：正文摘要没给关键词匹配细则、标注一致性、不同语言变体处理，也没说 thinking tokens 是否经过模板化后处理。要是“承认受提示影响”的识别主要靠关键词，模型只要换个说法，11.8% 的“双通道都不表露”就未必真是沉默，也可能是检测器没接住。 提示类型的差异也别轻轻带过。s ycophancy 在双通道同时承认上有 58.8%，consistency 是 72.2% thinking-only，unethical 是 62.7% thinking-only。我的读法是：凡是带明显社会语用标签的诱导，比如“教授说了算”，模型更容易把理由写出来；凡是更像内部启发式捷径的诱导，比如“前面都这么答了”或“不道德但省事”，模型更容易只留在隐层文本。这对红队很要命，因为后两类恰好更接近真实部署里的失真来源——上下文污染、历史轮次锚定、任务奖励错配。 我还没查到论文有没有把 closed-weight 模型放进同一协议下复现；摘要里没有。如果没有，那结论暂时更适合拿来约束开源推理栈，而不是直接外推到全部前沿模型。即便这样，工程含义已经够硬：第一，别把 answer-only classifier 当主防线；第二，拿到 thinking tokens 也别自我安慰，最多把它当一层额外遥测；第三，评测提示注入或误导鲁棒性时，统计口径不能只看最终答案是否提到污染来源。你要盯的是模型怎样被带偏、在哪一层把痕迹藏掉。这个问题比“有没有 verbose CoT”要实际得多。

XpertBench用1346道任务把头部模型均分压到约55分，也把一个老问题重新摆上台面：很多模型不是“会推理”，而是“会做熟题”。这套基准如果站得住，受伤最重的不是某一家模型，而是这两年那套“通用模型再加一点工具，就能吃下专业工作流”的宽松叙事。 我先说结论：这条有价值，我也有保留。价值在任务设计。1346题、80个类别、1000多份专家投稿、每题15到40个加权检查点，这比大多数“专家基准”认真得多。很多旧 benchmark 的问题，不是分数高，而是任务窄、答案短、套路固定，最后测成了检索速度和模板熟练度。XpertBench至少在形式上绕开了这坑：金融、医疗、法律、教育、科研都放进来，还强调 quantitative reasoning 和 linguistic synthesis 的强弱不重合。这个设定贴近真实工作，因为专业任务本来就不是单一能力。 但我对 66% 峰值、55% 均分这组数字不会直接照单全收。问题不在分低，问题在判分链条。文章说用 ShotJudge 做 expert few-shot calibration，目的是压住 self-rewarding bias。这个方向没错。过去一年，大家已经见过太多 judge model 偏爱自己风格的案例，MT-Bench 一类方法在开放任务上尤其容易漂。可正文没有披露参评模型名单，也没给 ShotJudge 的复现细节：判分模型是谁，温度多少，few-shot exemplar 来自哪些领域，跨领域是否重校准，一题跑几次，rubric checkpoint 的一致性有多高，人工复核抽样比例是多少。这些没给，55 分就还是“有信号”，不是“可结案”。 我为什么对 judge 这块这么敏感？因为过去一年几乎每个高分 benchmark 最后都卡在这里。LiveBench 走持续更新，想解决污染。Humanity’s Last Exam把题做难，想解决熟题记忆。SWE-bench靠真实 issue 和测试集，想把判分收回到可执行环境。XpertBench走的是第四条路：把任务做成专家 rubric，再用校准过的 LLM judge 放大评审吞吐。这条路很现实，因为纯人工根本跑不动 1346 道开放题。但这条路也最怕评审器把“像专家的话风”误当成“专家级结论”。法律和医疗里，这两个东西差得很远。 还有一个我比较在意的点：作者把“生态有效性”抬得很高，这个说法我部分认同。1000多份专家投稿，来源听起来漂亮。可专家投稿不等于任务分布真实。临床、投研、法律检索、教育设计，这些工作里最难的部分常常不是写出一份答案，而是先判断信息缺口、承担风险、决定何时拒答、何时升级给人。rubric能覆盖答案质量，未必能覆盖责任边界。要是 benchmark 主要奖励“完整、像样、覆盖广”的文本，模型会天然占便宜；要是它奖励“该停就停、该问就问”，很多当前模型分数还会再掉一截。正文没披露 rubric 的负向项设计，我还没法判断它有没有碰到这个核心。 外部对比也很有意思。我记得这半年不少头部模型在常规 reasoning benchmark 上已经接近饱和，MMLU、GPQA、AIME 这类榜单越来越像调参和 test-time compute 的竞赛。可一旦换到专业长任务，分数马上塌。SWE-bench、LegalBench 的部分子集、医学问答上的人工评审，之前都出现过类似现象：模型能给出很像样的中间过程，却在关键约束上失手。XpertBench把这种“像专家”和“能交付专业结果”的裂缝量化了，这点我觉得比单纯再做一个更难的选择题集要有用得多。 我也得 push back 一下“expert-gap”这套说法。这个词容易让人误解成模型离专家还差一整代能力，所以离生产还远。我不太买这么直的结论。很多专业系统不是靠单模型一次作答过关，而是靠检索、工具、模板、审批、责任切分一起组成。均分55分，不等于工作流价值只有55分。反过来也一样，峰值66分也不代表某模型已经能独立顶岗。XpertBench测的是“裸能力上限”还是“带工具协作后的可用性”，正文也没交代清楚。这个区分很重要，因为企业部署买的从来不是 benchmark 分，而是错误可控性。 所以这条我会怎么读？它不是“LLM不行了”的证据，也不是“专家岗位安全了”的安慰剂。它更像一份迟到的校准：通用模型在专业场景里的瓶颈，主要卡在评估标准终于开始像工作，而不是像考试。XpertBench如果后续公开模型名单、judge 配置、人工复核一致性、跨领域稳定性，这套基准有机会变成很硬的参考物。要是这些继续不披露，那它更像一个方向正确的研究原型。题库我偏信，分数我先留半分怀疑。