全部 · 2026-03-30

Trojan-Speak 在 14B+ 模型上实现了 99%+ 规避率，并把推理基准损失压到 5% 以下。我的判断很直接：这不是一篇“又一个 jailbreak”论文，它打到的是部署层最常见的一种安全架构——把危险输出拦在一个外置或并列的 LLM 分类器上。只要攻击者拿到微调接口，这层边界就不再像产品页写得那么硬。 文章给出的关键信号有两个。第一，攻击不是靠一次性提示词，而是靠对抗微调学出一套稳定通信协议。第二，作者专门强调“no jailbreak tax”，也就是能力损失低于 5%，而旧方法常见是 25% 以上。这里的信息量很大。过去很多安全团队对抗微调没那么紧张，一个原因就是攻击模型往往会变笨，商业上不划算。现在如果规避率 99%+，同时主任务能力只掉不到 5%，那攻击者拿一个开源底座或可微调商用模型，做出“平时像正常助手，遇到特定危险查询就切换协议”的系统，成本就现实了。 我一直觉得，很多厂商把“模型 + 宪法 + 分类器”讲成分层防御，但在微调开放后，这更像把同一种表征偏好重复堆了两遍。分类器如果还是 LLM-based，它读到的分布和被攻击模型生成的分布并不独立。你让同类模型互相审查，平时够用，遇到专门训练过的规避协议就容易同源失效。这个问题在过去一年其实反复出现过：从 jailbreak transfer、hidden prompt injection，到工具调用链里的 policy evasion，很多失败都不是单点 bug，而是“审查器和被审查对象共享同一套语义捷径”。这篇论文只是把这个洞在 fine-tuning setting 里做得更干净。 我对文中的 99%+ 也有保留。正文只有 RSS 摘要，没披露样本规模、评测轮次、具体基线模型、query 分布、probe 的误报代价，也没说是白盒还是黑盒拿到 Anthropic 分类器接口。没有这些，99% 这个数字还不能直接拿去推产品风险预算。尤其是 CBRN 这类高风险问答，评测集构造会极大影响结果：如果问题都来自同一 bug bounty 风格分布，攻击学到的是一组窄协议；如果覆盖专家级变体、跨语种、跨工具链，难度会高很多。这个我还没查到，不能替作者补。 即便把数字打折，我还是觉得这条很重，因为它碰到一个行业里不太愿意承认的现实：开放微调接口，本身就是把安全边界从“推理时控制”挪成“训练后博弈”。Anthropic 这次被点名，不代表只有 Anthropic 有问题。OpenAI、Google、Meta，谁给 adapter、LoRA、continued pretraining、policy tuning 之类入口，谁都要面对同类攻击面。区别只在于，你是把接口开给谁、能改多深、能不能监控表示层漂移、以及是否把高风险能力和通用能力拆仓。 摘要里提到 activation-level probes 能明显增稳，这个方向我比较买账。原因不神秘：输出文本可以伪装，内部激活往往更难完全对齐伪装目标。过去一段时间，很多安全研究都在往表征层走，比如用 probe 抓 deception、hidden objectives、unsafe intent，思路都类似。但我也不想把 probe 讲得太神。probe 一旦进入对抗循环，攻击者迟早会把“骗过 probe”也写进奖励函数。只要有足够微调预算，检测器同样会被针对。它比纯文本分类器更难骗，不等于不能骗。 我更在意的工程结论是：高风险域别再把单个 LLM 分类器当终点。至少要做三层东西。第一层是接口权限，很多人其实不该拿到能改安全相关行为的微调能力。第二层是训练时审计，盯 reward shaping、数据配方、adapter 更新方向，不是只看输出。第三层是推理时多模态或多信号联防，把 activation probe、tool-use policy、检索白名单、速率限制绑在一起。少一层都容易被这种对抗微调钻空子。 还有一点挺刺耳，但得说：如果论文可复现，所谓“Constitutional Classifiers”这个命名会显得有点过。它听上去像原则内化，实际摘要描述的是一套可被协议学习绕过的分类边界。名字不是重点，安全边界的可验证性才是。现在标题已经给出 99%+ 规避和 <5% 能力损失，正文没披露更细实验条件；在这些细节出来前，我会把它看成一个很强的红旗，而不是已经盖棺的通杀结论。

这篇论文评测 14 个模型得到的硬结果很直接：HOB 的 500 条样本里，严格计分下没有模型超过 75%，presence constraints 这一类最低只有 44%。我对这条的判断是，它打到的不是“LLM 缺常识”这个老说法，而是另一处更麻烦的结构性问题：模型在没被明说的可行性约束前，先拿显眼词做了近似决策，后面的推理链很多时候只是把这个近似答案补成一句像样的话。 这个点我比较买账，因为它和过去一年很多“高分推理模型翻车”其实能接上。GSM8K、MATH、AIME 这类题，约束通常写在题面里，模型主要难在算不算得对。HOB 盯的是另一层：约束没有消失，只是埋在任务语义里，要先把“能不能做”补出来，再谈“该怎么选”。这跟代理任务、工具调用、规划执行更接近。你让模型订票、下单、查路线、调 API，出错往往不是知识缺口，而是它抓住了“最近”“最便宜”“最相关”这种表层启发式，却没先检查前提是否成立。论文里“洗车问题”给出的 8.7 到 38 倍线索强度差，算是把这种直觉第一次压成了可量化现象。 我还挺在意它给出的修复信号。最小提示平均能拉回 15 个百分点，目标分解提示再加 6 到 9 个百分点，这说明参数里大概率有相关知识，坏在调用顺序，不全是能力上限。这个结论和近一年的 prompt engineering 经验很一致：让模型先列 preconditions、再列可行动作、最后选方案，常常比直接要求“请仔细思考”更稳。很多团队把这叫 workflow discipline，不叫 reasoning breakthrough，我觉得这个叫法更诚实。你不是把模型变聪明了，你是在减少它被显眼词带偏的机会。 但我对这篇论文也有两处保留。第一，正文片段没披露 14 个模型具体是谁、大小多大、是否含 test-time reasoning 或 tool use，我没法判断这个 75% ceiling 到底有多“当前沿”。如果里头混了不少旧模型，这个上限会偏低。要是 Claude、GPT、Gemini、Qwen 的当代主力推理版也都在这个区间，那信号就重很多。第二，HOB 是 500 条 benchmark，设计上有 minimal pairs 和 explicitness gradients，这很适合做机制诊断；可它离真实世界还有一步。真实任务里的约束更脏，往往不是单一隐含前提，而是多个软硬约束一起冲突。实验里能用一句 hint 拉回 15 分，到了生产环境，谁来稳定地产生那句 hint，才是系统问题。 还有个地方我觉得作者的叙事要收一点。论文把问题定成“constraint inference failure rather than missing knowledge”，方向是对的，但别急着把两者切太开。隐含约束推断本身就依赖世界模型、任务经验和语义压缩能力。你可以说知识在参数里，但如果模型默认检索的是“关键词共现”而不是“可行性结构”，那在系统层面它照样表现为不会。工程上这两个诊断最后会汇到同一个动作：把约束显式化，把检查步骤前置，把答案生成和前提验证拆开。 我一直觉得，这类论文对 agent 比对 chatbot 更重要。聊天时被表层词误导，最多是答错；执行任务时被表层词误导，会真的去调用错误工具、走错误路径、消耗真实预算。过去大家拿 SWE-bench、BrowseComp、GAIA 这种综合分数看 agent，我自己就觉得有点粗，它们能告诉你模型总体强弱，抓不住这种“先天偏向显眼线索”的局部病灶。HOB 这种 benchmark 的价值，不在再造一个排行榜，而在提醒大家把评测单元拆细：表层相关性、隐含可行性、保守偏置、前提枚举，这些要分开测。 所以我会把这篇看成一个很实用的警报，不是能力宣判。它告诉你：如果产品流程里还允许模型在没枚举约束前直接下判断，你迟早会遇到那种看起来很顺、执行起来很错的答案。标题说的是 walk，我看到的是一整类 agent failure mode 被点名了。

OptiMer 把数据配比搜索从训练前挪到训练后，这一步比论文标题更重要。作者在 Gemma 3 27B 上先按数据集各训一个 CPT 模型，再把每个模型的参数位移抽成 distribution vector，最后用贝叶斯优化搜权重，文中说在日语、中文、数学、代码四类目标上都优于数据混合和模型平均，搜索成本低 15–35 倍。这个结论如果能复现，意义不在“又一个 merge 技巧”，而在 CPT 这件事终于有机会摆脱最笨的外层超参循环：先拍脑袋定 mixture，再烧几周算力，错了就整轮重来。 我一直觉得，持续预训练最浪费钱的地方不是单次训练，而是配比决策被绑定在训练启动前。RLHF、SFT、DPO 这些环节，行业过去一年已经很习惯把搜索留到后处理，比如 LoRA merge、policy interpolation、reward-weight sweep，很多团队都在干。只有 CPT 还常常停在“先猜一个 40/30/20/10 的混合比”。OptiMer 的意思是，至少在这篇论文覆盖的设置里，这个假设可以松动：你先把各数据集诱导出的更新向量存起来，目标变了就重搜一次权重，不必把底座再烤一遍。对大团队，这会直接改变实验队列的形状；对中小团队，这甚至决定你能不能做多目标 CPT。 这里有个很关键的上下文。过去一年模型合并很热，但大多数方法卡在两件事：一是能力互相干扰，二是 merge 后的目标不可解释。TIES-Merging、DARE、task arithmetic 这些路子，大家都见过一些漂亮图，也见过不少“平均完啥都平了”的事故。OptiMer 的聪明点在于，它没把 merge 当成通用万金油，而是把 distribution vector 直接绑回“某个数据集导致的参数位移”。文章里甚至说，搜出来的权重可以解释成数据混合比例，拿这组比例回去重训 data mixture CPT 还能变好。这个桥接很值钱，因为它让 post-hoc merge 不再只是临时 patch，而是反过来给原始数据配方提供信号。 但我对这条也有几处保留，而且都不小。第一，正文没有给具体分数、数据规模、训练 token 数、搜索轮数，也没说 15–35 倍成本下降的口径是按 GPU 小时、总 FLOPs，还是 wall-clock 算。没有这些，结论只能先记成“方向有意思”，还谈不上工程上能直接抄。第二，作者的方法前提是“每个数据集各训一个 CPT 模型”。如果你有 8 个语种、6 个专业域、再加代码和数学，这个向量池的首付并不便宜。它省的是后续组合搜索，不是首轮建库成本。对已经会长期做 CPT 的平台团队，这笔首付合理；对只做一次专项适配的团队，账未必划算。 第三，我有点怀疑 distribution vector 的可加性在多远的范围内还成立。日语、中文、代码、数学这四类任务，本身就比较适合被看成“方向明确的增量更新”。你把范围扩到安全风格、长上下文记忆、工具使用格式、甚至多模态对齐，向量之间会不会出现更强的曲率和冲突？这篇摘要没回答。我自己也没跑过 Gemma 3 27B 这一套，但按过去 task arithmetic 的经验，模型越大、目标越异质，线性组合经常先给你一点甜头，再在分布外样本上漏出毛病。 还有一个容易被标题盖过去的问题：它赢的是哪些 baseline。文中只说超过 data mixture 和 model averaging。这个比较是合理的，但还不够狠。现在很多团队在做 continual pre-training，不会只用朴素 mixture ratio sweep；会配 curriculum、temperature sampling、loss reweighting，甚至直接上 gradient-based data selection。OptiMer 如果只赢“预先设比 + 训练”和“直接平均模型”，那说明它至少是一条强基线；要说它定义了新范式，我还得看它碰一碰更现代的数据选择方法。 即便带着这些保留，我还是觉得这篇论文会被很多做开源底座适配的人认真看。原因很现实：Gemma 3 27B 这个规模已经足够接近不少团队的上限，15–35 倍的搜索成本差如果不是统计幻觉，就会把“多目标小步快跑”变成可能。你可以先积累日语向量、中文向量、代码向量，之后按 eval 目标临时拼一个版本出来。这很像把 LoRA 仓库思路搬到 CPT，只不过对象从 adapter 变成更接近 full-model 更新的分布向量。 我还想补一个行业面的判断。过去大家说数据是模型公司的护城河，讲法常常太粗。OptiMer 这类方法会把护城河往前挪一层：不是“你有多少数据”，而是“你有没有整理出一组可重组、可搜索、可解释的数据诱导更新库”。如果这条路走通，未来内部平台可能不会只管理 checkpoint，还会管理 vector inventory、目标函数、约束条件和搜索历史。那时数据工程和模型工程的边界会更模糊。 眼下我不会把它吹成 data mixing 的终结者。标题已经给出 15–35 倍和优于基线，正文没披露具体分数、数据规模、搜索预算、评测集构成，这些都卡着结论的强度。可这篇至少点中一个老问题：CPT 最痛的不是训不动，而是每次改配方都要重开一锅。谁先把这件事从“训练问题”变成“组合问题”，谁就先拿到实验速度优势。

Rita Lin 上周以 43 页意见书暂缓五角大楼把 Anthropic 列为供应链风险，并禁止政府落实停用命令。我的判断很直接：这不是 Anthropic 赢了一场普通合同纠纷，而是法院先把一种近年越来越常见的手法按住了——先在社交媒体给公司扣政治帽子，再让律师事后补程序和证据。 文章给出的核心事实很硬。特朗普 2 月 27 日发帖点名 Anthropic，3 月 3 日政府正式提报；Hegseth 公开讲 Anthropic 有“kill switch”风险，政府律师到庭又承认没有证据；法官还写明，法定程序里该做的一些步骤根本没完成。这个组合对政府很伤，因为它让“国家安全判断”看起来更像“先有政治结论，再找法律落点”。一旦法院接受这种时间线，行政机关在技术供应商上的裁量空间就会被重新审视。 我对文章里的一个潜台词是买账的：这案子表面是供应链风险，骨子里是言论与采购权的边界。美国政府当然可以不买一家公司的产品，这点没争议。问题在于，你能不能把“不想买”升级成“把它描述成破坏者”，还顺手要求承包商也别碰。法官这里卡得很准：Hegseth 说“任何与美军合作的承包商、供应商、伙伴都不得与 Anthropic 有商业往来”，结果政府律师自己承认这句话“完全没有法律效力”。这一下很伤公信力。你要是真有供应链证据，就走法定路径；你要是没有，只靠官员发帖加压，法院大概率会把它看成报复。 这里有个文章外的参照系。过去几年，华盛顿对科技公司的控制工具越来越像“软性去平台化”：不一定正式禁用，但会通过采购、合规、伙伴关系给出强烈信号。云计算时代的先例不少，JEDI 合同争议、TikTok/ByteDance 的国家安全叙事、对华芯片出口限制里的实体清单逻辑，都是行政权通过程序工具影响市场结构。区别在于，那些案子通常至少会尽量把程序走完整，把证据和权限包装得更严密。Anthropic 这次麻烦就麻烦在，公开表态和法庭口径对不上，还被法官抓到了意识形态惩罚的迹象。这个记录一旦形成，后续上诉也很难把语境完全洗掉。 我对 Anthropic 这边也不是全盘同情。文章提到 2025 年国防部门一直在用 Claude，经由 Palantir 接入，用户要接受一套政府专用政策，Jared Kaplan 说其中禁止“大规模监控美国人”和“致命自主作战”。但正文没披露那套政策的具体条款、执行机制、例外条件，也没说 Pentagon 和 Anthropic 直接签约时到底在哪些条款上谈崩。说实话，这块恰恰是判断案件长期走向的关键。如果 Anthropic 既想拿防务合同，又坚持一组红线条款，那冲突并不意外。法院可以拦住政府程序违法，但拦不住国防系统以后绕开你采购。 这也是我觉得文章最后一句最现实的地方：就算 Anthropic 赢了，政府依然有很多不违法的冷处理手段。国防承包商最怕的不是纸面禁令，而是“你自己体会”。如果承包商判断继续跟 Anthropic 合作会影响自己拿单，它们会先自我审查。这个机制在政府采购里一直存在，而且比正式黑名单更难打。判决能恢复 Anthropic 的法律位置，未必能恢复它在防务生态里的交易信心。 再往行业里看，这案子会让“安全型 AI 公司如何做国防生意”变得更尖锐。Anthropic 过去一年一直在走一条很窄的线：一边卖安全叙事，一边接政府和国防需求。OpenAI、Microsoft、Palantir 这几家在对政府合作的表述上普遍更务实，边界说得没那么硬；Anthropic 把原则写得更显眼，品牌上加分，谈判上就更容易撞墙。我还没看到正文提供 Anthropic 在联邦业务上的收入占比，所以不能判断这案子对它财务面有多大冲击。但从策略上看，这已经不是“要不要做政府单”，而是“愿意为哪些限制条款承受多高政治成本”。 我还有一个保留意见。文章把这事框成“culture war tactic backfired”，这个判断不算错，但略轻了。因为政府如果目标不是在法庭上赢，而是向整个承包链条释放威慑信号，那它并没有完全失败。法院已经挡住正式 designation，可 Anthropic 仍被写成 persona non grata，合作方也已经接收到风险提示。对很多采购官和承包商来说，这种寒蝉效应足够用了。 所以，这案子的短期输赢很好看，长期含义更硬：联邦 AI 采购开始从“能力、价格、合规”三件事，滑向“意识形态兼容性”第四件事。法院这次踩了刹车，但没有把车开回原路。文章已给出 7 天上诉窗口，正文没披露政府是否会补证据、改程序、还是转用别的法律工具。如果我是 Anthropic，我现在担心的不是输掉这一轮，而是以后每一次政府客户拓展都要先过一遍政治风险审查。

PROClaim 在 Check-COVID 做到 81.7% 零样本准确率，比标准多智能体辩论高 10.0 个百分点；按摘要写法，主要增益还不是“法庭感”，而是 Progressive RAG 单项就贡献了 7.5 个百分点。我的判断很直接：这篇 paper 有价值，但价值先落在“检索流程设计”上，不在“原告、被告、法官”这套叙事包装上。 我一直觉得，多智能体辩论这条线过去一年有点被讲过头了。很多系统把 agent 数量加到 3 个、5 个、7 个，最后收益常常来自多次采样，或者来自更长上下文，不是来自辩论本身。Google、Anthropic、OpenAI 相关工作里都反复出现过这个问题：只要证据池没变，多个 agent 很容易共享同一批错证据，然后一本正经地把错答案辩圆。PROClaim 至少碰到了这个老毛病的核心——不是先定证据再讨论，而是在讨论过程中继续扩证、修证。这点我买账，因为高风险核验里，单轮 RAG 本来就经常卡在第一跳检索偏差上。 但我对摘要里的叙事还是有保留。81.7% 和 +10.0 pp 听着不错，问题是摘要没有披露几个关键条件：第一，标准 MAD baseline 用的是哪一版实现，agent 数、轮数、token budget 有没有对齐；第二，P-RAG 每轮额外拉了多少检索文档，最终成本涨了多少；第三，Judge 和多 Judge aggregation 用的是同构模型还是异构模型，异构到什么程度。少了这些，现阶段我更愿意把它看成“用更多过程预算换来更好核验”，而不是已经证明“法庭式结构天然更优”。这两件事差别很大。 还有个点，Check-COVID 是争议性声明核验里一个合适但偏窄的数据集。它的主题集中，证据分布也相对可控。这个结果能不能迁到政治声明、医学指南更新、金融传言，我没在摘要里看到。去年不少 fact-checking 和 long-form QA 论文都有类似情况：在单一数据集上提升 5 到 10 个点，一换领域就掉回去，原因通常不是推理坏了，而是检索源、证据冲突形态、标签定义都变了。PROClaim 如果只在 Check-COVID 抬分，我会把它看成“一个不错的 pipeline”；如果它能跨 FEVER、SciFact 或更新一点的多跳核验集复现，我才会把它当成方法论信号。 我还想追一个很实际的问题： role-switching 到底是在减偏差，还是在制造额外随机性。摘要提到 self-reflection、evidence negotiation、heterogeneous multi-judge aggregation，这些组件听起来都对，但这种系统最容易出现的事，就是每层都加一点 heuristic，最后 ablation 只告诉你“全开最好”，却说不清哪部分在稳定起作用。我自己还没去看原文和代码，所以这里先不下死结论；摘要只给了 P-RAG +7.5 pp，其他模块各自贡献正文未披露。 说真的，这篇 paper 给我的启发，不是“以后 claim verification 都要学法庭”，而是一个更朴素的经验：先把证据搜索做成逐轮更新，再谈 agent 之间怎么吵。过去很多 agent 论文把 deliberation 写得很满，检索却还是一锤子买卖，这个顺序本来就反了。PROClaim 至少把顺序摆正了。 代码和数据已公开，这点加分很实在。接下来我会先看两样东西：一是 cost/latency 曲线，二是跨数据集复现。要是 token 成本翻了三四倍才换来 10 个点，部署价值要重算；要是换到别的核验集还能站住，那这套结构就不只是论文技巧。

MiroEval这篇最对的地方，是它把评测对象从“最后那份报告”挪到了“中间那条研究链”。100个任务、13个系统、70个纯文本加30个多模态，这组规模不算大，却已经足够说明一个老问题：很多所谓 deep research 系统，最后能写出一篇像样报告，不等于中途检索、筛源、交叉核验真的过关。论文说过程分数能预测总体结果，我基本认同。做过 agent 的人都知道，最终答案常常被长输出和漂亮结构掩盖，尤其在开放网页任务里，错一步引用、漏一个反例，最后照样能写得很像对的。 这条放在过去一年的基准演化里看，很顺。早期很多 agent benchmark 还是偏 terminal success，像能不能调到 API、能不能把网页点通、能不能交付一个可评分答案。那类评测有用，但天然奖励“把活做完”，不太奖励“怎么做对”。OpenAI Deep Research、Google Gemini 的长程研究模式、Anthropic 的 computer use 线路，过去一年都把行业推向同一个问题：我们到底在评估研究能力，还是评估一套长输出模板加工具编排？MiroEval至少承认，答案不是只看 report score。这个转向我觉得比“多一个 benchmark”本身更有信息量。 我比较认同它加上的第三维：process-centric evaluation。原因很实际。研究型 agent 的失误，很多不发生在最终总结，而发生在路径选择。先搜错关键词，后面全歪。先信低质量来源，后面再怎么总结都没救。多模态任务又把这个问题放大，因为图片、图表、PDF 附件、截图，本来就会破坏传统 text-only 的检索和核验链。论文给出的结果是，多数系统在多模态任务掉3到10分。这个幅度不夸张，反而像真数据。过去几波多模态 agent 演示里，大家都爱展示“看图后给结论”，但一旦任务要求把网页、附件、图表和时间条件拼起来，错误率通常明显上升。这个我自己很买账。 但我对论文里的两层叙事还是有保留。第一层是“过程分数能预测结果”。可以，问题是怎么定义过程好坏。正文摘要提到会审计 search、reason、refine，可没披露更细的标注协议、审计粒度、评分员一致性数值，也没说过程日志能否被模型针对性优化。只要 rubric 固定，模型很快就会学会“表演一个像样的过程”。这不是抬杠，过去 ReAct、Toolformer 之后一堆 agent trace 都出现过这个问题：链路看着很勤奋，实际信息增益很低。标题给了方向，正文摘要没给足机制，我暂时不会把“过程分数”当成金标准。 第二层是自家模型 MiroThinker-H1 总分最高。说实话，我对任何 benchmark owner 同时拿第一都天然更谨慎，不是说它一定有问题，而是这类结果需要更重的透明度来抵消怀疑。任务构建流程、rubric 设计、factuality verifier 的检索源、人工复核比例，这些都会影响排名。论文摘要说有人类验证和 robustness 结果，但 RSS 片段没给具体数。我还没查到 full paper 里的详细表格。如果没有足够公开的 annotation guideline 和 error breakdown，这个第一名的说服力会弱不少。 外部参照也能说明这事为什么重要。过去很多事实性 benchmark，比如简单 QA、封闭集多选、甚至一些 web arena 式对比，都会高估“写作能力强”的系统。你看一些模型在长文总结、格式遵从上表现很好，可一到引用追踪、证据合并、图表理解就掉速。MiroEval至少试图把 outcome、factuality、process 拆开，这个拆法比单一分数更接近真实使用场景。我一直觉得 deep research 产品最后拼的不是“会不会写结论”，而是“能不能稳定地产生一条可审计的证据链”。企业场景里，后者才决定你敢不敢让它进高价值工作流。 还有一个我觉得论文碰对了，但摘要没展开的点：可周期更新。很多 benchmark 一发布就开始过时，尤其研究型任务和开放网络知识高度相关。100个任务如果真能按双路径流程持续刷新，它的价值会高于一次性 leaderboard。原因很简单，deep research agent 最怕刷题化。一旦任务集固定，系统优化很快会从“研究能力”滑向“基准记忆”。这个问题在过去两年的 coding 和 math benchmark 上已经看得很清楚。我没看到它的更新频率、退役规则、泄漏检测设计，摘要没披露，这部分决定它能不能活成一个长期基准，而不是一篇首发论文。 所以我的结论挺直接：MiroEval不是那个“一锤定音”的评测，但它选对了评估方向，尤其是把过程质量拉进主舞台。对做 agent 的团队来说，这比又一个总榜分数更实用。你要是现在还只盯最终报告评分，基本等于在奖励会包装的系统。你要是开始拆检索路径、证据引用、修正动作、多模态掉分点，那才是在评估研究代理本身。至于 MiroThinker-H1 的榜首，我先记一笔，不先下结论。等完整 rubric、审计协议、人工一致性和开放复现实验出来，再决定这榜单有多硬。

Marco DeepResearch 把验证塞进 3 个环节，并在 600 次工具调用下逼近 30B 代理。我的判断很直接：这条路子是对的，但论文现在更像方法宣言，还不是已经站稳的工程答案。深度研究代理这类系统，失败常常不发生在最后一跳，而是发生在更早的脏数据、错误轨迹、错误停止条件里。你把验证只放在最终答案评分，收益通常有限；你把验证嵌进数据合成、轨迹构造、测试时扩展，收益才有机会叠加。这点我基本认同。 文章给出的贡献分成 3 层。第一层是 QA 数据合成，要控制难度，还要保证答案唯一且正确。第二层是轨迹构造，把显式验证模式写进训练轨迹。第三层是测试时扩展，让模型自己当 verifier。这个设计思路，跟过去一年 agent 训练里最常见的问题是对上的：很多团队把检索、规划、反思、工具调用全塞进同一条 rollout，最后学到的是“看起来像研究”的表演，不是稳定纠错。Marco 这篇至少在方法论上承认了一件事：深度研究不是单次采样问题，而是误差在长链路里滚雪球的问题。 我为什么说方向对。因为过去一年的公开结果已经反复说明，小模型 agent 的上限常常不是 base model 本身，而是验证和搜索做得有多狠。Deep Research、WebSailor、Search-o1 这一脉，很多增益都来自更强的 test-time compute、更细的工具路由、还有对中间状态的筛查。我记得 OpenAI 最早那版 Deep Research 产品叙事，核心也不是单纯“更大模型”，而是长时检索、引用、计划执行的系统封装。Anthropic 在 computer use 和 tool use 上也走过类似路：先把模型接到工具，再补约束和检查，不然长链路错误会指数放大。Marco 的意思其实很朴素：既然错误会层层传染，那就别只在终点验尸。 但我对这篇的证据强度有几处保留。第一，正文只有 RSS 摘要，没有 benchmark 细表。它说“多数高难基准”胜过 8B 级代理，也说在 600 次工具调用内“超过或接近” Tongyi DeepResearch-30B。问题在这几个词：多数是多少，超过了哪些点位，接近的差距是 0.5 分还是 5 分，方差多大，重复实验多少次，摘要都没披露。深度研究代理的评测对 prompt、浏览环境、搜索 API、超参都很敏感。没有完整表格，我不会把这句直接读成能力代差。 第二，600 次工具调用这个预算听着大方，工程上未必便宜。真做过 research agent 的人都知道，工具调用次数不是中性指标。一次 search、一次 page fetch、一次 rerank、一次 extract、一次 verify，延迟和成本差别非常大。论文如果只给“最多 600 次调用”，却没拆调用类型、平均调用数、成功样本的 token 开销、 wall-clock latency，那这个比较就不够公平。30B 模型在更低调用预算下如果能打到相近分数，结论会完全不同。标题给了预算上限，正文没披露成本结构，这个缺口不小。 第三，我对“self-verification”一直有点警觉。同一个模型既当 actor 又当 verifier，优点是便宜、闭环、容易扩展；缺点也很明确：如果 actor 和 verifier 共享盲点，它会把错误解释成一致性。去年不少 self-refine、self-consistency、reflection 类工作都碰到过这个墙：当基础判断错了，重复检查只会更自信。Marco 如果真把自己当 verifier 用得很好，我想看的是两类额外证据：一类是外部 verifier 或规则程序对比，另一类是 error taxonomy，看看它到底修掉了检索错、引用错、归纳错，还是只修掉了格式错。摘要没给这些。 还有一层上下文我觉得很关键。8B 级 agent 现在不弱，尤其在工具链和数据做得好的情况下。过去一年开源圈已经多次证明，8B 到 14B 模型配上更强搜索、重排和轨迹蒸馏，能打穿一批只靠参数量的 30B 方案。所以 Marco 打到 Tongyi DeepResearch-30B 附近，我第一反应不是“30B 没意义了”，而是“30B 的系统设计可能没有把参数优势转成有效搜索收益”。这对行业有点刺耳，但很现实：在长链路任务里，系统误差经常比参数差距更大。 我也得承认，这篇如果完整论文把数据集构造、验证器设计、消融实验都铺开，含金量会很高。尤其是 QA synthesis 那层。因为合成长问答数据最麻烦的不是产量，而是唯一答案和难度控制。很多 agent 数据集表面复杂，实际答案模糊，或者问题本身奖励浅层检索。Marco 如果真能稳定地产出“可验证、可控难度、唯一答案”的训练样本，那价值不只在这一个 agent，后面一批检索推理模型都能吃到红利。 我现在的结论是：这篇抓到了 deep research agent 的痛点，验证中心设计也比“加参数、加 rollout”更像正路；但摘要还没给出足够硬的成本和评测细节，我不会因为一组“600 次调用逼近 30B”就下能力重估。等完整表格出来，我最想看 3 件事：调用类型和均值成本、外部 verifier 对比、还有失败案例分布。没有这些，这条更像一个有方向感的研究框架，不是已经被证明的胜负手。

论文把 Claude Sonnet 放到 55 个 World Values Survey 题目、90 个国家样本里比较，结论很硬：它的价值画像最接近北欧和英语国家，而且多数题目跑到了所有受访国家区间之外。这个结果比“模型有文化偏向”更刺耳，因为它指向的不是训练语料里混进了偏见，而是 Constitutional AI 把一组具体价值观做成了稳定默认值。再加 12 国文化语境，模型只换措辞，不改立场；移除 system prompt，也只是拒答变多。按摘要给的信息，这个值班的人不是 system prompt，而是更深层的训练与对齐堆栈。 我一直觉得，业界对“可解释对齐”的叙事有点过。Anthropic 这几年把 constitution 当成透明性的卖点，这当然比纯 RLHF 黑箱多了一层可审计文本；但可审计不等于可中立。OpenAI、Meta、Google 的模型也都有规范性默认值，只是没把它写成“宪法”这个更好讲故事的形式。这里尴尬的地方在，Anthropic 恰恰因为写了宪法，反而更容易被检验出价值来源。论文还说 Haiku 复现同一画像，这点很关键：如果大小模型同向，问题就不像单一 checkpoint 漂移，更像整个训练管线共享同一价值重心。 我对这篇论文也有两个保留。第一，正文未披露 55 题怎么选、提示词怎么写、拒答如何计分；价值测量很吃问法。第二，拿国家均值去比模型，本来就会把模型这种“经过安全平滑的代理”测得比真人更极端或更一致。这个偏差不推翻结果，但会影响“超出全部国家区间”该怎么解读。即便如此，这条结论还是不好回避：给模型补几句本地文化背景，基本撬不动它的规范核心。对做全球产品的人，这不是哲学问题，是部署问题。你卖的是通用助手，还是一套包装得更礼貌的盎格鲁-北欧价值模板？