全部

BAR 用 4 个独立专家把 7B 模型做到了 49.1 分，这个结果先说明一件事：后训练流程已经开始逼近软件工程，而不是继续押注“一锅炖”式训练。论文给的对比很直接，BAR 高于不做 mid-training 的重训基线 47.8，低于做了 mid-training 的重训基线 50.5；代价交换是更新成本从“每加一域都要全量再处理”改成线性扩展。这个方向我基本认同，因为很多团队这两年都被同一个问题卡住：你给代码、工具、安全各自上 RL，后来的优化常把前面的能力打穿，尤其是小模型更明显。 我对这条最认可的，不是 49.1 这个分，而是它把 mid-training、SFT、RL 都拆到专家内完成。这个设计很像把“灾难性遗忘”从参数层面改成系统层面规避。过去一年里，大家已经见过太多“全模型对齐一次，别的能力掉一截”的例子。OpenAI、Anthropic、Google 都在 system card 里反复承认过，对齐、工具使用、长上下文、代码这些目标会互相拉扯。只是大厂靠更大的模型、更长的数据回放和更多离线评测把问题压住；7B 这一级没那么多预算，拆专家反而更现实。 但我对论文叙事有两个保留。第一，49.1 对 50.5，不是持平，是差了 1.4 分。标题在卖“可扩展替代”，摘要给出的数字更像“用更便宜的更新换一点总分”。这笔账值不值，要看 7 个评测类别的拆分。正文摘要没给各项分数，也没给 router 误路由率、token 级路由还是序列级路由、推理时激活几个专家。没有这些，线性更新成本只算训练账，没算线上延迟和 serving 复杂度。MoE 论文最容易把训练侧收益讲满，把部署侧摩擦讲轻。 第二，跨域协同还没被证明。数学、代码、工具、安全这 4 域听着合理，但真实 agent 任务经常是混合分布：先读工具文档，再写代码，再做安全拒答边界判断。专家各自变强，不等于组合后更强。我一直觉得这一类方法最难的地方不在“加新域”，而在边界样本归谁管。去年很多开源路由模型就暴露过这个问题：单项 benchmark 漂亮，一到多步骤任务就开始抖，原因不是专家不行，是 router 把前两步送对了，第三步送歪了。摘要没披露 BAR 在复合任务上的专门评测，我自己不会先把它看成完整答案。 还有个上下文得补一下。Mixture-of-Experts 不是新东西，Switch Transformer、Mixtral、Qwen 系 MoE 都证明过“稀疏激活能把参数做大”；BAR 的新意在后训练阶段做模块化，而不是预训练阶段做稀疏化。这个切口其实更贴近产品团队，因为现实里很少有人愿意为了补一个安全域或工具域，把整套 7B/14B 模型重练一遍。要是正文后面真能给出“新增第 5 个专家时，旧域分数基本不掉、路由训练只要多少 token、线上时延增加多少”的硬数字，那这篇会很有分量。现在只有摘要，我还没看到这些关键条件，所以我的判断是：方向对，证据还不够硬，尤其是路由与跨域组合这两关。

GPT-5.2 在原始 CRUXEval 做到 99%，加入代码变换和输入扰动后却下滑 20% 到 24%。我对这条的判断很直接：很多代码理解榜单测到的不是“执行语义”，而是题型记忆、分布熟悉度和去噪能力。论文用的招不花哨，反而很有杀伤力——程序输出预测本来就该对语义等价变换更稳，如果变量改名、控制流重写、输入轻微扰动就让前沿模型掉这么多，说明模型抓住的信号里，表层模式占比不低。 这也解释了一个过去一年越来越常见的现象：代码模型在 HumanEval、CRUXEval、LiveCodeBench 这类基准上刷得很好看，一到 repo 级别修改、长尾异常、环境依赖，体验立刻发飘。我记得 CodeLlama 和早期 WizardCoder 时期，大家就见过“改个函数签名、换个异常路径，成功率立刻塌”的情况；后来 SWE-bench 把问题拉到真实仓库层面，这个落差更明显。眼前这篇论文把同样的问题压缩到一个更可控的 setting：不是让模型写代码，只让它预测输出。连这个都不稳，就别急着把高分解释成“模型已经形成牢靠的程序执行表征”。 DeepSeek-R1 家族这组数也别读歪了。摘要说它们在扰动下更稳定，区间是 38% 到 67%。稳定不等于理解更深，很多时候也可能只是上限本来就低，所以掉不动。这个现象在鲁棒性评测里很常见：一个模型 clean accuracy 99%，perturbed 掉到 76%；另一个模型 clean 60%，perturbed 55%。后者相对更稳，不代表后者更懂任务。论文摘要没给出每个模型的 clean / perturbed 配对成绩，也没披露具体变换族、样本规模、统计显著性，我还不能接受“开源推理模型比 frontier model 更懂执行语义”这种大结论。 异常预测那部分我反而觉得最有信息量。摘要明确说，触发 exception 的扰动样本更难，表现还随 exception 类型变化。这很像真实开发里的痛点：模型会写 happy path，也会在熟悉 API 上装得很像那么回事，但一碰到 IndexError、TypeError、ValueError 这类边界路径，内部仿真就开始漏。说真的，这比“代码生成 pass@1 提高 3 个点”有用得多。工程里出事故，常常不是主路径不会写，是异常路径没想清楚。要是一个模型对异常传播、短路求值、状态变化和输入约束没有稳定表征，它在 agent 场景里就会把小 bug 放大成错误操作链。 我还有个保留意见。论文标题讲的是 execution semantics，摘要给出的证据主要是 program-output prediction under perturbation。这是相关证据，不是充分证据。输出预测差，确实说明语义掌握不牢；但输出预测稳，也不自动等于模型内部有可泛化的“执行器”。它也可能只是学会了某类变换下的强模式匹配。去年不少 mechanistic interpretability 工作就在提醒大家：行为稳，不等于机制干净。想把“世界模型 vs 模式匹配”往前推进，最好还得补执行轨迹、隐藏状态表征，或者跨语言、跨解释器的一致性测试。摘要里没看到这些。 还有一点我不太买账：如果 remedial methods 只提升 exception case，却伤到 non-exception case，那它更像局部补丁，不像理解升级。摘要说他们评估了这种 trade-off，但没给数字。我想看的不是“是否能补”，而是“补完后总代价多大”。因为今天很多代码 agent 的失败，都不是能力缺一块，而是系统在分布外样本上没有稳定退化曲线。 这篇论文给业界的提醒很朴素：别再把干净 benchmark 的高分直接映射成部署信心。尤其是代码 agent、自动修复、工具调用链这些场景，评测里如果没有语义等价变换、输入扰动、异常路径覆盖，那个分数就不够硬。标题已经把方向点明了，正文目前只有摘要，具体实验设置、模型列表、异常类型拆分和 remedy 细节都还没披露。我会先把它当成一个有效警报，不会急着把它升级成“谁已经真正学会执行语义”的胜负判决。

论文在 3 个视觉语言模型、25 个文化群体上识别神经元，消融后匹配文化的 CVQA 表现下降。这个结果有研究价值，因为它至少说明“文化失误”不是纯数据分布噪声，模型内部确实出现了可定位的偏置通道。 但我先泼点冷水：摘要没给模型名，没给每组掉分幅度，没给被消融神经元占比，也没说总性能损失有多大。没有这些数字，很难判断这件事到底是“抓到了少量高选择性单元”，还是“打掉一批本来就重要的多功能神经元，刚好对某个文化题更伤”。CVQA 也有个老问题：文化问答很容易把视觉线索、语言先验、地域常识缠在一起。你说它是 culture-sensitive neuron，我会追问一句，里面有多少其实是 language-sensitive、object-sensitive，或者 prompt-format-sensitive。 我自己的判断是，这篇更像一篇诊断论文，不是机制论文。过去一年解释性研究已经越来越少把“单个神经元”当最小真相了，更多人在看方向、子空间、SAE feature。Anthropic 讲过 refusal feature，OpenAI 和学界也反复碰到 polysemantic neuron 问题：一个神经元经常混着几种概念。放到 VLM 上，这个问题通常更重，因为视觉 token 和文本 token 会在后层缠得更厉害。所以 ConAct 如果真比概率法和熵法好，我关心的不是“能不能排出一串文化神经元名单”，而是它选出的单元在不同 prompt 模板、不同图像分布、不同语言版本下稳不稳。摘要没披露。 层分布那部分我反而觉得比较有意思。作者说这类神经元集中在特定 decoder 层，而且不同模型分布不同。这个现象如果成立，说明文化相关处理不是均匀铺开的，而是跟模型把视觉证据压成语言决策的阶段有关。可这也带来一个尖锐问题：这些层到底在编码“文化知识”，还是在做最后一步答案选择？两者在消融实验里很像，但含义差很多。前者接近表征，后者更像决策启发式。 所以我对这篇的态度是谨慎看好。它把“文化公平”从 benchmark 现象往内部机制推了一步，这一步是有用的。可摘要还不够让我接受“文化有一组可控神经元”这种强说法。我还没查到论文全文里的 effect size、跨模型一致性和控制实验；没有这些，离可操作的干预方案还差一截。

AttWarp 用 4 个 MLLM 的跨模态注意力重排输入图像，在 5 个基准上报告持续提升；摘要没给具体增幅、推理开销、分辨率设置，这几个关键信息正文片段里都没披露。我的判断是，这条方向是对的，而且比“再堆更高分辨率”更像会落到产品里的优化。原因很简单：很多 MLLM 视觉侧的损失，不是信息不存在，而是固定网格把小字、小物体、局部关系压扁了。DocVQA、TextVQA 这类任务尤其吃这个亏，图像一旦被统一缩放，OCR 和定位一起掉。 这类思路其实有前史。去年不少工作都在做 test-time visual prompting、region crop、multi-crop routing，想法都是把有限像素预算挪到更相关的区域。AttWarp 比裁剪更稳的一点，在于它声称保留了全局上下文和全部原始信息，没有把边角直接切掉。这个设计很重要，因为 GQA、MMMU、POPE 不只是“看清一个小块”，还要守住整体布局、常识约束和幻觉控制。只看摘要的话，我觉得作者抓到了一个被低估的事实：MLLM 现在缺的常常不是参数，而是输入分配策略。 但我对这条也有个明显保留。它用的是模型自己的跨模态注意力来决定哪里放大，这里有点自举味道：如果第一眼注意力就偏了，warp 会把偏差固化，甚至放大。尤其在复杂文档、多对象场景、反事实提问里，早期注意力未必可靠。很多人这两年已经见过类似情况：attention map 看起来很像解释，实际和最终决策不总一致。我还没看到这篇摘要交代它用哪一层、哪个 head、单轮还是多轮聚合，也没看到失败案例分析。没有这些，"减少幻觉"这个结论我会先打折。 还有一个工程问题不能跳过。摘要说“不改权重或架构”，这当然讨喜，但不等于零成本。先跑一次注意力、再做 rectilinear warping、再进正式推理，延迟和吞吐怎么变，正文片段没给。假如这是两阶段流程，它在离线文档理解、低吞吐高价值问答里很好用；放到实时 agent、视频流、多轮视觉助手里，账未必划算。我自己也没跑过，所以这块只能先保留。 说真的，这篇论文让我更确认一件事：下一轮 MLLM 优化会有一部分发生在“输入几何”而不是“模型权重”。过去大家习惯把 token budgeting 用在文本侧，现在图像侧也开始做同样的事。AttWarp 要是后续能给出明确的 accuracy gain、额外毫秒数、对不同 backbone 的稳定性，它就不只是论文技巧，而会变成一类很实用的 inference wrapper。要是这些数字拿不出来，那它更像是 benchmark 上成立的聪明前处理。

论文把动态弃答建模为正则化强化学习动作，并给出一条条件：价值函数低于弃答奖励时就停止。这件事我觉得是对的，因为它至少把“何时停”从启发式阈值拉回了决策理论，跟前两年那种看 logprob、看 self-consistency 分歧、看 verifier 分数再人工截断的做法，不是一个层级。 我一直觉得，LLM 推理里最浪费钱的一段，不是首 token，也不是最终答案，而是模型已经走偏后还在继续写那几十上百个 token。尤其数学题和长链工具调用，错误一旦在前几步固化，后面经常只是把错解铺得更长。OpenAI、Anthropic、DeepMind 这一年都在推 test-time compute，但另一面一直没被认真处理：不是每条链都值得继续跑。这个视角下，abstain 不是安全附属品，而是推理预算分配器。 这篇的好处在于，它没有把弃答只放在输出前后，而是放进每个 token 位置的动作空间。抽象层级一抬，很多经验规则都能统一解释。比如你用 token-level uncertainty 早停，或者用过程奖励模型给中间步骤打分，本质都在猜一个“继续生成的期望价值”。现在作者直接说，别猜阈值了，拿 value function 和 abstention reward 比。这套表述很干净。 我对它的保留也很明确。摘要只说在数学推理和毒性规避上优于现有方法，具体提升、数据集、基线、计算节省比例都没披露。没有这些数字，这篇目前还只是一个漂亮框架，不是可直接落地的 inference recipe。尤其 value function 怎么近似，误差有多大，分布外任务会不会失真，这些都决定它能不能进真实系统。我自己没看到论文正文里的 estimator 细节前，不会把它当成 production-ready 方法。 还有一层麻烦，很多“动态停止”论文在离线评测里很好看，上线后却未必省钱。原因很简单：你要额外跑一个 value estimator，或者维护更复杂的 decoding 状态。省下的 token 成本，可能被控制器成本吃掉。我记得去年一些 speculative decoding 和 verifier-guided decoding 的结果就有这类问题，paper speedup 很高，端到端收益没那么整齐。我没核实这篇的 wall-clock 报告，摘要里也没给。 安全这块倒是有点意思。把弃答奖励显式写进目标函数，比“毒就拒答”更像一阶机制。你可以直接调 reward，决定模型在信息保留和风险规避之间怎么折中。这跟 Anthropic 那套把 refusal 做成后验分类器的思路不一样，也跟很多 moderation stack 先生成再拦截不一样。中途停掉有害轨迹，理论上会少暴露一部分危险中间文本。问题也在这：reward 一旦设太高，模型会学会保守，不会学会更好推理。Selective accuracy 变高，不代表总体 usefulness 一定更高。 所以这篇我给的是“方向成立，证据未满”。如果正文后面补出三组数，我会更在意：一是相对 fixed-threshold 和 post-hoc abstention 的 selective accuracy 提升；二是平均 token 节省比例；三是 value approximation 的额外算力开销。三项一起站住，这才有资格进入大模型推理栈。只看摘要，我愿意把它当成一个很像样的理论底座，不愿意把它当成已经验证完的工程答案。

论文比较 GPT-4o、Llama-3.3、Mistral-Large-2.1 在 2 种生成设定下的定向文案后，结论很直接：模型已经能把“用户画像”自动翻成“说服策略”，而且翻译方向带着老派刻板印象。这个点我很买账，因为它击中了很多团队现在的偷懒做法——把 demographic conditioning 包进 prompt，觉得只是在做 personalization，实际上已经在做价值判断分流。 摘要给出的信号有 3 个。第一，性别和年龄差异是跨模型稳定出现的，不是某一家模型的偶发毛刺。第二，男性、年轻人对应更 assertive、更 progressive 的 framing，女性、老年人对应 warmth、care、traditional themes。第三，加入 thematic 和 regional context 以后，差异会继续放大，男性定向文本的 persuasion score 更高。这里最不舒服的地方，不是模型会“区别说话”，而是它会把 persuasion 资源分配得不均：同一个议题，某些人群默认拿到更进攻、更推动行动的版本，另一些人群拿到更安抚、更保守的版本。 这跟过去一年不少“个性化 agent”“政治广告安全”“行为科学提示工程”的讨论能接上。我记得 2024 到 2025 年，学界和 policy 圈已经反复提过 microtargeting 风险，焦点多放在平台投放和受众分层。LLM 把这件事往前推了一步：以前是人工写 5 套文案选人群，现在是模型按画像实时生成 5 万套，而且语气、词汇、论证框架一起变。规模一上来，偏见不再只是分类误差，而是生成系统在批量复制社会脚本。这个外溢风险比很多“聊天机器人偏见”论文都大，因为它直接接到 persuasion funnel。 我也得泼点冷水。摘要没披露样本量、prompt 模板、persuasion score 的打分机制、显著性检验口径，也没说 demographic labels 是直接显式输入，还是从上下文隐含推断。没有这些细节，我还不能判断效应强度到底是研究上显著，还是部署上足够危险。尤其“男性定向文本说服分更高”这句，得先知道是谁评的分。是另一模型当裁判，还是人工标注？如果是 LLM-as-a-judge，这里会有二次偏差。我自己对这类结果一直会多留一个心眼。 但方向判断很清楚：只要产品里允许按年龄、性别、地区去自动改写募捐、招聘、公共政策、健康倡导文案，就该把 bias audit 当成上线前检查，不是论文附件。很多团队现在只测 toxicity、hallucination、brand safety，这远远不够。你还得测同一主张在不同人群槽位里，语气强度、行动号召、利益承诺是否系统性不同。摘要已经给出 X，正文在这里没展开 Y；可光凭这点信息，我也会把它视为“定向生成合规”方向里比较硬的一篇，因为它抓到的不是表面措辞，而是 persuasion allocation 这个更麻烦的层。

ONTO 在 3 个合成数据集上把 JSON 输入 token 降了 46%到51%，Qwen2.5-7B 延迟降了 5%到10%。我先给判断：这篇论文抓对了病灶，但现在更像“提示序列化 hygiene”，还不是一条足够硬的系统优化路线。 问题其实很老。JSON 给机器交换文档很好，用来喂 LLM 一直很浪费，字段名重复、括号层级、标点噪声都会吃 context。ONTO 的做法也很直接：key 只声明一次，值按列排开，再用缩进保留层级。这个思路我觉得对，而且结果不意外。摘要里自己也说了，JSON 的大头开销来自 key repetition；这和很多人过去一年手工压 prompt 的经验一致：把 schema 抽出来，把记录体做成表，token 基本都会明显下降。 我有保留的是收益曲线。token 少一半，只换来 5%到10% 延迟下降，这说明瓶颈未必在输入长度本身，至少在 Qwen2.5-7B 这组受控实验里不是。推理延迟还受 tokenizer、prefill 实现、batching、KV cache、服务框架影响。文章正文没披露硬件、并发条件、是否走 vLLM 或别的 serving stack，也没给端到端吞吐。没有这些，5%到10% 只能算“方向成立”，不能拿去做采购或架构决策。 我还不太买账的一点，是它把自己放在“序列化版图里的空白位置”。这个说法有点满。把结构化数据改成更紧凑的文本，不是新坑。CSV、TSV、Markdown table、甚至很多团队内部的 schema-first prompt 模板，过去一年都在干类似的事。ONTO 的价值不在“首创”，而在它把层级结构和列式压缩拼到一起，给了一个可复现记法。这个定位更稳。 文章外的上下文也得补一下。过去一年，大家一边追更长 context，一边又在做 prompt caching、context compression、RAG 前过滤。说明行业的真实共识不是“窗口越大越好”，而是“每个 token 都要值钱”。如果你的输入是运维日志、IoT 遥测、表格记录这种高重复结构化数据，ONTO 这类格式改写很顺手；如果你的输入混着长文本、自由描述、半结构化字段，它的收益大概率会迅速回落。这个我自己没跑过，但从格式机制看就是这样。 还有一个信息缺口不能跳过：摘要只说了 lookup、counting、extraction、aggregation 四类任务“无明显准确率下降”。这组任务偏结构读取，不太触及复杂推理。只要任务升级到跨行关联、异常归因、长程依赖，列式表示会不会让模型更难对齐语义块，正文没给答案。 所以我对这篇的结论是：适合进数据提示工程工具箱，离“通用替代 JSON”还很远。你要是做 agent 输入压缩、日志分析、表格问答，我会建议真跑一轮；你要是想把生产链路整体迁过去，现在证据还不够。

CaseFacts 用 6294 条美国最高法院主张，把一个很多人不愿正面承认的事实钉死了：遇到高权威、强时效、强术语映射的任务，随手接网页搜索不但不补短板，还会把模型带沟里。 这条的价值，不在“法律很难”这个老结论。难点被拆得更具体：口语化主张要对上技术性判例；标签不只分支持和反驳，还单列 Overruled；系统还得判断某个说法在什么时间点成立。这个设计比常见 fact-check benchmark 硬得多。很多公开基准默认语料是静态的，答案也是静态的。法律不是这样。判例链一变，昨天对的，今天就能错。做过企业知识库或政策问答的人，看到这点应该很熟：问题从来不只是“找没找到”，而是“找的是不是当时有效的权威版本”。 我对“无约束网页搜索反而比闭卷更差”这点一点不意外。过去一年，医疗、财务、合规这几类高风险 RAG 系统都反复撞到同一堵墙：召回做大很容易，权威性过滤和时间过滤很难。公开网页里混着博客、二手解读、失效引用、错误摘要，检索器又天然偏爱表面相似文本，最后给模型喂进去的往往是“像答案的东西”，不是答案本身。LegalBench、Cuad 这类更偏法律理解或合同抽取的数据，我记得都没把“被后案推翻”这个时间条件压得这么死；CaseFacts 这里等于把 retrieval 从语义搜索题，抬成了 authority ranking + temporal reasoning 题。 我自己的 pushback 是：这篇摘要把失败主要归到 unrestricted web search，但正文片段没披露基线细节。用了哪些模型，提示词怎么写，检索深度多少，是否做法院层级过滤，是否限定官方来源，摘要都没给。少了这些，结论只能读成“开放网页检索很差”，不能直接扩大成“RAG 对法律没用”。说真的，如果把语料严格收窄到 Supreme Court opinions、Shepard's/KeyCite 一类引注体系，外加日期切片，结果大概率会比开放网页好不少。标题给了方向，正文片段没给到最关键的 ablation。 还有一个让我在意的点：数据集是通过多阶段流程，用 LLM 从专家 case summaries 合成 claim。这个做法很现实，不然 6294 条很难做出来；但它也会带来 benchmark 的口音问题。合成出来的“口语化说法”未必像真实用户咨询，更像受摘要文风约束的改写。这个偏差在法律场景里很要命，因为真实用户会混用俗称、错误概括、程序法和实体法。要是 claim 分布太干净，模型学到的会是 benchmark dialect，不是法律检索。 我还是看好这条基准，原因也很直接：它逼大家承认，很多 RAG demo 只在“文档里有一句原话”的环境里漂亮。一旦换成判例链、政策版本、医学指南这种会变化的权威语料，系统设计就得从“多搜一点”改成“少搜，但只搜对的”。这对 agent 产品是个很不客气的提醒。你要是打算把网页搜索接进法律助手、税务 Copilot、临床问答，先别吹自主检索，先把 authority whitelist、citation grounding、effective-date slicing 做出来。CaseFacts 这 6294 条，测的不是模型会不会背法条，测的是产品团队有没有把知识系统当回事。

论文直接说了一个硬结论：on-policy distillation 会提升准确率，却会把校准系统性推向过度自信；摘要没给具体幅度，也没披露基准数。 我对这条是买账的。过去一年不少后训练工作都把“会答对”当成主目标，把“知道自己什么时候会错”放在边上。结果很常见：pass@1、偏好胜率、工具调用成功率上去，置信度分布却更尖、更假，尤其在 OOD 和长尾样本上露馅。这个现象在 RLHF、DPO、RFT 旁边都见过，不是 OPD 独有；这篇的价值，在于它把 OPD 里的机制单独拆开了。 作者给的解释也对路：教师监督拿着训练期特权上下文，学生部署时却只能用部署期信息报置信度。这个错位一旦存在，学生学到的就不是“我有多大把握”，而是“老师在更完整信息下有多大把握”。两者不是一回事。摘要里用了 entropy collapse 和 optimism bias 这两个词，我觉得很关键。很多团队把更低熵输出当成更稳定，实际常常只是更敢说。校准差的模型，在 demo 里很顺，在线上回滚时最烦。 CaOPD 的做法是用 student rollout 去估经验置信度，替掉自报置信度目标。这个方向我赞成，因为它至少承认“置信度要从可执行行为里估”，不能只从 token logprob 或 teacher label 里抄答案。外部参照也不少。两三年前很多校准论文就反复证明，LLM 的 token probability 和 answer correctness 相关，但远远不够，经过指令微调后还会继续漂。我记得 OpenAI、Anthropic、Google DeepMind 都做过类似分析，名字和数字我这会儿没逐条核，但结论差不多：更会做题，不等于更会报把握。 我也有保留。第一，摘要说 Pareto-optimal calibration，同时保持 competitive capability，这话很好听，但没给 ECE、Brier、NLL、AUROC 之类数字，也没说 capability 用的是哪组任务。没有这些，读者没法判断它是在 1-2 个点的小修补，还是把一整段 Pareto front 往外推。第二，rollout-based confidence 的成本不低。你如果要为每个样本做多次 rollout，再把经验成功率蒸馏回去，训练成本和推理延迟怎么摊，摘要没写。很多“校准更好”的方法一上生产就卡在这里：离线论文成立，线上预算不成立。 还有一个我想追问的点。作者把问题归到“训练有特权信息，部署没有”，这个解释很强，但我不确定它是否覆盖主要误差源。现实系统里的过度自信，很多时候还来自 reward shaping、偏好模型偏置、拒答惩罚、格式约束，甚至 eval contamination。CaOPD 如果只修 OPD 这一层，放进整套 post-training stack 里还剩多少增益，要看代码和复现实验。我自己还没跑过仓库，不敢替它背书到那一步。 说真的，这篇最有用的地方，不是又发明了一个缩写，而是给后训练团队提了个很不舒服的问题：你蒸馏的到底是能力，还是一种被训练条件抬高过的自信口气。要是后者占比很高，模型分数越漂亮，线上事故反而越难排。摘要已经把方向讲清了；现在差的是数字、成本、和在真实 agent pipeline 里的稳定性。

DeepThinkVLA给出两个条件，并把LIBERO-Plus做到了79.0%。这条我会认真看，因为它第一次把“机器人加CoT总是收益不稳”拆成了可诊断的工程问题，不再停在直觉层面。 作者的核心判断很直接。单解码器同时吐思维链和动作，会掉4.2个点。只做监督式CoT，遇到分布偏移会掉32.0个点；不带推理的基线掉31.6个点，几乎一样。这组数字很关键。它等于在说，过去不少 CoT-VLA 工作并不是“推理没用”，而是把语言生成范式硬套到动作生成上，再拿一段看起来很聪明的文本当中间层。机器人不吃这套，动作序列的并行性、时序精度、控制延迟，跟自回归文本根本不是一类问题。 我一直觉得，VLA 这条线过去一年有点被“会不会说步骤”带偏了。OpenVLA、π0、RT-2 这一代系统，大家都喜欢展示语言解释，因为 demo 很顺眼；可一旦进到 LIBERO、Bridge 或更复杂的 manipulation，瓶颈常常落在 action head、数据覆盖、控制接口，而不是那段自然语言到底优不优雅。DeepThinkVLA 这里用混合注意力解码器，把语言保留因果注意力，把动作改成双向并行解码，这个设计我买账。它至少承认了一件常被忽略的事实：语言 token 和连续动作 token，不该被同一种生成约束绑死。 第二个点更有意思。论文说 CoT 必须和任务成败建立因果对齐，所以用了两阶段 SFT 再 RL，让完整的 reasoning-action chain 吃到稀疏成功奖励。这个判断和近一年 agent 领域的经验是对得上的。无论是 web agent 还是 code agent，纯 SFT 往往把“解释长得像推理”学得很好，但一到环境变化就塌；能扛分布偏移的，通常还是 outcome-based optimization。放到机器人上，这个结论更硬，因为动作后果是物理性的，错一步就没法靠语言圆回来。 但我对这条也有保留。正文目前只有摘要，很多关键细节没披露。比如 RL 用的奖励设计、采样预算、真实机器人实验规模、失败案例分布，摘要都没说。59.3% 的 RoboTwin 2.0 和 97.0% 的 LIBERO 很亮眼，可机器人 benchmark 一直有“任务集吃透了不等于泛化做稳了”的老问题。尤其 LIBERO 这类基准，训练数据配方、轨迹质量、动作频率、视觉编码器冻结与否，都会明显影响结果。标题和摘要已经给出领先幅度，正文没披露 compute、episode 数、真实机时长，我不会直接把它读成“CoT-VLA 从此跑通了”。 还有一个我自己比较警觉的地方。论文把“有因果对齐的推理”说得很强，但机器人里的 reasoning，很多时候只是 credit assignment 的代理变量。也就是说，CoT 文本未必真是决策所必需的中介，它也可能只是帮助模型把状态压缩得更规整、把训练信号分配得更稳定。这个差别不小。如果是前者，未来会看到可解释文本和策略质量同步提升；如果是后者，文本更像训练脚手架，部署时未必需要完整生成。我还没查到论文有没有做 intervention ablation，比如打乱 CoT 文本、保留隐状态，或者反过来保留文本、扰动动作规划。如果没有，这个“推理在起作用”的因果论证还差最后一步。 说真的，这篇的价值不是又刷了一个榜，而是把 VLA 里最容易被 PR 化的词——reasoning——往工程约束上拉回来了。4.2 点的单解码器损失，32.0 对 31.6 的分布偏移下坠，都是能逼着团队改架构和训练法的数字。OpenBMB 还放了代码，这点也重要，因为 VLA 论文里很多漂亮结论最后死在复现门槛上。 我现在的结论很明确：这不是“机器人突然学会思考”了，而是研究者终于开始认真区分语言推理机制和动作控制机制。这个方向我看好。那句“大模型会想，所以机器人会做”，我还是不买账。

SaFeR-Steer把Qwen2.5-VL-7B多轮安全从24.66提到64.89，这个增幅够大，已经不是调prompt能解释的波动。我的判断很直接：这篇的价值不在“又一个安全框架”，而在它终于承认多轮失守不是末轮问题，而是整段轨迹的信用分配问题。 作者给了三组关键信号。第一组是数据规模：STEER-SFT有12,934条，STEER-RL有2,000条，STEER-Bench有3,227条，对话长到10轮。第二组是训练机制：分阶段合成自举，加tutor-in-the-loop GRPO，再加TCSR，把后轮失败回传到前轮。第三组是结果：3B模型多轮安全从12.55到55.58，7B从24.66到64.89；有用性也从27.13、46.48升到70.27、72.35。这个组合很像在对付一个老问题：模型前几轮先把自己说进坑里，最后一轮再拒答已经晚了。 这点跟过去一年很多安全工作不一样。无论是Llama Guard一类分类器路线，还是很多单轮SFT拒答集，本质都在优化“当前回合别说错话”。多轮场景麻烦得多，因为危险信息经常不是一句话冒出来，而是通过角色扮演、图像误导、任务拆分、上下文重述慢慢累积。我印象里，OpenAI和Anthropic过去公开材料都反复提到长上下文会带来对齐漂移，但公开论文里把“末轮失败要反向归因到前轮”讲这么明确的，不算多。这个视角我觉得是对的。 我也得泼点冷水。正文在摘要层面只给了总分，没给benchmark构成、评分协议、攻击者强度、judge模型、拒答率和误杀率拆分。没有这些，64.89到底有多硬，暂时没法下定论。安全分高，常见的代价就是过度拒答；有用性从46.48升到72.35，表面上说明没明显塌，但这两个分数怎么平衡，摘要没披露。GRPO里tutor怎么定义奖励，是否引入一个更强教师模型，成本是多少，正文这份材料也没展开。我要是复现，第一件事就是查教师是否泄漏了分布偏好，第二件事就是看10轮里第7到第10轮的掉点曲线，而不是只看平均分。 还有个地方我有点怀疑：论文说收益“超过单纯扩模”。这句话方向上合理，证据上还不够。Qwen2.5-VL-3B到7B的原始多轮安全只从12.55涨到24.66，说明多轮安全确实不是靠参数量自动解决。但“超过扩模”要站稳，至少该给同等训练预算下更大模型、或更长上下文、或更多拒答数据的对照。摘要里没有。只靠一组3B/7B前后对比，我不会把它读成 scaling 已经不重要，我会读成 dataset design 和 credit assignment 在这类任务里终于开始占主导。 外部参照也很关键。过去视觉语言模型做安全，很多工作集中在单图单问，像有害视觉问答、OCR诱导、图文冲突这类静态样本。SaFeR-Steer把2到10轮对话放进同一个训练闭环，这一步更接近真实产品面。因为真实攻击从来不按benchmark模板来。用户先问无害问题，再贴图，再换身份，再逼模型总结前文，这是常态。你把失败延后两三轮，线上风控价值就已经不一样了。我自己还没跑他们的代码，但如果TCSR真能稳定把“坏结局”往前传，那它对agent安全也有借鉴意义，不只限于MLLM聊天。 我对这篇最保留的一点，是它仍然高度依赖合成数据。合成自举很适合迅速铺开2到10轮覆盖面，12,934条SFT也说明作者在做规模化生成；问题是，合成攻击往往太“会做题”，不够脏。真实用户的越狱会夹杂错别字、跨语种、截图嵌字、上下文跳跃、前后自相矛盾。tutor-in-the-loop能不能覆盖这种噪声，得看STEER-Bench里有没有足够多非模板化样本。摘要没说，我暂时只给半分信任。 所以这篇我会认真看，但不会直接抄方法上生产。它给出的明确信号是：多轮安全训练终于开始从“末轮分类”转向“轨迹优化”。这条路比堆更大底座更靠谱，至少在7B这个量级上已经看到了64.89对24.66的差距。可要说它已经解决长上下文安全衰减，我不买。没有更细的回合级曲线、攻击类型拆分和真实人类红队结果，这个结论还站不住。

VoxSafeBench 直接把一个老问题量化了：前沿 SLM 能识别声学线索，却在 22 项任务里经常给不合规回应。我对这条很买账，因为它打的不是 ASR 准确率，也不是情感识别分数，而是语音系统最容易被产品团队跳过的那层——把“谁在说、怎么说、在哪里说”接进安全策略。 这篇摘要最有价值的地方，在于它把失误拆成两层。Tier1 看文本和音频对同一内容风险的差异。Tier2 则更狠，转录文本本身无害，风险只藏在说话者、副语言线索和环境里。作者还加了 perception probes，说明模型不是完全没听见这些 cue。问题出在下一步：模型听见了，但安全决策链没有把 cue 变成动作。这比“语音模型还不够强”更麻烦，因为它说明瓶颈不在感知，而在对齐管线。 这跟过去一年很多语音产品的路线刚好冲突。行业主线一直在冲延迟、打断、情绪感、端到端对话体验。OpenAI 的语音模式、Google 的 Gemini Live、还有一批实时语音 agent，宣传重点都偏“更像人”。社会对齐这一层长期被借用文本安全栈来兜底：先转写，再走文本 moderation，最后回一个语音答案。这个架构在 Tier2 这种任务上天然会漏，因为 transcript 没毒，危险在声线、年龄感、背景场景、胁迫语气这些非文本信号里。你用再强的文本 guardrail，也接不住“内容无害、语境有害”的样本。 我对这篇的判断是：它指出的不是单个 benchmark 空白，而是当前语音 agent 设计里的结构性偷懒。很多团队把 speech 当成 text 的输入层替换件，底层假设还是“安全判断主要看字面内容”。VoxSafeBench 说的正好相反：一旦设备从单人耳机走到共享空间，这个假设就开始失效。儿童声音、醉酒语气、旁人插话、医院或车内环境，这些都能改变“该不该答、该怎么答”。摘要里提到 safety、fairness、privacy 三维一起掉，这个组合很关键。它说明不是某一个 policy 写得不够全，而是模型没有把声学上下文稳定映射到规范执行。 我也有两个保留。第一，摘要没披露模型名单、样本规模、语言种类、标注协议和评分口径，所以现在还不能判断这个 gap 到底有多普遍。是端到端语音模型更差，还是 speech encoder + LLM 拼接架构更差，正文摘要没给。第二，所谓“frontier SLMs can detect cues yet fail to act”这句话很强，但失败是模型推理没接上，还是 system prompt、policy head、拒答阈值没调好，摘要也没拆。这个差别很大：前者指向模型能力缺口，后者指向部署工程没做完。 我一直觉得，语音安全接下来会从“识别危险内容”转向“识别情境中的权限边界”。这篇就是在给这个转向补证据。比如隐私场景，用户问一句普通信息，如果背景里有第三人、公共空间回声、或者明显是共用设备，系统该不该继续说下去，处理逻辑不能只看文本。去年不少公司在讲多模态 agent 时，把视觉上下文说得很重，把音频上下文说得很轻；我看这篇之后，音频这块已经不能再当附属 feature 了。 代码和数据公开，这点很实用。说真的，接下来谁还在拿 WER、意图分类、情感识别三件套当语音 agent 安全充分条件，我会直接打问号。先把这个基准跑起来，再看你的 guardrail 是真接了语音，还是只是在语音外面套了一层文本壳。

ASTRA 在黑盒设定下宣称优于现有基线，但正文未披露基线名、指标和提升幅度。我的判断是，这篇的价值不在又找到一招新越狱，而在它把“试错—总结—复用”做成了持续运转的系统。攻击一旦有记忆，防守压力就不再是单轮拦截，而是要面对会积累经验的对手。 这点其实很贴着过去一年的走势。很多越狱工作已经不满足于手工写 prompt 了，开始走自动化搜索、反思、树搜索、多代理协作。我印象里 PAIR、TAP 这类方法都在做迭代式攻击，但多数重点还在“这一轮怎么过”。ASTRA 往前走了一步：每次交互都蒸馏策略，再塞回三层库里。Effective、Promising、Ineffective 这套分层听着朴素，杀伤力在工程上很直接。它让系统少撞已经撞过的墙，也让成功套路能跨任务复用。对红队来说，这比单次 ASR 再高 3 个点还麻烦。 我对作者叙事也有保留。摘要里把闭环、蒸馏、分层记忆都说了，但没说三个关键条件。第一，攻击目标有哪些模型。是只打开源聊天模型，还是包含 GPT-4.1、Claude、Gemini 这类商用 API。第二，成功指标怎么算。是拿 refusal rate、harmfulness score，还是人工标注。第三，查询预算多少。黑盒攻击里，100 次调用和 10,000 次调用不是一回事。少了这些，所谓“显著优于”信息量很有限。 还有个我比较在意的点：这类方法常把“策略发现”讲得很新，实际收益往往来自更大的搜索预算和更稳的缓存机制。NVIDIA 每代卡都爱讲十倍，落地常掉到三四倍；越狱论文也有类似毛病。你给足 token、上下文和回合数，很多 baseline 都会变强。我还没查到 ASTRA 是否做了同预算对比。如果没有，这个优势里有多少来自方法本身，有多少来自更会花查询次数，得打问号。 防守侧看，这篇比标题更扎人的地方，是它在提醒大家：静态安全训练不够。你今天挡住的提示词，明天会被蒸馏成“失败模式”，后天攻击器就绕开了。Anthropic、OpenAI 过去一年都在把系统提示、分类器、工具权限、监控链路叠起来，原因就在这。单靠模型拒答层，面对会记忆的黑盒攻击，一直都不稳。这个判断不新，但 ASTRA 把问题说得更具体：攻击方开始有自己的“经验回放”。 我还想看一件正文没给的东西：三层策略库的迁移规则。Promising 进 Effective 靠什么阈值，Ineffective 会不会被重新激活，蒸馏后是抽象成模板、语义意图，还是保留字面结构。这里决定了它到底是在学“攻击原理”，还是只是在堆 prompt 碎片。前者更难防，后者更像高配版缓存。 所以我对这篇的结论是：方向对，威胁也真，但证据还不够硬。标题告诉我们，攻击自动化正在从“生成更多变体”走向“维护一个会进化的策略资产库”。正文还没告诉我们，这个资产库到底强到什么程度，代价又有多高。没看到预算、目标模型和评测口径前，我不会把它当成越狱领域的分水岭；我会把它当成一个很现实的信号——红队工具链正在软件化。

论文宣称 CoT-PoT 集成把自一致采样降到 2 次，并把所需样本数压缩 9.3 倍。我的判断是，这条如果复现成立，价值不在“又一个推理技巧”，而在它直接碰了 test-time compute 的成本墙。过去两年，自一致一直是个很尴尬的招：准确率常常涨，但要拿 10 次、20 次甚至更多采样去换，线上基本不划算。现在摘要给出 78.6% 的任务只要两个样本，这就把它从“论文里好看”往“API 里能开默认”推了一步。 我对这个方向一直有兴趣，因为它踩中了一个老问题：推理增强到底该继续堆更多候选，还是先让候选彼此更异质。CoT 和 PoT 混着投票，核心不是数量，而是误差相关性。两条 CoT 往往一起错，因为它们共享同一套语言式分解偏好；一条 CoT 加一条 PoT，错法未必一致。这个思路跟前几年 self-consistency 从 single-path 到 multi-path 的演进是连着的，也跟 ToT、ReAct、program-aided solving 那批工作同源。说真的，这里最像样的贡献，不是“更省”，而是把 diversity 做成了结构化设计，不再只靠温度采样碰运气。 但我对 9.3 倍这个数有保留。摘要没披露基准、模型名、绝对准确率、pass@k 口径，也没说 PoT 的执行环境成本算没算进去。这个差别很大。若 PoT 需要代码执行器、沙箱或额外解析，token 样本数降了，不等于端到端成本就按 9.3 倍降。去年很多 test-time scaling 论文都吃过这个亏：论文里按 sample count 算赢很多，上线后算上路由、执行、超时和失败重试，真实收益收窄到 2 到 4 倍都不稀奇。我还没看到这篇正文，没法替它下结论，但摘要口径明显偏理想化。 还有一个问题，78.6% 这个数字听起来很猛，信息量却不够。任务是按数据集里的题目计，还是按 benchmark family 计，差别非常大。若多数样本来自 GSM8K、SVAMP、AQuA 这类短链算术题，两样本高覆盖并不意外；若对 GPQA、MATH、LiveCodeBench、SWE-bench 这类长程依赖任务也成立，那才真有冲击。标题已给出“efficient reasoning”，正文片段没给出任务构成，我不会先替它补完胜利叙事。 我还想补一层文章外的上下文。OpenAI、Anthropic、Google 过去一年都在把“推理”包装成更长思考、更高 test-time compute。o1/o3 这一路，Claude 在 extended thinking 上也走过类似方向。行业叙事一直默认：多想一会儿就更准。这篇若成立，给出的反例是：不一定要更长，也可以更杂。把两种归纳偏置不同的 reasoning trace 拼起来，可能比同一路径采 16 次更省。这个思路对开源模型尤其友好，因为它不要求你先拿到更强基座，只要求你设计更好的解题分工。 我自己的 pushback 还有一点：CoT 和 PoT 的互补性不是普适常数。数学和符号推理里，PoT 往往强；常识、法律、开放问答里，程序化表达未必能给你有效增益。若作者把结论写得过满，我不太买账。比较靠谱的落点应该是“在可执行中间表示存在的任务上，混合集成显著改进 sample efficiency”。这已经很有用了，没必要吹成 reasoning 通用解。 现在材料只有摘要，我还没查到复现实验。我要看的不是口号，而是四个缺口：用了哪些模型，绝对精度涨了多少，PoT 执行成本怎么算，early-stopping 在难题上会不会过早停掉。四项里只要有两项站得住，这篇就值得很多推理服务团队拿去试。

这篇论文给了一个很明确的判断：RLVR 在低数据场景不只是“勉强能用”，而是能被数据构造方式显著放大，摘要里最高给到 5 倍样本效率。这个点我基本认同，因为过去一年很多人把 reasoning post-training 讲成算力和 rollout 长度的问题，像 OpenAI、DeepSeek、还有一批开源复现都在强调 test-time compute、长链推理、verifiable reward。可一旦你把模型缩到 SLM，把预算压到很低，最先决定结果的经常不是多跑几步，而是训练样本的难度分布到底怎么配。作者把 mixed-difficulty 训练单独拎出来，我觉得这是这篇里最像“可迁移方法论”的部分。 但我对这条结论也有保留，而且保留不小。摘要只说了 3 个程序化数据集，覆盖计数、图推理、空间推理；也说了 lower-complexity tasks 能泛化到 higher-complexity tasks；还说 mixed complexity 在低数据区间收益最好。问题是，正文这里没有给出模型名、参数规模、RL 算法细节、rollout budget、reward 设计、训练步数、基线设置、绝对分数。没有这些，5 倍 sample efficiency 只能先当成“在他们这套 procedural playground 里成立”。它离“对一般 SLM reasoning training 都成立”还有很长一段路。说真的，RL 论文里最容易被高估的就是效率倍数，因为分母常常选得很脆：easy-only baseline 如果本来就配得差，混合难度翻几倍并不稀奇。 这篇的外部上下文其实很清楚。2025 年以来，大家已经见过两条线：一条是大公司把 RLVR 往更大模型、更长 rollout、更重采样推；另一条是开源社区用可验证任务做小模型后训练，想用便宜得多的预算换一点可复制的 reasoning 增益。我记得像 GSM8K 派生任务、程序执行、迷宫、符号操作这类工作，反复都在说明一件事：只要 reward 足够干净，模型确实能学到某种“搜索习惯”；但一旦任务分布太窄，学到的往往是 format prior，不是可迁移推理。Cornell 这篇有价值的地方，在于它把 size、diversity、complexity 拆开谈，而不是只给一个总数据量曲线。这比很多“我们又把 RL 跑通了”的论文老实得多。 我比较认同 procedural data 这条路线。原因不玄。你需要可控难度、可扩展样本、确定 reward，还要能系统改一个变量看响应，程序生成题基本是最顺手的实验台。去年不少 agent 和 verifier 工作也在往这边靠，因为人工标注太贵，真实任务噪声又太大。可我的疑虑也正在这里：程序化任务很容易把训练推向“规则内优化”。计数、图推理、空间推理当然都重要，但它们和现实里的代码修复、长文档约束遵循、工具调用纠错之间，隔着一层不小的 distribution gap。摘要没披露有没有跨任务外推测试；如果没有，这篇更像 RLVR 数据科学的基础研究，不是“便宜训练通用推理模型”的近路。 还有一个点我挺在意。作者说 low-complexity 训练能泛化到 high-complexity 任务，这听起来顺，但要非常小心区分两件事：一是复杂度连续上升，模型学到可组合策略；二是数据生成器内部共享模板，模型只是吃到了 latent curriculum。很多 procedural benchmark 都有这个毛病，看上去在外推，实际还是同分布邻域移动。没有看到生成器设计、去重策略、复杂度定义和 train-test 隔离方式前，我不会把“泛化”这个词用得太满。 所以我对这篇的结论是：方向很对，叙事也比很多 RLVR 论文克制，但现在还谈不上定锤。它更像在提醒大家，低预算 post-training 的瓶颈先别急着怪模型小、卡不够，很多时候是你把数据课程设计得太粗了。要让我更买账，我需要至少看到四样东西：具体 SLM 名字和参数量，RLVR 的 token 或 rollout 预算，easy-only / hard-only / mixed 的绝对分数曲线，以及跨生成器或跨任务的迁移结果。标题已经给出一个值得追的研究方向，正文在这份材料里还没把最关键的可复现条件交代完。

FOREVER 用优化器更新幅度定义“模型时间”，并在 3 个基准、0.6B 到 13B 模型上报告更低遗忘。我的判断很直接：这条思路是对的，甚至有点晚了。持续学习里拿 step 当时间轴，本来就粗糙。同样 100 步，学习率、梯度噪声、LoRA rank、batch 混合比例一变，参数位移就不是一回事。你还按固定步数回放，等于默认模型的“遗忘速度”恒定，这个前提在 LLM 微调里基本站不住。 我对这篇的好感，主要来自它抓住了一个老问题：训练过程里的外部时间，和模型内部状态演化，经常不同步。这个坑在大模型训练里一直存在。比如同样是 instruction tuning，前几百步常常参数动得很猛，后面进入平台期后，每步的有效变化会小很多。拿步数当 replay 触发器，会把两个阶段硬当成同一种时间单位。FOREVER 改成 update magnitude，当下看只是 scheduler 小修补，实际是在把 continual learning 的控制变量往“状态量”上挪。我觉得这比再堆一个 fancy regularizer 更有信息量。 文章摘要还提了两部分：一是遗忘曲线驱动的回放调度，二是强度感知正则控制回放力度。前者我基本认同，后者我先保留意见。因为正文没给出关键细节：更新幅度是按参数全量范数、分层范数，还是 optimizer-preconditioned update 来算？是每 step 累积，还是窗口平滑？不同优化器下，这个“模型时间”未必可比。AdamW、Adafactor、Lion 的 update statistics 差很多；你如果直接拿原始 update norm，当中的噪声和缩放规则会把 replay 节奏带偏。标题和摘要给了方向，正文片段没披露定义口径，这块我不想替作者补。 这条工作也有一个很现实的对位。过去一年，很多人把 LLM 持续学习拆成三条路：参数隔离，比如 adapter/LoRA 路线；正则约束，比如 EWC 一类；样本回放，就是 replay buffer。工业界最后常选 replay，不是它最优雅，是它最便宜、最稳。你不用改基座结构，也不用碰推理路径。FOREVER 还是站在 replay 这边，我觉得是清醒的。因为对 7B、13B 这种量级，任何需要额外参数路由或任务专属模块的方法，一进多租户部署就开始难看。回放策略更像训练调度问题，落地阻力小得多。 我能想到的外部参照，是早几年 vision continual learning 那批工作，很多已经不满足于固定间隔回放，而是按 loss spike、uncertainty、gradient interference 来调 replay 时机。LLM 这边一直慢半拍，部分原因是训练太贵，大家更愿意把 forgetting 当 benchmark 指标，不愿意把控制器做复杂。FOREVER 把 update magnitude 拉进来，算是把“模型自己到底变了多少”这个信号补上了。我记得 2024 到 2025 年也有一些用 gradient similarity 或 Fisher 信息做 replay/regularization 的文章，但我没核实具体题目；相比那类二阶或相似度方法，update norm 至少便宜，工程上也顺手。 但我还是有两个疑虑。第一，Ebbinghaus 遗忘曲线这套类比，我觉得容易被讲过头。人类记忆的时间衰减，和 LLM 参数更新后的知识覆盖，不是同一个机制。你可以用它做启发式调度，拿来当理论背书我不太买账。摘要里写“recent findings”说明灵感来源，这没问题；要是正文把拟合曲线讲成机制解释，我会比较警惕。第二，摘要只说“consistently mitigates catastrophic forgetting”，没给绝对提升幅度、buffer 大小、额外算力开销，也没说和哪些强 baseline 比。持续学习论文最容易好看的一点，就是 baseline 设得松：固定回放间隔、弱正则、短任务链，确实很容易赢。没有具体数字，我现在只愿意给这条一个“方向正确，证据待补”的评价。 还有一层，我觉得做应用的人会更关心。很多生产环境里的“持续学习”并不是 textbook sequential tasks，而是数据分布慢漂移、SFT 和 preference tuning 交替、还夹杂 domain patch。这个场景里，update magnitude 当时钟有天然优势，因为它不要求任务边界特别清楚。只要模型更新明显加速，你就知道系统进入新知识写入期，回放频率该抬。这个思路放到在线微调或周期性蒸馏，我觉得都说得通。问题还是那句：摘要没披露它在非清晰任务边界设置下是否测过。 所以我对 FOREVER 的结论是：方法选点不错，抓到了 replay 里一个长期被默认处理的变量；抽象也够朴素，像是能被训练系统吸收的东西。我的保留在证据层。没有正文里的 benchmark 数、ablation、开销拆解、optimizer 定义，这条还不能直接升格成“持续学习新基线”。如果后续实验显示它在固定 buffer、固定 token budget 下还能稳定赢，而且跨 AdamW/LoRA 设置都成立，那这会是一类会被 quietly adopted 的方法，不一定最响，但很实用。

论文把任务设成 1dCA 规则归纳，而且训练规则与测试规则分离，这一刀很准：它不是在问模型会不会背模板，而是在问模型能不能把局部规则连续执行很多步。摘要给出的结论也很直白——下一步预测能做，高步数链式推演会塌，补递归、外部记忆、测试时算力都能缓解，但都有上界。我基本认同这个判断，这类结果更像是在给“推理模型”去魅，不是在发明新神话。 我一直觉得，过去一年很多 reasoning 叙事把两件事混在一起了：一件是会选对中间步骤，另一件是能把同一种变换稳定重复 8 步、16 步、32 步。前者靠数据分布、提示格式、self-consistency 往往就能抬不少；后者更像计算图深度、状态保持和误差累积控制的问题。这个抽象任务的价值就在这里。它故意把世界知识、语言歧义、工具调用全拿掉，只留下“先猜规则，再反复执行规则”。如果模型在这里都顶不住，那些日常 benchmark 里的高分，很多就还是 pattern match，而不是可扩展的程序执行。 这跟 ARC、Sudoku、Dyck language、length generalization 那批工作是同一条线，只是这篇把“记忆背题”卡得更死。ARC 常被说成考抽象推理，但任务族太杂，失败后很难定位到底是表示、搜索还是先验不对。1dCA 没那么花，反而更适合拆机制。我还想到一些老结果：从 Neural GPU、Universal Transformer，到后来一批 recurrent depth / ACT 的论文，结论常常都差不多——你可以拿 recurrence 或 test-time unrolling 去补层数，但一旦误差在每一步都漏一点，滚到长链条还是会爆。摘要里的“remains bounded”我很买账，因为这正是这类系统最常见的死法。 我对摘要里“LLMs largely fail”这句有两个保留。第一，正文没披露具体是哪些模型、多少参数、什么 prompt、是否允许代码执行，也没给成功率曲线。没有这些，没法判断这是语言接口的问题，还是底层表示真的不行。第二，natural-language proxy 这个设定本身会引入额外噪声。把 CA 状态翻成文本，再要求模型在 token 空间里学规则，失败未必全是 reasoning depth 不够，也可能是输入编码把信号弄稀了。这个我不想替论文补完，得看正文实验怎么控。 但就算留着这些疑问，这篇还是戳中了一个很烦人的事实：很多 test-time scaling 方法提升的是搜索宽度，不是执行深度。多采样、多投票、长思维链，在 GSM8K、AIME 这类题上常常有效，因为题目允许你试错；可在 1dCA 这种确定性链式系统里，前面一步错了，后面全错，投票也救不回来。所以作者把 recurrence、memory、test-time compute 放在一起比较，我觉得很对。它们都在想办法补“有效深度”，只是补法不同：recurrence 复用参数，memory 稳住状态，test-time compute 增加搜索或展开长度。摘要说最关键的仍是加深模型，这个判断其实有点刺耳，因为它暗示很多靠采样堆出来的 reasoning gain，并不等于模型真的学会了更深的算法。 说真的，这条对做 agent 的人也有提醒。大家现在很爱把失败归因到工具不够、上下文不够、检索不够，但有一类失败就是内部状态滚不住。规划 12 步以后开始漂，代码修第 5 个回合开始自相矛盾，长 horizon control 一拉长就散，这些都像“有效深度不够”的工程版本。外部 memory 能救一部分，但如果核心变换本身不稳，记再多也只是把错误缓存下来。 我还没看到正文里的曲线、模型列表和 ablation，所以不会把这篇抬成“推理研究定论”。标题已经给出 depth、recurrence、memory、test-time compute 四个轴，正文摘要没披露各自增益幅度，也没披露上界出现在哪个步长。没有这些数字，离能指导架构选型还差一截。可它给出的方向我觉得对：别再把所有 reasoning 提升都算成“更会想了”，很多时候只是更会搜，或者更会背；一到需要稳定展开 10 步以上，同一批系统就露馅。

论文把失败原因改写成控制缺口，并提出类型化属性图作为共识层 C。这个判断我基本认同，因为今天很多 AI 编程事故，确实不是模型写不出代码，而是团队无法追踪“当时默认了什么、谁改了什么、回归从哪来”。代码仓库加聊天记录，最多保留局部意图，保不住系统级约束。摘要里说的 dimension collapse 这个词，有点学院派，但问题指得很准。 我对这条最认可的地方，不是 Φ/Ψ 两个同步算子，而是它把评测口径从“代码能跑”挪到 alignment fidelity、consensus entropy、intervention distance。现在主流 coding benchmark，像 SWE-bench 这一系，盯的是 issue 修复率、测试通过率、轨迹成本。它们对“系统是否仍然可治理”几乎没感觉。一个 agent 把 bug 修了，同时把模块边界搞脏，benchmark 常常照样给分。团队上线后才付代价。把 under-specification 显式记成 entropy，这个方向是对的。我自己一直觉得，AI 编程缺的不是再多一个 pass@k，而是能不能把隐含假设变成可检查对象。 但我对作者的叙事有两层怀疑。第一层， typed property graph 会不会比代码本身更快过时。系统设计一旦进入高频迭代，维护第二套“世界模型”很容易变成新负担。这个坑其实老软件工程踩过很多次。UML、架构仓库、知识图谱式 CMDB，当年都承诺过“设计与实现同步”，最后常见结局是文档先死，代码还活着。作者用 Φ realize、Ψ rehydrate 去补这个裂缝，想法不差，但摘要没给收敛条件、冲突策略、复杂度，也没说谁来判定 graph 和 code 哪边是真源。标题给了 governable，正文摘要还没给 governance 机制。 第二层，我不太买“共识层替代代码成为主工件”这个表述。说真的，代码之所以长期是主工件，不只是历史惯性，而是它天然可执行、可测试、可部署、可追责。图结构可以承载关系，却未必能承载所有运行时语义，尤其是并发、性能边界、异常处理、隐式依赖这些脏活。把 code 降成派生产物，听起来很整齐，落地时很容易退回“双写系统”：人修代码，代理修图，最后两边都不完全可信。除非作者能证明 intervention distance 明显下降，比如在多轮修改后人类审查工时下降 30% 以上，不然这更像研究框架，不像工程范式切换。 这篇还有一个上下文，摘要没展开，但业内已经有前兆。Anthropic、OpenAI、Cursor、Devin 这一波工具，过去一年都在补“记忆、计划、上下文压缩、代码图谱”，本质都是在给 chat 式工作流补结构。只是大多数产品还停在索引层和任务层，没有把“共识”提成第一工件。这个论文的贡献，在我看是把大家零散在做的东西正式化了：别再假装对话记录能承担工程真相。这个判断很有价值。 问题也卡在这里。摘要没有实验数字，没有任务规模，没有和 chat-driven baseline 的具体比较。我还没看到 alignment fidelity 怎么定义，怎么算审查者之间的一致性，也没看到 consensus entropy 是否会被模型“表面补全”刷分。要是指标能靠生成一张看似完整的图拿高分，那这套评测会迅速变成新形式主义。 所以我会把这篇当成一个对路的研究宣言，不当成已验证的方法。它点中了 agentic coding 下一阶段的硬问题：不是让模型多写 20% 代码，而是让多人多 agent 协作时，系统仍能被审计、被修改、被追责。这个方向我买账。至于“共识层取代代码”，目前只有摘要，证据还远远不够。

LogicDiff把LLaDA-8B-Instruct的零样本GSM8K准确率从22.0%提到60.7%，代价是一个420万参数分类头和低于6%的推理开销。我的判断很直接：这篇 paper 证明的不是 MDLM 突然具备了强推理，而是标准置信度解掩码顺序确实在系统性地坑它，坑得还很严重。 作者抓到的问题其实很具体。MDLM从全 mask 序列里迭代恢复 token，常见做法按置信度先解容易的位点。逻辑连接词、推导过渡词、结论位点往往熵高，于是会被拖到后面。对普通续写这未必致命，对数学推理就很伤，因为“先铺 premises，再连 derivation，最后落 conclusion”本来就是过程结构。LogicDiff做的事也不玄：先用隐藏状态给每个位置打逻辑角色标签，分 premise、connective、derived step、conclusion、filler，再按依赖顺序解。角色预测准确率98.4%，说明这个结构信号本来就在基座表征里，只是默认 scheduler 没把它用起来。 我觉得有意思的地方在，这很像把自回归模型里“test-time scaffolding”那套思路搬到了扩散语言模型上。过去一年大家在 reasoning 上反复见到同一件事：模型参数没变，prompt 顺序、search 策略、verifier、tool call 编排一改，分数就能跳很多。OpenAI、Anthropic、Google 这几家的长推理产品，本质上都在吃推理时计算和过程控制红利。LogicDiff属于同一谱系，只不过它改的不是 CoT 文本，而是 unmasking order。这个上下文很关键，不然很容易把 +38.7 个点误读成“训练范式碾压”。不是。这里大头是推理程序修复，不是基座能力跃迁。 但我对这条也有两层保留。第一层是任务面太窄。摘要里最亮眼的是GSM8K 22.0%→60.7%，MATH-500只有23.6%→29.2%。后者只涨5.6个点，已经在提醒你：当任务需要更长链条、更多数值分支时，固定角色顺序未必够用。作者自己也承认，8-shot CoT时基线已到约70%，LogicDiff没有额外提升，还会因为过早提交数值而吃亏。这不是小瑕疵，这是边界条件：它解决的是 zero-shot 下的顺序错配，不是通用 reasoning。 第二层是可迁移性。论文用的是LLaDA-8B-Instruct，我还没看到在更大 MDLM、不同 tokenizer、不同数学集上的系统复现。98.4% 的角色分类准确率看着很高，但这件事有个隐藏前提：逻辑角色集合被定义得比较规整，且能从 hidden state 线性读出。换到代码推理、法律论证、开放域多跳问答，角色边界会糊很多，premise 和 filler 也未必分得这么干净。到那时，固定 role scheduler 还剩多少收益，正文没有给。 我还想 push back 一下叙事角度。标题容易让人以为“逻辑引导”带来了某种更深的符号推理增益，我不太买账。这里没有显式 theorem proving，也没有外部 verifier；它更多是在纠正生成顺序，让模型别先填容易 token、把关键关系词拖死。说得尖一点，这像给扩散 LM 加了一个更懂任务结构的 beam policy，而不是给它装上了逻辑引擎。 这篇 paper 的价值我认为很实在。第一，它给 MDLM 阵营补了一条证据：扩散语言模型在 reasoning 上的弱点，不全是参数或训练数据问题，解码策略本身就占了不少锅。第二，它把“结构感知的 test-time control”讲清楚了，420万参数只占基座0.05%，这让方法有工程吸引力。你不用重训 8B 模型，只要在 hidden state 上挂一个小头就能试。第三，它顺手说明 few-shot CoT 为什么老是有效：有些提升不是模型学会了更深的推理，而是上下文把生成顺序扶正了。 我自己的结论偏克制。LogicDiff不是 reasoning 的新范式，它是 MDLM 上一次很漂亮的补丁。补丁也很重要，因为它告诉你故障点在哪。后面如果有人把 role ordering 做成 context-adaptive，或者把 scheduler 跟 verifier、search 合在一起，我会更兴奋；只靠固定逻辑角色模板，天花板在这篇里已经露出来了。

论文摘要报告多款主流 LLM 在肾脏分配上偏离人类偏好，且在给出抛硬币选项时仍少见犹豫。这个结论我基本买账，因为它撞上了过去一年模型产品化里最稳定的毛病：模型被训练成“继续回答”，不是“停下来承认价值冲突”。一到医疗分配这种多目标取舍题，过度确定性就会放大成风险。 我对这条的兴趣，甚至高过“模型和人类价值不一致”本身。价值不一致很常见，换提示词、换文化背景、换评委，排序都会漂。可“不犹豫”是另一类错。人类在器官分配里本来就会卡在年龄、预后、等待时长、依从性、公平性之间。模型如果稳定给单点答案，说明它学到的是格式完成，不是规范冲突下的校准表达。过去 OpenAI、Anthropic 的系统卡都反复提过 refusal、uncertainty、deliberation 这几层问题，但公开评测大多盯危害输出，较少盯“该犹豫时是否犹豫”。这篇论文至少把这个洞点出来了。 但摘要的信息缺口很大。标题和摘要给了结论，没给样本量、模型名单、受试者来源、国家语境、属性定义、评测模板，也没说“人类偏好”是多数投票、专家共识，还是患者样本。我没法判断偏差到底有多大，也没法判断是不是 prompt 诱导出来的假阳性。肾脏分配本来就不是纯道德问答，很多国家有明确打分规则，比如等待时间、HLA 匹配、存活收益、儿科优先等，规则和直觉经常冲突。若论文拿“普通人直觉”当金标准，这个基线我会打个问号。 摘要还说，少样本低秩监督微调常能提升一致性，还能校准犹豫建模。这个说法我有点怀疑。few-sample LoRA 能把模型拉向某一套偏好，我信；它能不能得到可迁移的道德校准，我没看到证据。过去很多 alignment 微调在训练分布内很好看，一换表述、一换人群、一换资源约束就掉回去。这里如果没有跨模板、跨语言、跨人群 holdout，所谓“校准”更像把模型教会在特定题型里学会说“我不确定”。这和真的知道何时不确定，不是一回事。 说真的，这篇 paper 的价值，不在给出一个新的“道德 benchmark 分数”。它在提醒一件业内常被弱化的事：高风险决策里的好模型，不该只优化正确率，还得优化不确定性的暴露方式。医疗、信贷、招聘都一样。模型如果不能稳定地区分“我会算”和“这题牵涉价值取舍”，那把它接进流程，只是把责任包上一层流畅文本。摘要材料太薄，我还不能判断实验做得有多硬；但问题意识是对的，而且比很多泛泛谈 alignment 的论文更接近部署现场。

12名开发者把严重度负担从432降到267，且配对 Wilcoxon 检验给出 p=0.0059，这已经足够让我认真看这篇。我的判断很直接：大家过去一年把太多注意力放在“换更强代码模型”上了，安全质量这件事里，人类开发者的安全心智模型仍然是更便宜、也更快见效的杠杆。 这篇有价值，不在于它证明了“培训有用”——这个结论本身不新——而在于它把变量控得比较干净。模型没改，接口固定，任务做了 counterbalance，共用 starter project，前后对比的是同一批人。结果也不含糊：已验证漏洞 162 降到 111，降 31.5%；严重度负担 432 降到 267，降 38.2%；关键漏洞 24 降到 5，降 79.2%。如果这些数字能在更多团队里复现，很多公司现在那种“先上 AI coding assistant，再补安全网”的采购顺序就该反过来，至少把安全培训一起打包上。 我一直觉得，代码生成安全这条线被产品叙事带偏了。过去一年，GitHub Copilot、Cursor、Claude Code、各家 IDE agent 都在讲更长上下文、更强推理、更好 repo understanding。讲法默认了一个前提：模型越强，安全代码就会跟着变好。现实没这么线性。授权、对象访问、认证恢复这几类问题，这篇分别打掉了 53.3% 和 44.7%，说明开发者一旦被提醒该检查哪些 trust boundary，LLM 生成的代码就会明显收敛。换句话说，很多漏洞不是模型“不会写”，而是人没有要求它写对。 但我对这篇也有几个保留，而且都不小。第一，样本只有 12 人。p=0.0059 看起来漂亮，可小样本下，个别参与者的波动会很影响分布。第二，正文摘要说验证由第一、第二作者人工完成，我还没看到 blind review、仲裁流程、inter-rater agreement 这些关键信息。安全缺陷归类本来就带主观性，尤其是“validated weakness”边界怎么划，差一点标准，结果就会变。第三，文章没披露模型名称、版本、系统提示、训练时长、培训材料细节。少了这些，团队很难复现，也很难判断结论是“培训普适有效”，还是“这套培训恰好补了某个模型的短板”。 有意思的地方在于，改善最差的恰恰是 session 和 browser trust-boundary 问题，几乎没怎么动；敏感数据和密码学问题也只边际改善。这个结果我挺信，因为它很符合实务经验。授权和认证很多时候是 checklist 型错误，培训一次就能压下去。session fixation、cookie 属性、CSRF、browser storage、跨域信任边界，这些更像系统交互问题。开发者得同时理解框架默认值、浏览器行为、部署环境，还要知道 LLM 给出的“能跑”方案为什么危险。短培训很难补这块。也就是说，这篇并没有证明“培训能覆盖 LLM coding 的主要安全风险”，它更像在说：培训先吃掉最好打的那一批漏洞，剩下那批仍然需要 secure defaults、静态分析、人工审查。 我还想补一个文章外的上下文。我记得过去几波关于 AI 辅助编程的研究，结论常常是速度提升比质量提升更稳，安全甚至会倒退；具体论文名我没逐篇核对，但这个方向很一致。所以这篇反而珍贵，因为它没去神化模型，也没喊自动化替代审计，而是把改善归因放回开发流程。这个判断我买账。很多 org 现在的问题，不是没装 SAST，不是没接入 code assistant，而是开发者把 LLM 当成默认可信的 senior engineer。培训的作用，就是先把这个错觉打掉。 所以我对这条的落点是：别把它读成“安全培训有效”这种老生常谈。更硬的结论是，在固定模型条件下，人的提示、检查顺序、威胁建模习惯，足以把关键漏洞从 24 压到 5。这个幅度已经大到值得工程团队改流程了。我的疑虑也同样明确：没有模型细节，没有盲审信息，没有更大样本前，我不会把它当成采购依据。我会把它当成一个很强的组织信号——先训练会用 LLM 写安全代码的人，再谈让模型替你负责安全。

这篇论文把 prompt 当成可采样参数，并用小样本训练集做贝叶斯推断。这个切法是对的，因为过去一年很多“prompt 优化”工作都在偷做搜索，却很少把不确定性当一等公民。 我对这条的第一判断很明确：它的价值不在“又一个 prompt tuning 算法”，而在给黑盒 LLM 流水线补上一层统计语义。摘要写得很清楚，MHLP 把 Metropolis-Hastings 和 LLM 生成提案拼起来，目标是同时给 prompt 本身和下游预测做 UQ，还能接自由文本先验。要是这套东西真能在闭源 API 流水线上跑通，它碰到的是今天企业用 LLM 的一个硬问题：大家都知道 prompt 很脆，但现有生产系统几乎没人能回答“这次输出错，是模型错、检索错，还是 prompt 落在坏局部最优”。 这类工作以前不是没人碰。DSPy、OPRO、APE 这一系更像离散搜索或程序优化，重点是把 prompt 往更高任务分数推。Self-consistency、temperature sampling、multi-prompt voting 也在给结果加一点“分布感”。问题是，这些方法大多没有一个像样的后验对象。你能拿到几组候选 prompt，能做 majority vote，但你很难严肃地说“在这 50 条标注数据下，prompt 的后验不确定性有多大，预测置信度是不是校准”。这篇 paper 的野心，就是把这块从 heuristic 拉回统计推断。我觉得这是它最像样的地方。 但我先泼点冷水。摘要声称在多项 benchmark 和 UQ 任务上同时提升准确率与校准，正文页没给具体分数，也没给 acceptance rate、采样成本、每个任务调用多少次 API、跟哪些 baseline 比。没有这些数字，这条现在还不能下结论。Bayesian framing 听起来很顺，真正难的是算力账和链混合。Metropolis-Hastings 一旦提案分布不行，链就会黏住；把提案器换成 LLM，只是把难点挪到“LLM 会提出什么 prompt”。这类方法在 toy task 上容易出彩，到真实客服、医疗分诊、长工具链 agent 里，单次决策要过 5 到 20 个 prompt 节点时，采样成本会很快失控。摘要没披露这些条件，我不会替它补。 我还挺在意一个更细的点：作者说可以把“先验”写成自由文本。这很聪明，也很危险。聪明在于它符合从业者的工作流，团队本来就会写“回答要保守”“宁可拒答也别幻觉”这种自然语言规范。危险在于，自由文本先验本身也是 prompt，带着语义歧义和模型依赖。你把先验文本换个措辞，后验会不会漂？不同基座模型对同一句先验的解释会不会不一样？如果先验对结果很敏感，那它只是把 prompt engineering 升格成“prior engineering”。这不算坏事，但得承认它没把主观性消掉，只是把主观性显式化了。 说真的，这个方向我一直觉得比“再刷一个 benchmark 百分点”更有长期价值。原因很简单，闭源模型已经成了默认现实。OpenAI、Anthropic、Google 这些 API 体系里，权重、logits、训练分布都摸不到，工程团队能动的只有 system prompt、tool schema、retrieval、router、judge。你要在这种约束下做可靠性，贝叶斯化 prompt 几乎是少数还讲得通的路子之一。我记得 2024 到 2025 年业界讨论 calibration 时，更多是在 token-level confidence、verbalized confidence、conformal prediction 上打转；那些方法有用，但很多都默认你能拿到稳定概率或至少可重复的分数信号。黑盒商业模型常常不给这个入口。Textual Bayes 至少正面承认了现实：拿不到参数，就把文本接口本身当参数。 我的保留意见也很直接。第一，论文如果没有强 baseline，对比就容易虚。它至少该和 best-of-n prompt search、self-consistency、prompt ensembling、甚至简单的 few-shot selection 比，而且要在相同 API 预算下比。第二，校准提升不能只报单一指标，ECE、Brier、selective risk 这些口径最好一起给，不然“UQ 更好”很容易变成挑指标。第三，小样本训练集是优点也是陷阱。50 条、100 条标注样本能跑出漂亮后验，不代表 prompt 后验在分布漂移后还稳。企业场景里，一周后的工单分布就能变。 所以我现在的态度是：方法框架我认可，效果宣称我先保留。它给 prompt engineering 补上统计语言，这件事比标题看起来更严肃；它离生产可用还有多远，摘要没有给够证据。要让我继续跟，我会先去找 PDF 里的三样东西：具体 benchmark 分数、采样调用成本、先验文本敏感性实验。没有这三项，这篇更像一个很会讲的 research bet；有了这三项，它才有机会变成企业黑盒 LLM 评估栈里的常备工具。

论文用 ER、ERV、ERA 改写 RLVR 奖励，并在高考 2024 报出 21.4% 提升。我的判断很直接：它挑对了一个行业里老被偷换的指标。很多 reasoning RL 工作嘴上在讲“探索—利用”，手里拿的却还是 token 熵、logprob、self-confidence 这类下一词统计。那套东西拿来压采样温度还行，拿来描述多步推理过程，经常是量错了对象。作者把观察面切到隐藏状态轨迹，我觉得这一步是对的，而且比再发明一个 rollout-level heuristic 更像正经研究问题。 我比较认可的点，是它没有把探索和利用硬绑成一条跷跷板。摘要说 ER 和 ERV 在语义空间里近乎零相关，这个结论如果复现成立，会直接顶翻一批默认前提：很多 RLVR 配方之所以调得很别扭，不是因为两者天然冲突，而是代理指标把它们挤在同一维里了。这个想法跟过去一年不少结果能接上。像 GRPO、RLOO、DPO 后接 verifier 的链路，大家实际踩到的坑一直是 reward 明明更强，推理轨迹却更窄，最后过拟合到答案格式或短路径。我自己一直觉得，问题未必先出在 optimizer，更常出在“你到底在奖励什么”。 但我对 21.4% 这组数字有保留。摘要没披露基座模型名、参数量、verifier 形式、采样预算、训练步数，也没说这是 absolute gain 还是 relative gain。高考 2024 这种 benchmark 本来就容易受题型分布和 decoding 设置影响；同一方法换成 AIME、MATH 500、LiveCodeBench，曲线经常就变形了。标题给了大方向，正文摘要没给最关键的复现条件，这里不能替作者补全。 还有一层我会多看一眼：隐藏态指标在研究里常常很好看，在跨模型迁移时不一定稳。effective rank 受层位选择、归一化方式、序列长度截断影响都不小。去年围绕 representation geometry 的几篇工作也碰到过类似情况：同一指标在 7B 和 32B 上相关性不错，换到 instruction-tuned 版本就掉得很厉害。我没跑过 VERL 代码，现在不下结论，但“语义空间指标更本质”这句话我不会先信满。 代码已经开源，这对这条很重要。因为这类方法值不值钱，不看 abstract 的理论包装，先看两件事：一是 reward 计算会不会把 RL 吞成一个昂贵的 feature engineering 管线；二是它对现有 GRPO / PPO / rejection sampling 流程的接入成本有多高。要是 ER/ERV/ERA 只需读几层 hidden states 就能稳定增益，这条会比又一个 verifier trick 更耐用。要是算子很脆、超参很多，那它大概率留在论文里。

VideoP2R 这篇的核心，不是“6/7 基准第一”，而是它把视频推理里最脏的耦合点拆开了：先看见，再推理，而且两段各拿各的奖励。这个判断我基本认同。视频任务一直比文本更容易把错误藏起来，模型明明没看对帧，却能靠语言先验把答案蒙对；你如果只给一个终局奖励，训练出来的往往是“会编解释的答题器”，不是“看得准的推理器”。 摘要给了两个硬信息：一是 SFT 阶段做了 16.2 万条 process-aware CoT 数据；二是 RL 阶段用了 PA-GRPO，给感知和推理分开奖励。这个设计跟过去一年文本推理圈子的路数是对得上的。GRPO 这类相对奖励方法，在长推理上好用，一个原因就是不太依赖高质量 value model；但到了视频，多了一层感知噪声，单一 reward 很容易把“看错了但答对了”也算成功。VideoP2R 至少在训练目标上正面处理了这个问题。说真的，这比再堆一个“统一多模态奖励模型”靠谱。 我想到的外部参照有两条。第一条是文本侧从 DeepSeek-R1 到后面的 process supervision 讨论，大家已经反复验证：只奖励最终答案，模型会学会投机；把中间步骤结构化，稳定性会高很多。第二条是视频侧过去几波工作，不管是基于 LLaVA-Video 一类的 instruction tuning，还是把视频问答直接改成 CoT 生成，常见毛病都是“语言头太强，视觉证据太弱”。我没核过这篇用的具体基座，但如果它确实证明 perception output 对 downstream reasoning 已经 information-sufficient，这个点比榜单名次更有研究价值，因为它在回答一个老问题：视频模型到底缺“想”，还是先缺“看”。 但这篇我有三个保留。第一，摘要没披露基座模型、参数规模、视频编码器、输入帧数、context budget，也没说 7 个 benchmark 具体是哪 7 个，6/7 SOTA 的提升幅度更没给。没有这些条件，SOTA 三个字信息量很低。视频 benchmark 现在碎得很厉害，换一个采样策略、换一个 test-time 多采样，名次就会动。我自己不会因为这个标题就把它放进“通用视频推理突破”。 第二，我对 16.2 万条 CoT 数据的“高质量”表述会先打个问号。过程监督的上限，经常不是量，而是标注口径是否稳定。感知步骤如果是模型蒸馏出来的，再拿去训练下游模型，很容易把上游模型的观察偏差固化进去。文本里这种问题已经见过很多次：CoT 看着很完整，实际是在给错误答案写一份漂亮草稿。视频更麻烦，因为帧级证据本来就含糊。摘要没有披露这 16.2 万条数据的来源分布、人工审核比例、错误率，我没法判断这套 supervision 到底是在教模型“看视频”，还是在教模型“模仿一套视频解释格式”。 第三，PA-GRPO 听起来顺，但 reward 分解不等于 credit assignment 真解决了。感知 reward 怎么定义？是对齐标注对象、事件顺序、时序定位，还是只看中间文字描述和参考答案的相似度？如果后者占比太高，模型还是会绕回语言捷径。过去多模态 RL 经常卡在这里：奖励函数写得像在评视觉 grounding，落地却变成在评一段文字是否“像正确解释”。摘要没给 reward 细节，我只能先保留态度。 这篇还有一个我觉得挺重要的潜台词。它默认视频理解可以被切成“感知充分、推理在后”的流水线。这个假设在多数 benchmark 上成立，在开放世界任务上未必成立。很多真实视频问题里，注意什么本身就受推理目标反向影响：你先猜到有人在藏东西，才会回看角落那一秒。也就是说，感知和推理有时不是串行，而是迭代闭环。VideoP2R 如果只证明拆开训对现有 benchmark 有效，那是很好的工程结论；如果要往 agentic video understanding 走，后面大概率还得补一个“推理反过来调度感知”的环。 我现在的判断是，这篇更像视频版 process supervision 的一次扎实落地，不像范式级跳变。它抓到的问题是真的，方法方向也对。标题里最该小心的，是那层 SOTA 叙事。等作者把基座、各 benchmark 分数、奖励定义、数据构造细节都摊开，再谈它是不是视频 RFT 的分水岭。眼下我更愿意把它看成一个信号：视频推理训练开始从“统一答案奖励”转向“证据链分解奖励”了。这个方向，我买账。

REALM 这篇论文把 5 个 QA 基准、3 个 Flan-T5 尺寸放进同一套实验里，声称在最对抗的噪声条件下把准确率最高拉高 50%。我的判断很直接：这个思路比结果更重要。它不是再做一次“更聪明的聚合器”，而是把“谁标的”直接写进 SFT 目标里，让模型参数和标注者专长一起学。只要训练集来自众包、外包审核、低成本 RLHF 标注，这条路就有现实意义。 我一直觉得，多数投票在 LLM 训练里被高估了。多数投票默认两件事：第一，错误彼此独立；第二，所有人面对同一题型时错误率接近。实际标注流水线通常都不满足。安全拒答、事实核查、长链推理、代码解释，这几类任务的错法完全不同。同一个 annotator 在 toxic 分类上靠谱，在数学题上可能就是噪声源。REALM 的多任务版去学一个按任务分开的 expertise matrix，这个设计我比较认可，因为它至少承认“可靠性不是全局常数”。 这条线其实有很清楚的前史。早年 crowdsourcing 里就有 Dawid-Skene 这类方法，用 EM 去估计工人可靠度和潜在真值；后面 Snorkel 也把弱监督源的精度和相关性显式建模。REALM 的新意不在“估计谁靠谱”这件事本身，而在它把这个 latent reliability 直接并入 LLM 微调，而不是先做一次去噪再喂模型。这个位置很关键。先聚合再训练，会把不确定性压成单标签；联合训练至少保留了“这条监督本来就不干净”的信息。我对这个方向是偏看好的。 但我对论文里的证据也有保留，而且保留不小。标题和摘要给了三个关键信息：一，噪声是 simulated noisy annotations；二，观测标签被建模成“模型预测”和“均匀随机猜测”的混合；三，只用 annotator identity 无监督估计专长。问题就出在第二点。把低质量标注者近似成 uniform random guess，在合成实验里很好用，在真实标注市场里往往太乐观。很多差标注者不是乱猜，他们有系统性偏差：偏向更安全的选项、偏向更短答案、偏向高频类别、偏向平台 rubric 的表面词。系统性偏差比随机噪声难处理得多，因为它会稳定地把模型推歪。摘要没披露真实人工标注集上的验证，我还没法相信这 50% 提升能顺滑迁移到生产数据。 还有一个我想追问的点：这个方法会不会把“早期模型的偏见”反向当成 annotator 不可靠？REALM 的观测机制里，一部分标签概率直接来自当前模型预测。如果模型初期就在某类题上判断错得很整齐，优化过程有机会把反对模型的 annotator 打成低专长。这个风险在联合学习里很常见，属于 identifiability 问题。Dawid-Skene 一类方法至少把 latent true label 放在中心；REALM 这里看摘要，更像让模型本身部分扮演“真值近似器”。正文如果没有初始化、正则项、或收敛约束，这里就有塌缩空间。标题已给出方法框架，正文摘录没有披露这些训练稳定性细节，我不会替作者补完。 摘要还说“gains grow with model capacity”。这句话我反而信。模型越大，记忆噪声和吸收伪规律的能力越强，所以简单 noisy SFT 往往越需要显式去噪。这个现象跟过去一年大家在 preference data 上看到的情况接近：小模型常常被容量限制掩盖噪声问题，大模型一旦有足够自由度，坏标签会被学得很彻底。只不过这里同样缺数字。3 个 Flan-T5 尺寸具体是 base、large、xl 还是别的组合，增益曲线怎么随参数量变化，摘要都没给。 如果你在做数据引擎，这篇最有价值的启发不是“拿来即用”，而是别再把 annotator ID 当脏字段扔掉。很多团队做 SFT、RM、甚至 tool-use 轨迹筛选时，落库只保留最终聚合标签，不保留标注者轨迹、任务批次、审阅轮次。这个做法很省事，也把后验纠错能力一起删掉了。REALM 至少提醒了一件事：只要保留 identity，哪怕不加额外人工审计，也能从训练目标里榨出一部分可靠度信号。 说真的，这篇我会先放进“值得复现”而不是“可以部署”。我想看的不是再多一个模拟噪声 benchmark，而是三类补证。第一，真实众包数据，不是合成翻转标签。第二，非随机偏差场景，比如系统性政治倾向、长度偏好、拒答偏好。第三，和更强基线比，不只是 naive noisy SFT，还要比 Dawid-Skene 预聚合、co-teaching、confident learning，甚至简单的 worker filtering。现在这几项，摘要都没披露。方向我认可，数字我先打折。

IUQ 用 interrogate-then-respond 框架量化长文本输出的不确定性，并在 2 个数据集上报告优于现有方法；摘要没披露模型名、指标值和提升幅度。我的判断很直接：这篇论文抓对了问题，但证据还不够硬。长文本幻觉一直难做，不是因为大家不知道会胡编，而是因为一句话里往往混着 3 到 10 个 claim，段落级打分太粗，token 概率又太局部。它把评估单元降到 claim，这一步方向是对的，至少比“整段 answer 给一个 uncertainty 分数”更接近真实使用场景。 这条和过去一年的主线是连着的。前面很多 uncertainty 方法，像 self-consistency、semantic entropy，或者让模型先给 verbalized confidence，通常在短答案、选择题、可规范化答案上更能打。题目一变成长摘要、开放问答、报告生成，分数就很容易失真。原因不复杂：两个回答表面措辞不同，不等于事实冲突；一段回答大体靠谱，也不等于每个 claim 都靠谱。IUQ 把 inter-sample consistency 和 intra-sample faithfulness 绑在一起，我觉得这是它最像样的地方。前者看不同采样是否说到同一组事实，后者看单个回答内部的 claim 能不能被上下文或证据支撑。这比单看采样分歧要完整，因为很多 hallucination 恰恰是“稳定地胡说”。 但我对这类方法一直有个保留：claim 级评估经常把误差从生成器转移到解析器。谁来切 claim？谁来判断 claim 是否被 source 支撑？如果 interrogate 这一步本身由另一个 LLM 完成，那最后的 uncertainty 分数很大概率受 interrogator 的 prompt、温度、模型规模影响。摘要说覆盖 diverse model families and model sizes，这点是好事，但没说评估器是否固定、是否跨模型泛化、是否做了 calibration。没有这些信息，我没法判断 IUQ 测到的是“被评模型的不确定性”，还是“评估流水线自身的稳定性”。 我还想追一个很实际的问题：它说 measure faithfulness，但 faithfulness 相对谁定义？相对输入文档、检索证据、还是模型自己前文？这三种差别很大。做 RAG 摘要时，faithfulness 通常指不偏离 source；做开放写作时，claim-level uncertainty 更像 factual risk estimate。标题和摘要把两件事放在一起，很聪明，但正文摘要没交代边界。我自己更想看的是，IUQ 在有外部证据的任务上是否明显强于没有 interrogate 步骤的 baselines；如果只在人工标注的小数据集上赢一点，这个故事就没那么成立。 代码已开源，这比很多只给分数表的论文强。说真的，开源后最该验证的不是它在论文数据集上多赢几点，而是两件更脏的事：第一，换成 GPT-4.1、Claude、Qwen 这类不同风格模型，claim 切分是否稳定；第二，长答案拉到上千词后，计算成本涨多少。过去很多“长文本可靠性”方法最后卡在成本，跑一次评估要再生成多轮问题和答案，线上根本挂不住。摘要没给复杂度，也没给 latency。 所以我的结论是：这篇论文有方法论价值，尤其适合做 long-form eval、RAG 审核、high-risk QA 的离线打分器；离在线 refusal、实时 uncertainty gating 还有一段路。要不要兴奋，先看论文正文里的三样东西：claim 抽取怎么做，calibration 怎么报，开销怎么控。少一个，这条都容易停在“评测很好看，系统里不好用”。

ConDense-MoE 在 DeepSeekMoE-16B 上把内存降了 27.5%，推理提速 1.26 倍，还能用单张 80G A100 微调 5 小时把性能拉回原模型的 98%。我对这篇的判断很直接：它抓住了 MoE 近两年最尴尬的一层，不是训练时的参数效率，而是上线时的硬件不友好。很多团队做 MoE，账面上 active params 很省，真到服务侧还是得吞路由、访存、跨专家调度这些碎成本。把稀疏层直接删掉，精度掉得明显；把稀疏层压成更小的稠密层，至少是顺着部署现实在想。 我一直觉得，MoE 这波有点像前几年大家追逐结构稀疏化：论文里省 FLOPs，机房里省不了多少钱。Switch Transformer、Mixtral、DeepSeekMoE、QwenMoE 都证明了一件事，稀疏激活能把模型做大；它们也反复暴露另一件事，现代 GPU 对规则稠密算子还是更吃香。我没重新核过 Mixtral 那些线上数字，但业界这两年一个共识很稳：如果 kernel、batching、路由缓存没跟上，MoE 的理论优势很容易被系统开销吃掉。这篇论文有意思，就有意思在它不再执着保住“稀疏形式”，而是承认硬件现实，主动往 dense 退一步。 但我对这组结果也有保留。文章摘要给了 90% 平均准确率、98% 恢复、1.26 倍提速，正文摘录里没给基准集合、batch size、sequence length、延迟口径，也没说和哪些 pruning baseline 正面对比。1.26 倍不是小数，放到线上也不算大；如果这是单 batch 吞吐提升，和真实交互延迟不是一回事。如果这是端到端 latency，反而还行。标题已经给出方法方向，正文摘录没披露最关键的复现条件，我不会把它直接当成“MoE 部署突破”。 还有一点我比较在意：这方法点名适用于带 shared experts 的 fine-grained MoE，比如 DeepSeekMoE 和 QwenMoE。这个适用范围其实很窄，不是所有 MoE 都能平移。DeepSeek/Qwen 这类细粒度专家，本来就比粗粒度专家更容易做结构重组，因为每个 expert 更小、共享专家也提供了稳定底座。换到 Mixtral 那种更经典的 top-k expert 设计，压缩后还能不能守住精度，摘要没有说。我自己没查到他们是否做了跨架构验证，所以这里先别外推太猛。 说真的，这篇对开源模型团队比对闭源前沿实验室更有参考值。前者常见约束就是显存、单机部署、少量再训练预算。单张 A100、5 小时、只调压缩层，这几个条件很具体，也很工程。它传递的信号不是“MoE 更强了”，而是“MoE 可以更像一个能落地的 SKU 了”。如果后面有人把同样思路接到 vLLM、TensorRT-LLM 或 SGLang 这类推理栈里，并给出长上下文和多 batch 的真实服务数据，这条线就会比很多新 MoE 架构论文更实在。现在这版我会记一笔，但不会过度兴奋。

Brady Steele 在 25 组实验里把 LoRA 与高标注熵样本的正相关反学习现象跑出来了，这条对微调实践是坏消息。结论不是“争议样本更难学”这么普通，而是 LoRA 训练过程中这类样本的损失会回升，且全量微调里大多不出现同样模式。只要这个现象站得住，很多团队现在把 PEFT 当默认选项的习惯就该收一收，至少在高噪声、高主观性数据上不能再无脑套。 我先说判断：这篇的价值不在相关系数最高到 0.43，而在它把“LoRA 是便宜近似”这句行业常识往前推了一步。以前大家接受的是，LoRA 省参数、省显存，效果通常接近全量微调，掉几点指标就当成本换性能。这里给出的信号更刺耳：LoRA 不是均匀地差一点，它像是在数据分布的某个切面上系统性失真，特别是标注本来就不一致的样本。对做评测、对齐、客服分类、审核这类任务的人，这比平均 accuracy 掉 1 个点麻烦得多，因为你最不想错的，往往正是边界样本。 文章给出的证据目前主要来自 ChaosNLI 的每样本 100 个标签，用注释熵做争议度，再去看 SNLI、MNLI 上逐样本损失曲线面积，Spearman ρ 在 0.06 到 0.43。这个设计我觉得是合理的，至少比只拿单标签置信度强很多。NLI 这类数据本来就有大量“ premise 与 hypothesis 关系并不干净”的例子，ChaosNLI 这种多标注版本刚好能把歧义显出来。解码器模型在相同 LoRA rank 下相关更强，这点也有意思。我的直觉是，decoder-only 在生成式目标下更容易把低秩更新压到几条高频捷径上，碰到本来就多解的样本，梯度会更像互相打架。正文没展开到机理层面，所以这句只能算工作假设，不是论文已经证明的结论。 这条和过去一年业内的经验其实能对上。我一直觉得很多 SFT 项目里那种“训练集 loss 很漂亮，线上边界 case 更飘”的现象，被人过快归因为数据脏、评测集偏、seed 不稳。现在看，PEFT 本身也可能是变量。尤其是 rank 压得很低、训练步数又不长的时候，模型学到的不是任务决策边界，而是一组便宜但脆的适配方向。我没看到文中给出不同 rank、不同 target modules、不同 learning rate 的完整拆解；标题和摘要只说 matched LoRA rank、6 个模型、25 个条件。这个缺口挺关键，因为很多工程团队的 LoRA 配方差异极大，q_proj/v_proj 和全 attention+MLP 的行为未必一回事。 我对这篇也有保留。第一，相关系数 0.06 到 0.43 跨度很大，说明效应不是“见谁都很强”。弱相关那部分到底统计显著但工程上不痛不痒，还是在某些设定下已经足够影响部署，摘要没说。第二，任务目前集中在 NLI。NLI 是研究标注分歧的好沙盒，但它和现实里的 instruction tuning、偏好学习、工具调用监督并不等价。很多生产数据的“分歧”不是语义歧义，而是标注员标准不齐、政策漂移、采样偏差。注释熵在这些场景里还能不能稳定预测反学习，正文这里没给。第三，摘要提到做了 preliminary noise-injection experiment，但没披露注入方式、噪声比例、是否区分 aleatoric 和 annotator noise。这个地方如果处理粗，容易把“真实多解样本”和“单纯脏标签”混在一起。 即便有这些保留，我还是觉得这篇值得做的人马上回去复查自己的流水线。因为它给了一个很实用的筛查思路：别只看整体验证集指标，拿多标注或软标签数据，去看逐样本 loss trajectory，尤其看后期 loss 回升的样本簇。如果你手里没有 ChaosNLI 这种 100 标签数据，也能用更便宜的代理量，像复标 5 到 10 次、模型委员会分歧、或 annotator agreement 分桶。我自己还没跑过，但这类诊断成本比盲目加 rank、加 epoch 低得多。 更麻烦的一点在产品侧。很多团队选 LoRA，不只是为了训练便宜，也是为了多租户、多客户、多任务快速切换。如果 LoRA 天生更容易在争议样本上反学习，那它就不是单纯的 infra 选择，而是风险选择。审核、医疗问答、法务分类这类边界样本密度高的场景，PEFT 省下来的钱，最后会在人工复核和事故率上吐回去。这个说法我敢下，但幅度多大，正文没给数字。 我的总体看法是：这篇没有把机理讲透，但它把一个工程上早就若隐若现的问题量化了。LoRA 的问题不只是“上限略低”，而是它会对不确定样本产生方向性偏差。要是后续有人在 instruction tuning、preference data、RLAIF 合成偏好上复现出同样模式，那 LoRA 在高风险任务里就不该再被当默认答案。

论文用 100M tokens 训练 124M 参数的 GPT-2 Small，再加 1% 定向合成数据，把 9 个最差 BLiMP 现象里的 8 个拉起来。这个结果够具体，only_npi_scope 从 20.9% 到 69.4%，而且总分基本没掉。我的判断是：这条对“模型天生学不会形式语言”这套悲观叙事是一次有效反击，但它还没证明“数据就是主要瓶颈”。它证明的是更窄的一件事——在小模型、低数据、受控评测里，给到足够密度的正反例，模型能把一部分以前学不稳的语法模式补回来。 我对这条会多看一眼，原因不是 BLiMP 本身多重要，而是它在提醒大家别把“参数量不够”当成默认解释。过去一年里，业内已经反复见过类似信号：同规模模型，语料配方、去重、课程式采样、合成数据清洗，带来的差异经常比多堆一点 token 更大。Meta 做 Llama 3 时就很强调数据混配和质量过滤，Allen AI 的 OLMo 也把数据配方摊到台面上。这个方向不新，论文的价值在于把问题钉到一个很小、很可复现的 setting 里，还给了开源代码。对研究圈来说，这比空讲“数据质量重要”硬得多。 但我还是要泼一点冷水。第一，BLiMP 是极窄的最小对比测试，它擅长测“你有没有学到这个形式差异”，不擅长测“你会不会把它稳定带到开放生成和长上下文推理里”。only_npi_scope 从 20.9% 拉到 69.4% 很漂亮，可 69.4% 也远没到解决。principle_A_c_command 甚至还低于随机，这一下就把“多喂点针对性样本就行”卡住了。这个现象很关键，因为它更像结构性难点：不是没见过，而是表示、注意力分配、训练目标三件事里至少有一件不对路。标题问“数据是不是真瓶颈”，正文给出的答案其实是“一部分现象是，一部分不是”。这个边界比乐观口号重要。 第二，我对“总体表现持平或小幅上升”这句会比较谨慎。摘要没披露 aggregate performance 的具体 benchmark、波动范围、随机种子数量，也没说合成数据注入是一次性混入预训练，还是有课程式安排。要是总体指标只在 BLiMP 邻近任务上看，那说服力有限；要是在更广的语言建模困惑度、下游任务、OOD 文本上都没退，那分量就完全不同。标题已经给出方向，正文摘要没给这些关键控制项，我不会替作者补结论。 还有一个文章里没展开、但我觉得很现实的上下文：现在大模型后训练里，大家早就在用高密度、任务定向的合成数据修模型边角。代码、数学、工具调用、安全拒答，全是这个逻辑。不同的是，这篇论文把同样的方法往“预训练阶段的形式语言能力”上推了一步。这个迁移很有意思，因为它暗示一个更实际的工程问题：我们是不是该把预训练语料，从“尽量像互联网”改成“互联网主体 + 稀有结构补丁包”。如果答案是肯定的，那数据工程会继续从清洗问题变成覆盖率问题。你不只要知道哪些 token 多， 还要知道哪些结构几乎没出现。 我自己还有个疑虑：这种定向合成数据很容易把 benchmark 打穿，却不一定形成稳健能力。过去在数学和代码上已经见过，专门照着评测格式生成数据，分数涨得很快，换个表面形式就掉。BLiMP 虽然是语言学对比集，不像 leaderboard 那么容易刷榜，但风险还在。作者如果后面能补充对近邻但不同模板的泛化测试，或者换一个完全不同的语法评测集还能保住提升，我会更信。 所以这篇论文给我的结论不是“以后别卷模型了，去卷数据”。我看下来更像是：小模型的很多语法短板，之前被我们过早归因为架构无能；其实有一部分只是训练分布太懒，没把稀有现象喂到能学会的密度。问题在于，哪一些现象属于这个桶，哪一些不属于，摘要只回答了一半。另一半恰恰是最值钱的地方。

ACG 用单次前向替代多遍对比解码，延迟最多降到 1/2。这个判断我基本认同，因为 LVLM 幻觉里最烦人的一类，本来就不是“模型不会看图”，而是文本先验先冲出来，等你在输出层再纠偏，错已经扩散了。 这篇论文选在自注意力层下手，而不是在 logits 末端做拉扯，我觉得路子比很多免训练补丁更顺。摘要给出的机制很具体：同一次前向里并行构造图像条件路径和近似纯文本路径，再用轻量正交投影压制后者。好处很直接，算力账更容易成立。过去两年这类工作常见的代价，就是要么双路前向，要么额外解码几轮。VCD、OPERA 这一挂方法我记得都在推理期开销上不算轻，名字和细节我没逐条复核，但大方向没错：大家都知道幻觉能压，问题是线上没人愿意为“少胡说一点”多付一倍延迟。 我对这条的兴趣，也在它把“幻觉来源”放回 attention 里处理。这个设定跟不少人的经验是对得上的：很多错误不是视觉 encoder 没提到目标，而是语言轨道过强，把“长得像”“常一起出现”直接补成了“图里有”。你在 attention 空间里做对比，相当于在 token 还没定型前就削掉那股文本惯性。这个位置选得比后处理更合理。尤其是 captioning、VQA 这类短输出任务，前几步一旦偏了，后面很难救。 但我对摘要里的两处说法有保留。第一，正文没披露 CHAIR 和 POPE 的具体分数，也没给提升幅度、方差、模型规模、backbone 类型。没有这些信息，“优于现有免训练基线”只够当方向信号，不够当方法结论。CHAIR 偏对象幻觉，POPE 偏 yes/no 探测，两者都常用，但都不等于真实产品里的多轮视觉问答。第二，所谓 approximate text-only path 是掩码近似，不是真正独立跑一次纯文本路径。论文自己也承认有 approximation bias，所以才加正交投影。这里的风险很现实：你省掉了一次前向，换来的是估计误差。误差在静态 benchmark 上能被投影修正，到了高分辨率输入、密集场景、OCR-heavy 页面，未必还这么稳。 说真的，这条更像“把对比解码工程化”而不是彻底换范式。它的价值在部署，不在新叙事。很多团队已经知道，多模态 hallucination 不能只靠再训练解决，因为闭源 API 模型、蒸馏模型、边端模型都需要 inference-time patch。ACG 如果真能在单次前向里拿到接近双路对比的收益，那会很实用，尤其适合吞吐敏感的 caption、检索增强问答、GUI agent 视觉描述这些场景。可我还没看到最关键的数据：额外显存开销多少，长序列下 attention 修改是否破坏流畅度，换到 LLaVA-OneVision、Qwen2.5-VL、InternVL 这几类架构上是否都成立。标题给了“efficient”，正文摘要没给这些部署指标。 我自己的判断是，这篇论文踩中了一个对的工程点：LVLM 幻觉治理，迟早会从“多跑几遍”走向“同一遍里做分路约束”。但在具体方法上，我先留半分怀疑。没有公开分数，没有跨模型泛化，没有复杂视觉场景拆分，这条还没到可以放心抄进生产栈的程度。要是后续正文里能证明，在 7B 到 70B 级别模型上都稳定，并且吞吐损失接近常数级，这篇就会很有分量；做不到，它就是一篇聪明的 inference trick。

论文提出了一种不确定性感知微调损失。条件是开放式问答生成，正文只给了摘要。 我先说判断：这条路子是对的，而且比一堆“后处理打分器”更像正解。原因很简单，幻觉问题有一半不是“答错了”，而是“答错时还很像对”。如果训练目标只奖励 token 似然，模型就会持续学会流畅地胡说。把答案质量和置信表达一起塞进 loss，至少方向上碰到了核心矛盾。很多团队过去一年都在补这块，但常见做法是外挂 verifier、self-consistency 采样，或者让模型额外吐一个 confidence score。那些办法部署时都贵，而且常常校准到分类任务还行，到了自由生成就散。这里如果真能在 CLM fine-tuning 这一层解决一部分，工程价值不小。 我对摘要里“without compromising accuracy”这句保留意见。摘要没有披露参与评测的模型数量、参数规模、数据集规模，也没给 calibration metric 名称。是 ECE、Brier、AUROC，还是 generation-specific 的 semantic calibration？没说。幻觉检测和 OOD prompt 识别提升了多少，也没说。没有这些数字，我没法判断这是稳定增益，还是只在几个 free-form QA 集上成立。说真的，做 uncertainty calibration 最容易踩的坑，就是把模型训得更保守，然后看起来“更可靠”了，实际只是少答、短答、模糊答。摘要没给 refusal rate、answer length、coverage，我对“精度不降”不会直接照单全收。 这条研究的背景其实很清楚。去年到现在，业界在 calibration 上大致分三路：一类是 logprob/entropy 直接当置信度；一类是 self-eval 或 judge model 复核；一类是 retrieval、tool use 把外部证据拉进来。第一类便宜但常常失真，尤其在 instruction-tuned 模型上，token 概率和事实正确性相关性并不稳定。第二类效果经常更好，但延迟和成本都上去。第三类能减幻觉，但那已经不是纯模型内生不确定性了。这篇论文想做的是第四条路：直接改训练目标，让模型生成时顺手学会“我知道自己不知道”。这个想法我一直觉得比“再叠一层守门员”更干净。 但我还有一个疑虑：论文把“trust”这个词放进标题，口气有点大。校准变好，不等于用户就会信任模型，也不等于系统层面更安全。真实产品里，用户看到的往往不是一个显式概率，而是语气、篇幅、引用、是否拒答。你把 loss 训好了，最后 UI 不展示不确定性，或者产品团队又把模型 prompt 成很自信，那校准收益会被吃掉。学术上这叫 uncertainty estimation，产品上这是 HCI 和 policy 的联动问题。标题把 trust 说得太顺，我不太买账。 还有个实现层面的点我想看正文。摘要说方法基于 decision theory，但没说具体决策代价怎么设。不同错误代价会把模型推向完全不同的行为：医疗问答里漏答和乱答的成本不一样，客服场景又不一样。如果这个 loss 需要手工设 cost matrix，那迁移性会受限；如果 cost 是从数据里学出来的，那又要看标注质量。我还没查到正文，所以这里不能替作者脑补。 如果后续正文给出跨模型结果，比如在 7B、13B、70B 都成立，再把 calibration、accuracy、refusal rate、response length 一起披露，我会更认真看这条。现在基于摘要，我的结论是：问题抓得很准，方法也像样，但证据链还停在“方向可喜”，离“可信可用”还有一段。

论文把矛头指向优化器，而且是在两个基准上都这么讲，我觉得这点是对的。LLM unlearning 这两年最大的问题，从来不是“能不能删掉一段知识”，而是删完以后太容易被后处理打回来：再量化一次、再做一轮轻微微调、甚至继续对齐，遗忘痕迹就松了。作者这次说，别总盯着 objective，optimizer 本身就在决定你最后落进哪个 basin。这个判断我基本认同，因为很多所谓“遗忘失败”，看着像目标函数没写好，实际更像更新轨迹把模型带到了一个很浅、很容易被挪走的位置。 有意思的地方在，他们给出的方向不是“更强的二阶信息”，而是反过来降级：零阶、sign-based、再加一个一阶和零阶混合。这个结论听着有点反常，但并不离谱。过去一年里，不少鲁棒训练和量化感知训练都在重复一件事：更新越精细，局部最优越尖，后续扰动越容易把参数推回去；更新带点噪声、带点压缩，反而更容易落到平一点、宽一点的区域。论文把它翻译成 unlearning 语境，就是“删掉的东西没那么容易被补回来”。这条逻辑说得通。我自己也见过类似现象：一些 aggressive 的 forgetting 方案在训练集上删得很干净，但一做 LoRA recovery 就回魂，问题不一定在 loss，也可能在 optimizer 把模型推得太脆。 但我对这篇的保留也很明确。第一，正文只有摘要，关键数字没披露。模型规模是多少，7B 还是更小？robustness 提升几个点，还是只在某些 attack 下成立？量化是 8-bit、4-bit 还是更狠的设置？fine-tuning 的数据量和步数是多少？这些条件不写，结论先别外推到生产。MUSE 和 WMDP 是常见基准，但它们离真实删除请求还有距离，尤其 WMDP 更偏危险知识问答，不等于企业里的隐私样本删除。 第二，我对“零阶天然更稳”这句话有点警觉。零阶和 signSGD 一类方法确实会引入噪声和平滑效应，但代价通常是样本效率和收敛效率更差。摘要说“不牺牲 unlearning quality”，这个我现在不敢直接信。只要模型大一点、遗忘目标更细一点，比如删某个用户分布下的私有记忆而不是删一类公开危险知识，粗粒度更新很容易把旁边能力一起蹭掉。这个 trade-off 在小模型和 benchmark 上常被低估。我要看到 utility 保持、target forgetting、relearning resistance 三组数字一起给，才会更信服。 文章外的上下文也很关键。过去一波 robust unlearning 论文，大多在改 objective：加 KL 约束、加 retain set、加 adversarial relearning、或者把 weight-space flatness 直接写进目标。那条路的问题是方法越来越重，迁移性一般。这个工作换成改 optimizer，优点是与算法解耦，理论上能插到已有流程里，这点比再发明一个新 loss 更实用。我记得去年有几篇机器遗忘和 diffusion unlearning 的工作，也提到 flat minima 和后续恢复难度有关，但没有把“optimizer grade”单独拎出来讲得这么直接；如果这篇实验证据够硬，它至少补上了一块大家以前默认但没系统测的变量。 我还想追问一个更工程的问题：这种鲁棒性到底是在防谁。若威胁模型是“内部团队无意中量化或续训把遗忘冲掉”，那换 optimizer 很合理；若威胁模型是“有意恢复被删知识的攻击者”，只靠优化器多半不够，因为攻击者可以换数据、换 adapter、换目标继续挖。摘要里提到 randomized smoothing 的联系，这在认证鲁棒性语境里很漂亮，但放到 LLM unlearning，能不能给出像 certified radius 那样的硬保证，我没看到。 所以我的结论是：这篇抓到了一个之前被低估的控制杆，方向比很多花哨 unlearning objective 更像真问题；但现在还只是研究信号，不是工程答案。等完整正文出来，我最想看四个东西：模型尺寸、量化位宽、relearning attack 设定、以及 hybrid optimizer 的额外训练成本。没有这些，标题成立，部署建议还不成立。

论文用 10 支高校队伍生成了 19,683 段多轮对话，并把一个开源模型在 CyberSecEval-Instruct 上拉高 18.47%，在 CyberSecEval-MITRE 上拉高 29.42%。我的判断很直接：这篇有价值的地方，不是又多了一个安全数据集，而是它把“采数”从单人标注改成了博弈机制。攻击者要想办法绕，防守者要想办法接，这种结构天然会逼出长回合、上下文依赖、失败重试这些普通众包最难稳定拿到的东西。做过对话微调的人都知道，单轮 instruction data 很容易堆，多轮攻防数据最缺的不是量，是对抗张力。 我对这个方向基本认可，因为过去一年行业已经反复证明，安全后训练的瓶颈越来越像数据机制，不像模型参数。Meta 那套 CyberSecEval、Anthropic 的 CTF/agent 安全测试、还有 OpenAI system card 里那些长链条滥用场景，卡点都在 multi-turn 和 tool use。我没核实作者具体基座模型是哪一个，摘要也没给参数规模、训练配方、token 数和对照组细节；这些没披露前，18.47% 和 29.42% 只能说明“这套数据对这个设置有效”，还不能推出“竞赛式采数普遍优于高质量合成数据”。如果基座本来就弱，或者原始 cyber alignment data 很少，涨幅会被放大。 我还有两个保留。第一，10 支 academic teams 这个池子不算大，而且参与者大概率都知道比赛目标，分布会朝着“像 benchmark 的攻击”收敛。这样做出来的数据，容易把模型训得更会过 CyberSecEval，而不是更会处理真实企业环境里的安全请求。第二，摘要只给了结果，没有给 error taxonomy。提升到底来自更稳的拒答、更准的安全替代方案，还是单纯学会了 benchmark 偏好，正文没披露。安全代码生成里这三个不是一回事。拒答率高一点，分数能上去；可在生产里，用户要的是可执行的安全修复，不是满屏 policy text。 说真的，这篇让我想到 RLHF 早期一个被低估的事实：高质量偏好数据往往来自有动机的对手，不来自随手点选的众包工。现在很多团队还在用廉价 synthetic self-play 补安全数据，我一直觉得那条线有个硬伤：同一个模型家族同时当出题人和答题人，分布会塌得很快。这个 Arena 方案至少把激励拆开了。攻击者希望找到洞，防守者希望堵住洞，目标不一致，数据多样性通常就会更好。 但我不太买“这就解决低资源领域数据稀缺”这种延展叙事。竞赛式采数的组织成本不低，10 支队伍、规则设计、评测裁判、回合编排都要钱，也要领域专家。网络安全还能靠 CTF 文化和高校队伍撑起来，换到医疗、法律、芯片设计这种高门槛领域，是否还能复制，标题和摘要都没回答。我的看法是，它更像一个高价值垂直领域的方法论，而不是通用数据工厂。 如果后续正文补出三样东西，这篇分量会更高：一是和纯 synthetic/self-play、普通众包的 head-to-head 对照；二是跨基座复现，不只在一个开源模型上有效；三是 conversation-level 的失败分析，看看模型到底学会了什么。现在这版我会记下方法，不会直接照着涨幅下结论。

LEAF 用 2300 万参数模型拿下 BEIR 公榜第 1，这件事先别急着当成“小模型全面反杀”。我看重的不是榜单名次，而是它把蒸馏目标从“分数接近教师”改成了“表示空间对齐教师”，这样非对称检索才真的能落地：库侧一次性用大教师编码，查询侧长期跑小模型，线上成本才会明显降。 这个思路其实踩中了过去一年检索系统的一个实际瓶颈。很多团队已经接受“文档离线重编码，查询在线轻推理”这套架构，但学生模型和教师模型的向量空间不一致，常常逼着你整库重刷，或者干脆放弃混用。LEAF 现在宣称学生和教师对齐，等于把“大库高质量表示”和“低延迟查询服务”拼到一起。要是这点在代码和复现实验里站得住，它比单个 benchmark 排名更有工程价值。Cohere、Voyage、Nomic 这类嵌入路线，过去也都在打延迟、维度、压缩率这几个点；LEAF 这次多给了一把“异构部署还能对齐”的刀。 我对摘要里的两个说法有兴趣，也有保留。第一，它说不需要 judgments 和 hard negatives，batch 还可以很小。这个很诱人，因为嵌入训练最费的往往不是算力，是样本构造和负例挖掘。但我还没查到训练数据规模，也没看到教师模型名字。少了这两项，外界没法判断这套“门槛低”到底是方法优势，还是教师本身已经足够强。第二，它说学生会自动继承 MRL 和量化鲁棒性。这个如果成立，价值很高，因为很多检索团队最后卡在 int8、binary、短向量裁剪后的掉点。我记得 Mixedbread 那条 MRL 路线之前就强调“同一向量前缀也能工作”，但不同家做法对蒸馏迁移并不稳定。LEAF 这里要说服人，还是得补量化位宽、向量维度截断、召回曲线这些细节，摘要没给。 还有个我不太买账的地方：BEIR 榜首现在已经很难单独证明“泛化强”。这套榜单对新方法仍有参考价值，但它被刷得太久了，很多模型能靠任务配比、reranker 组合、数据清洗，把名次往上拱几个点。标题给了第 1，正文没披露具体分数、领先幅度、是否使用额外数据、是否和闭源 API 教师对齐。没有这些，SOTA 只能先当信号，不能当定论。 Apache 2.0 许可是加分项。嵌入模型和生成模型不一样，企业真会把它塞进索引、向量库、召回链路里跑很多年，许可条款直接影响采用率。要是作者后续把教师、数据配方、非对称检索的增益曲线补齐，这条会比很多“又一个 MTEB 刷榜模型”更耐看。现在我的判断很简单：方法方向对，工程味很重，但证据还没到可以盖章的程度。

论文用两个条件概率审计单步协议。c 表示把错题改对的概率，γ 表示把对题搞错的概率。这个切法很对路，因为端到端准确率只给净结果，不告诉你步骤到底在修复，还是在污染。 我对这条的判断很直接：它不是在发明新能力评测，它是在给 agent pipeline 补会计科目。过去一年，self-consistency、best-of-N、verifier rerank、reflection 这类协议常被写成“准确率提升 X 点”。工程上却经常踩同一种坑：总体分数涨了，简单样本被折腾坏了，难样本才被救回来。净提升还能看起来不错，但线上分布一变，收益马上蒸发。用 c 和 γ 拆开，至少能先回答一个很实际的问题：这一步是在赚高难样本的钱，还是在拿低难样本做代价。 摘要里提了 mixture shift、presentation contamination、state insufficiency 三类失效。我觉得这里最有价值的是前两类。mixture shift 说白了不是模型变了，是校准集和部署集难度混合比例变了，导致同一协议的净收益翻脸。这个问题在 GSM8K 之后的很多 reasoning 评测里一直存在。大家爱报单一平均分，却很少报按题目难度、题型、初始置信度分层后的 uplift。论文说可以用 difficulty proxy 做条件化校正，而且“不增加额外模型调用”。这个点很实用，但正文页面没给代理变量定义、稳定性区间、还有校正后的误差数字，我现在只能认可方向，不能替它背书效果。 presentation contamination 也很像线上真实事故。很多 selection 或 rerank 协议嘴上说“候选内容固定”，实际只是换了排序、模板、标记符，模型行为就变了。这个现象你做过 judge model 或 candidate chooser 基本都见过。去年不少 LLM-as-a-judge 工作已经暴露过位置偏置、格式偏置、冗长度偏置。它们不是小噪声，足够把一个看似稳定的 reranker 变成脆弱的提示工程。论文把这类污染单独命名，我觉得比再报一组 benchmark 漂亮数字有用。 我自己有两个保留。第一，接口建立在 exact-match 的二值正确性上。数学题和 GSM8K 适合，代码修复、多轮工具调用、开放式生成就没这么干净。很多协议步骤改变的不是对错位，而是错误类型、可执行性、冗余 token、工具调用次数。只看 E0/E1，信息损失很大。第二，摘要里说用 Markov factorization 检查多步组合能否成立。这个假设对短链路也许够用，对带外部工具状态、检索缓存、隐藏 scratchpad、会话记忆的 agent 流水线，我是怀疑的。正确性 bit 往往装不下历史依赖。作者其实也承认了这一点，但正文页没披露失败率、检验功效、在哪些设置下必须加状态。 这篇论文让我想到 uplift modeling 和医疗筛查那套思路。不是只看平均收益，而是拆成“救回来多少”和“伤到多少”。AI 工程这边一直缺这种语言，所以团队很容易把 rerank、reflection、debate 当成免费午餐。它们从来不是。每加一步调用，都会引入额外 token 成本、延迟、分布偏移面、还有新的污染通道。c/γ 这套接口的好处，是你终于能把“这一步该默认开启吗”写成可审计决策，而不是凭 leaderboard 直觉。 我还没看到全文里的关键数字。摘要没有披露 GSM8K 上 c、γ 的典型区间，没有给 calibration/deployment mixture 偏差有多大，也没给和端到端准确率基线相比的预测误差下降幅度。所以现阶段我会把它当成一个很像样的评估框架，不会当成已经验证完的通用定律。要是后续实验能覆盖代码代理、检索问答、tool-use 任务，这篇会比又一篇“某协议平均提升 3 分”的论文耐用得多。

SkillX 这篇我先给中等偏正面的判断。作者把“智能体靠试错各学各的”这个老问题，压成了一个更工程化的对象：可插拔技能库，而且分成战略计划、功能技能、原子技能 3 层。这个方向我认同，因为过去一年很多 agent work 都卡在同一个地方：轨迹能存，经验难复用。ReAct、Reflexion、Voyager、Generative Agents 这一路，分别解决推理、反思、探索、记忆，但一到跨任务迁移，经验常常还是 prompt 片段、few-shot 例子、或者临时缓存，很难给另一个 agent 直接拿来用。SkillX 至少在表示层上往前走了一步。 摘要给出的核心事实有 3 个：一，SkillX 是全自动管线；二，底座用了 GLM-4.6；三，迁移评测放在 AppWorld、BFCL-v3、τ²-Bench。这个 benchmark 组合不差，覆盖了长时程、工具调用、交互式任务，说明作者知道 agent 复用不能只看单轮函数调用。问题也很直接：摘要没给 success rate 提升多少，也没给 token、latency、skill retrieval 命中率、失败类型分布。没有这些数字，"consistent improves" 只能算方向性陈述，离可比实验还差一截。 我对这类“技能库”工作一直有一个固定疑虑：它们常常把策略压缩成可读文本后，表面上提升了泛化，实际上只是给模型喂了更长的 task-specific hints。尤其这里是用强 backbone GLM-4.6 先蒸出库，再去扶弱 agent，这很像 teacher-student distillation 换了个 agent 外壳。这个做法没问题，但要证明它是“技能复用”，至少要看到几组正文数据：同任务族内迁移和跨任务族迁移是否都涨；换 backbone 后是否还成立；技能检索错配时会不会拖垮执行。标题给了自动构建，正文摘要没披露这些边界条件，我不会直接把它当成通用 agent memory 的答案。 外部参照也很关键。2024 到 2025 年，业界一批 agent system 已经在做“经验外置化”：LangGraph 那类工作流把步骤写死，MemGPT/LongMem 这类把状态写进记忆层，Toolformer 和后续 tool-use 模型把调用模式吸进参数里。SkillX 选的是中间路线：经验不全塞进模型参数，也不只放原始日志，而是抽成层级技能。这个位置有价值，因为它兼顾可编辑性和迁移性。说真的，这比“把所有轨迹扔进向量库再 RAG 一把”要像样得多。后者在简单客服任务里还能用，到 AppWorld 这类长链任务，经常检索到相似但无效的历史步骤，反而放大错误。 我还是要 push back 一下“探索扩展”这块。摘要说它会主动生成并验证新技能，去覆盖 seed data 外的空间。听起来很顺，但这一步最容易把库污染掉：模型会发明看似合理、实际在环境里不稳的技能，早期验证如果只看单次执行成功，就会把脆弱策略写进库里。Voyager 当年就暴露过类似问题，自动积累的 skill 越多，后期去重、版本控制、环境依赖管理越麻烦。SkillX 如果没有强约束的 skill validation 和失效淘汰机制，库会越长越脏。摘要没写，我自己暂时保留意见。 所以这篇的分水岭不在“有没有技能库”，而在“技能库是不是便宜、稳、跨模型”。如果正文后面能给出具体增益，比如在 AppWorld 成功率提升多少点、平均步骤或 token 降多少、弱模型替换成另一个 family 后还剩多少收益，那这篇会从一个像样的 research prototype，升到值得 agent 平台团队试验的组件。现在只有摘要，我的判断是：方向对，表示设计也有脑子，证据还不够硬。

论文提出梯度筛选样本，声称在多个模型家族上能保住安全对齐；问题是摘要没给模型名、筛选比例、基准分数，这篇现在更像一个方向正确的 recipe，不是已经坐实的通用规律。 我对这条的第一判断是：它抓到了持续微调里一个老问题的可操作入口。很多团队都见过这种现象——你拿一批看起来无害的领域数据去做 continued SFT，模型的拒答边界、真实性、常识会一起掉。过去常见解法有三类：混安全数据再训、加正则约束、或者直接上 DPO / RA 风格的再对齐。麻烦在于，这三类方法都要额外数据、额外阶段，工程成本不低。这里作者说只动 sample selection，不改架构，也不要求人工整理安全集，这个思路我觉得是靠谱的，因为它把“对齐漂移”先当成优化路径问题，不先当成价值观数据问题。 摘要里最关键的一句，其实是 high-gradient samples 会把模型拉回 pretrained distributions。这个解释挺有意思。我自己的理解是，某些样本对当前参数状态太“尖锐”，梯度一大，局部更新就会压过原本通过 instruction tuning 或 safety tuning 学到的行为边界。你可以把它理解成一种训练信号的夺权：任务学到了，但先前那层脆弱的拒答策略被冲淡了。这跟过去一些工作里看到的 catastrophic forgetting 很接近，只是这里作者把 forgetting 的触发源，往单个样本粒度上拆了。 这个想法也不是凭空冒出来的。过去一年，数据选择和梯度影响分析在 LLM 训练里一直在回潮。像 influence functions、LESS、DataComp 那类工作，核心都在问同一件事：不是所有样本都等价，谁在主导更新，谁在伤害泛化。安全对齐这边，很多人以前默认“坏的是有害样本”，这篇反而说“坏的是梯度形状”，哪怕数据表面 benign。这个角度我比较买账，因为实际训练里最麻烦的从来不是显性脏数据，而是看着正常、更新方向却很激进的样本。 但我对论文叙事也有两个保留。第一，梯度大小到底是在测“有害性”，还是在测“难度 / 分布偏移 / 标注风格异常”，摘要没拆。要是高梯度样本只是新域里最有信息量的 hard examples，那你把它们滤掉，短期安全分数会更稳，长期任务上限也可能一起被砍掉。作者说 moderate-gradient samples 还能保任务性能，可没有数字，这里我没法替他下结论。第二，攻击 benchmark 提升不等于真实部署安全更强。很多 safety eval 对 refusal 很敏感，模型只要更保守就能拿更好分数，但 truthfulness 和 usefulness 可能一起掉。摘要提到 truthfulness 和 commonsense，可没披露测法，我对这部分会谨慎看。 如果后续正文证明它在 7B 到 70B、不同 continual domain、不同 selection ratio 下都稳定成立，那这条会很实用。原因很简单：它插在现有训练流水线里就能跑，成本比重新做一轮安全微调低得多。很多开源模型团队、企业内垂直模型团队都能直接试。可在看到具体实验前，我不会把它当成“持续对齐”通解。我还想知道三件事：每步筛选的计算开销有多大；梯度是按 token、按 sample 还是按 mini-batch 近似；被过滤的高梯度样本是否在某些任务上系统性集中。标题已经给出方法，摘要也给出方向，硬证据还没跟上。

论文用16次访谈提出三种人机工作结构，这个判断我基本认同：很多所谓“AI协作”根本不是协作，只是人类在给一个会说话的工具做持续补丁。 我对这篇的好感，来自它没有继续把问题塞回“下一代模型更强就好了”那条老路。摘要点得很准：失稳常发生在 partnership 的表象跑在 grounding 能力前面。你把 Copilot、ChatGPT、Claude 放进写代码、写文案、做设计这些流程里，界面会故意做得像同事，轮次也像对话，但 repair 几乎总是单边的：人来发现假设缺口，人来补上下文，人来判断模型是不是又开始顺嘴编。这个经验，做过内部 agent 工具的人都懂。 这套说法跟过去一年产品侧的走势是对得上的。Anthropic 和 OpenAI 都在强调长对话、工具调用、记忆、Computer Use 一类能力，叙事一直往“agent teammate”走。但真到生产环境，团队最后拼的经常不是模型 IQ，而是 prompt scaffold、权限边界、检索质量、日志可追溯性、失败后的回退路径。说真的，很多 demo 把协作吹得太满，结果把系统设计问题包装成了模型智能问题。这篇至少把刀口放回交互结构本身。 我也有保留。第一，材料只有16次访谈，还是 grounded theory 路线，适合提炼机制，不适合拿来下强外推。摘要没给受访者分布、任务时长、模型版本，也没给任何定量指标。比如 weak collaboration 和 grounded collaboration 之间，是否能用完成率、返工轮数、人工修复时间来区分，正文这里没披露。没有这些量化锚点，这个框架更像一张好用的诊断图，不是可直接比较系统优劣的尺子。 第二，我对“grounding”这个词本身有点警觉。它很容易变成万能解释：只要系统出错，就说 grounding 不足。可有些失败并不是交互奠基差，而是模型能力上限太低，或者工具链根本没接通。我自己没看到全文，不确定作者有没有把 capability ceiling 和 interaction design 分开处理。要是没有，这个框架会把两类问题混在一起。 但就算有这些缺口，这篇还是戳中了一个行业误区：大家太爱把多轮对话误认成协作。轮次多，不等于共同建模；会追问，不等于共享语境；能改一次，不等于具备 repair 机制。把这层纸捅破，对做 agent 产品的人是有用的。你要的不是更像同事的语气，而是更便宜、更稳定的校准成本。摘要已经给出方向，正文没披露实验和部署细节；我会等全文方法部分，再看这套框架能不能落成设计 checklist。

UniComp 用 6 类压缩方法评测 40 个数据集，给出的核心结论很硬：压缩后保得住的是事实记忆，先塌的是多步推理、多语种和指令跟随。这个结果我基本买账，而且它比很多“压缩后几乎无损”的论文诚实得多。过去一年里，量化圈最爱讲的是 4-bit、2-bit 以后还能把 MMLU、常识问答维持在高位；问题是这些指标本来就偏知识检索，对链式推理和长指令执行不够敏感。UniComp 至少把这个口子补上了，还单独把 reliability 拎出来看，这一步很关键。 我一直觉得，LLM 压缩最容易骗人的地方，就是把“平均分还行”讲成“能力基本没掉”。这篇文章直接说 performance 和 reliability 会脱钩，我觉得这才接近真实部署。很多压缩模型在静态 benchmark 上还能过线，一进 agent flow、tool use、长上下文约束，错误分布就变了：答得更像了，不代表更稳了。标题和摘要给了这个判断，但正文片段没披露 reliability 的具体定义、测项和统计显著性，所以我还不能判断它是在看校准误差、拒答一致性、毒性波动，还是 jailbreak 脆弱性。这里的信息缺口不小。 有意思的地方在于，它把知识蒸馏、剪枝、量化放到同一框架里比。过去不少工作是各跑各的：AWQ、GPTQ、bitsandbytes 一类量化论文喜欢报吞吐和精度，SparseGPT、Wanda 一类剪枝论文喜欢报稀疏率，蒸馏论文又爱挑特定 teacher-student 组合。最后大家都说自己“性价比最好”，但数据集、硬件、batch size、prompt 格式都不一样。UniComp 如果真把硬件感知效率统一了，那价值不在于再多一个榜单，而在于它逼着大家承认一个现实：压缩收益不是单轴的，显存省了、延迟降了，不等于可用性没伤。 我对“校准能让剪枝模型推理提升最高 50%”这句有点警觉。50% 是相对提升，不是绝对提升；如果基线很低，这个数字会显得很好看。摘要没披露是哪些 reasoning 数据集、哪种 calibration、额外用了多少样本、是否引入任务泄漏，也没说这种校准会不会牺牲开放域泛化。这个坑业内踩过很多次：你拿几十到几百条开发集样本调一轮，某个基准能明显回升，换任务就未必成立。说真的，我不反对这个结果，但我不会在没看 full table 之前把它当成“剪枝推理可以补回来”的证据。 这篇文章还有一层行业意义。现在很多团队在做端侧和低成本部署，默认路线是“先量化，不够再蒸馏，最后看看要不要稀疏化”。UniComp 的结论更像是在提醒：如果你的产品依赖多步规划、复杂 instruction adherence 或 multilingual consistency，压缩预算不能只按 perplexity 和吞吐配。拿我自己的经验讲，客服检索、FAQ、模板化生成对压缩更宽容；代码代理、表单填充、长流程办公助手对压缩更敏感。文章没给具体模型名单和参数规模，我还没法判断这个规律在 7B、13B、70B 上是不是同样陡峭，但方向上我认同。 我还想补一个文章外的背景。过去一年，业界对“小模型+高质量后训练”的信心明显变强，很多团队开始相信通过蒸馏、偏好优化、合成数据，可以把大模型的大部分“有用能力”压进更小的 student。这个判断只说对了一半。知识和风格确实比较容易迁移，深层推理轨迹、跨语种稳态、复杂对齐约束没有那么好压。UniComp 这次把这个经验现象系统化了。我觉得这比单纯比较谁多赢 1 个 benchmark 更有用。 我的保留意见也很直接：现在只有摘要，没有实验表、没有硬件配置、没有模型族细节，我还不能判断它是否公平控制了 tokenizer、context length、KV cache 策略和推理框架版本。这些变量足够把效率结论带偏。要是后面正文把这些都补齐，这篇会很值得引用；要是没有，它更适合作为方向性提醒，而不是采购和架构决策的直接依据。

BiForget 这篇的判断很直接：它不是先把 unlearning 做得更强，而是先把 forget set 这件事做得更像“模型脑子里真的记了什么”。摘要给了三个数字：Harry Potter 域相关性提升约 20，多样性提升约 0.05，总数据量减半。这个方向我买账，因为很多所谓遗忘实验，问题根本不在算法，而在 forget set 太像人工列题库，最后测到的是模板命中率，不是记忆边界。 我对它最认可的一点，是把遗忘拆成 domain-level 和 instance-level 两种粒度。这个分法很实用。版权、人物设定、风格知识，常常是域级的；个人隐私、单条训练样本、被投诉的具体文本，常常是实例级的。过去一年不少 unlearning 论文把这两类东西混着测，最后得到一个平均分，看着整齐，部署时没法用。你要删 Harry Potter 世界观，和你要删某一段泄露邮箱地址的文本，操作对象不是一回事，副作用也不是一回事。 它第二个有意思的点，是不用外部生成器，改用目标模型自己通过 seed-guided 和 adversarial prompting 去“勾”出内部知识分布。这个设计比很多外部 teacher 合成法更贴近实战。我记得 TOFU 这类基准出来时，大家就已经发现一个老问题：外部模型生成的 forget/query 分布，经常和被遗忘模型的记忆形状不一致，最后你看到的是 evaluator 的偏好，不是 target model 的记忆。BiForget 至少在方法上正面处理了这个错位。 但我对这条路也有明显保留。目标模型自己吐数据，再用这些数据评估或驱动遗忘，天然带一点闭环自证的味道。说白一点，同一个模型既参与“挖记忆”，又参与定义“什么算相关”，分数容易朝自己熟悉的表达流形偏。摘要里说 relevance 提升约 20，可这个 20 是什么量纲，正文片段没给；diversity 的 0.05 也一样，没说是 distinct-n、embedding dispersion，还是别的指标。没有协议细节，这两个数现在只能算方向性信号，不能直接拿来判它比现有 SOTA 强多少。 我还想追问一个更硬的问题：它到底评的是 forgetting，还是 retrieval coverage。用更贴近内部知识分布的数据，当然更容易把“该删的内容”找全；可 unlearning 社区最难的地方，从来不只是 recall 出来，而是删掉之后别把邻近能力一起拖垮。摘要提到 better utility preservation，但没披露模型、任务、保留集规模、训练步数，也没说是 full finetune、LoRA 还是 preference-style editing。没有这些条件，utility preservation 这句我先不信太满。 和过去一年的脉络放一起看，这篇其实是在补 unlearning 里最被低估的一层：数据构造。大家一直爱比算法，什么 gradient ascent、NPO、DPO 式偏好遗忘、representation surgery，名字很多；可如果 forget set 本身就没覆盖到模型记忆的真实边界，后面的优化再漂亮也只是对着错靶子发力。BiForget 的价值就在这儿：它提醒你，遗忘 benchmark 先得知道“要忘的对象长什么样”。 我也得承认，当前信息太薄。标题和摘要已经给出双粒度、目标模型自生成、Harry Potter 上三组改进，正文片段没披露关键事实：用了什么基座模型，参数规模多大，和哪些 SOTA 对比，forgetting scope 的评测协议怎么定义，utility preservation 跑了哪些任务，是否做了跨域泛化。我还没法判断它是一个能迁移到生产的框架，还是一个在特定 benchmark 上很会造题的数据工程技巧。 如果后续正文把协议补全，我最想看两件事。第一，同一套 BiForget 数据，换一个 evaluator 或换一个 target model，提升还在不在。第二，实例级遗忘里有没有对 canary、PII、逐字复现做单独测试。要是这两项站得住，这篇会比又一个“遗忘算法涨了几点”的论文有用得多。

SEARL用统一工具图记忆处理两类任务，但摘要没给任何分数。我的第一反应是，这篇抓到的痛点是对的：agent 训练现在最浪费的部分，不是单次 rollout 失败，而是失败之后几乎没有可复用的结构化残留。它把 planning 和 execution 一起写进 tool-memory，再用 trajectory correlation 稠密化奖励，至少在设计上比“把整段对话丢回上下文再试一次”更像长期可积累的系统。 这条思路跟过去一年几条线是接上的。RLVR 把可验证任务做热了，数学、代码、规则推理都能靠 outcome reward 往前推；可一到多步 agent，信用分配马上变差，奖励也变稀。另一边，很多 memory agent 论文爱讲经验回放，最后其实还是检索几段历史轨迹，让大模型自己总结。SEARL想做得更硬一点：不用原始轨迹直喂，而是先抽成工具图状态。这个抽象如果成立，价值不在“记住一次成功”，而在“把相似子问题映射到同一类工具用法”。对资源受限场景，这比继续堆更大 teacher model 实在得多。 我会拿它和 Reflexion、Voyager、还有去年的一些 graph-based tool-use agent 放一起看。Reflexion 那一路强在语言反思，弱在状态表示太松；Voyager 的技能库强在可复用，弱在环境比较封闭。我自己没通读 SEARL 全文，只看摘要的话，它像是想把“技能库”和“经验记忆”合成一个可训练对象。这点有意思，因为很多 agent 系统卡住，不是不会调工具，而是每次都从自然语言中间态重新推一遍，token 和 sample 都在白烧。 但我对摘要里的“更 practical and efficient”有点警觉。效率提了两次，正文摘录却没有 success rate、sample efficiency、tool-call 次数、训练步数、wall-clock，连基座模型规模都没披露。没有这些数字，没法判断它到底是在省 token，省 rollout，还是只是换了一个更好看的记忆接口。数学和知识推理任务也太宽了。是 GSM8K 这类短程题，还是更像 HotpotQA、MuSiQue 那种需要检索和组合的任务？如果任务主要是可验证短链推理，很多收益会来自 reward densification；如果是长程工具链，memory abstraction 才是主角。摘要没说。 我还有一个疑虑：工具图记忆听起来很适合高重复度分布，但跨域泛化未必自然成立。工具复用和错误复用常常是一体两面。过去不少 agent memory 系统一旦把中间步骤“固化”，很容易在新任务里把旧 heuristics 过度迁移，最后形成更稳定的错。SEARL如果没有很强的记忆更新、淘汰和冲突解决机制，图越清晰，偏差也会越顽固。标题里说 self-evolving，我最想看到的恰恰是它怎么处理坏记忆，而不是怎么存好记忆。摘要这块没展开。 所以我现在的判断不复杂：方向对，证据还不够。它至少比“再加一个反思 prompt”更像工程上能积累的东西；但在没看到 benchmark、ablation、compute budget 之前，我不会把它当成 agent learning 的新基线。要让我信服，正文至少得给三样：同基座下的对比成绩、每个任务的工具调用成本、以及去掉 tool-graph memory 后性能掉多少。少一样，这篇都还停在概念正确。

VALID 把 10 个多模态模型放进 539 个真实住院病例后，头部到尾部的分差压到了 15% 以内。这个结果比“GPT-5.1 第一”更有信息量。它说明住院诊断这类高噪声、多来源输入任务，模型能力前沿已经开始撞上数据接入和工作流约束，而不是单纯撞上基准分数。 我对这篇的第一判断很直接：医疗场景里，模型榜单的边际意义在变小，输入管线的工程意义在变大。文中给了两个硬信号。第一，低价模型接近头部模型。第二，输出率只有 65% 到 100%，差距来自输入限制。只要一个系统吃不下整份病例、影像、化验和病程记录，再高的推理分也落不到临床流程里。很多通用评测默认每个模型都能完整看到同一份上下文，医院里不是这回事，PACS、检验、病历文本、表格和扫描件本来就碎。 6% 的增益也很说明问题。作者说加入放射报告后，整体表现提升 6%。这基本等于在提醒大家：别把“多模态”四个字想得太满。模型未必是靠读原始 CT、MRI、CXR 图像吃到主要提升，结构化过的放射报告可能已经贡献了大头。我自己一直对不少多模态医疗 demo 有点怀疑，演示里常把“看懂影像”讲得很满，真到医院数据，文本报告往往比原图更稳定，也更接近责任链。正文没贴出“只给图像”和“图像+报告”的细分误差结构，我没法判断模型到底在视觉端学到了多少。 这篇还有一个会让不少创业团队不舒服的结论：常规病房诊断在平均诊断和安全分上输给了全部 LLM。这个结果会被拿去做很猛的商业叙事，但我不建议直接顺着讲。这里的对照对象是“routine ward diagnoses”，不是专科会诊，不是最终出院诊断，也不是实时闭环决策。住院流程本来就受时间、检查未回报、医生交班影响。LLM 则是在回顾性设定里吃到较完整材料后零样本作答。这个比较有价值，但还不是“模型优于医生”的临床结论。医疗 AI 过去一年最常见的叙事误伤，就是把 retrospective superiority 直接外推成 prospective utility。 外部参照也能帮你读清这条。过去一年，面向医疗的公开评测里，很多结果都在重复一个模式：通用前沿模型在问答和鉴别诊断上分数靠前，但一进真实流程，赢家往往变成延迟、成本、接入和审计。微软、Google、OpenAI 这几家在医疗场景展示时都爱强调多模态和 reasoning，可医院采购最后卡的经常是 PHI 合规、影像系统接入、上下文长度、失败重试和每例成本。我没看到本文摘要披露各模型的具体单例成本、token 用量和失败重试规则，这些恰好决定能不能落地。 还有一处我会保留意见：他们用了 300 例专家复核建真值，又用三模型 LLM Jury 跑了 1 万多次评分。规模上是认真的，但 LLM-as-a-judge 在医疗里天然有偏差风险，尤其当被评对象本身也是同代前沿模型。摘要说做了 calibrated jury，也说结果对评估设计稳健，可没在这里展开偏差校正、模型泄漏控制和评委模型选择。我不反对这种做法，纯人工全量评分几乎做不起；但如果后面有人拿这套方法做产品宣传，我会先追问 jury 组成、提示词、盲评流程和复现实验。 相关性那组数也别轻轻放过。文中说诊断分和推理分相关系数是 0.85。这个数字高到足以说明一件事：至少在这套评估里，“解释得像回事”与“答得更准”高度同向。好处是 reasoning 不只是装饰项。问题也在这，评委如果偏爱完整、流畅、层次多的答案，就会把文风和正确性绑得过紧。医疗输出最怕这类耦合，因为临床上经常需要的是短、硬、可执行，不是长篇自证。 我还挺在意这篇发生在南非三级公立医院。这个场景不是硅谷医疗 AI 常见的高资源私立系统，病例结构、疾病谱、检查可得性都不同。LMIC 数据把“低价模型接近头部”这个结论抬得更重了。很多人还按美国 academic medical center 的资源想部署，现实里先过线的常常不是最强模型，而是最便宜、最稳、最能吞杂乱输入的那个。这个趋势我记得在去年的一些低资源语言和基层医疗评测里也出现过，只是没有这篇把多模态、成本和输出率放到同一张桌上。 所以我对这篇的总看法是：它不是在宣布某个模型赢了医疗，而是在给医疗 LLM 赛道降温。第一名当然有意义，GPT-5.1 排第一也不意外；Gemini 紧随其后，也符合大厂多模态能力曲线。更关键的信号是，分差已经小到足以被接入质量、上下文裁剪和预算吞掉。谁还在只讲 benchmark 排名，谁就没有认真做医院部署。

这条事件里只看到 1 篇 arXiv 论文被重复收录了 2 次，严格说没有形成多源交叉验证。标题、摘要、提交时间这些信息是一致的，因为它们都来自同一份 arXiv 页面，不是两家媒体各自跑出来的独立判断。所以先别把“有 2 条覆盖”读成社区共识，这里更像抓取层面的重复，而不是热度扩散。 论文给出的核心事实很直接：Video-Robin把 V2M 拆成两段，先用自回归模块做高层音乐 latent 规划，再用 local Diffusion Transformer 把 latent 细化成音频；摘要声称它在分布内和分布外基准上都优于只吃视频输入的 baseline，以及额外特征条件的 baseline，推理速度比 SOTA 快 2.21 倍。这个设计我不觉得新到会让人愣住。过去一年多，音频生成里“先规划结构，再做局部高保真合成”的思路已经反复出现，文本到音乐、语音到语音、视频到音频都在往层级化生成走，因为端到端扩散一旦同时背全局结构和局部纹理，时长一拉长就容易散。Video-Robin把这套方法搬到视频配乐，并把文本意图作为可控接口接进来，工程上是顺手且合理的。 我比较买账的是它把“视觉对齐”和“创作者控制”放在一个目标里处理。很多 V2M 系统只拿视频帧或视觉特征做条件，结果通常是节奏点和场景切换能对上，风格控制却很弱。你让它“紧张但不要恐怖”“电子但保留木吉他质感”，这类意图往往掉得很快。Video-Robin至少在方法层面承认了一件事：视频里的动作和镜头语义，不等于配乐需求本身；创作者想要的风格、情绪、编曲密度，很多时候必须靠文本补。这个判断是对的，也符合 AIGC 工具这半年的产品走势——纯自动生成正在往“可编辑、可约束、可多轮改”的工作流靠。 但我对它的叙事有两个保留。第一，摘要只给了“2.21x faster than SOTA”，没给基线名字、音频时长、采样率、硬件、batch size，也没说质量评测是主观听感、CLAP 类相似度，还是别的自动指标。没有这些条件，2.21 倍这个数只能当方向性信号，不能当采购指标。音频模型的加速很容易来自采样步数、分辨率、码率、时长截断，少一个条件，结论就差很多。第二，它说“高质量、语义对齐、细粒度控制”三件事同时成立，但摘要没披露失败案例，也没披露长视频是否稳定。视频配乐最烦的不是 10 秒 demo，而是 60 秒以上结构不断、情绪不过拟合、段落转换不突兀。我还没查到正文里的长程实验细节，这块我自己保留意见。 如果拿近一年的多模态生成趋势做参照，这篇论文比较像一个明确的研究拼图，而不是立刻改变产品格局的东西。Runway、Pika、Luma 那类视频生成公司把注意力放在画面；Suno、Udio 这类音乐生成公司把入口放在文本和歌曲结构；而视频到音乐一直卡在“自动配得上，但不够可控”。Video-Robin试图补的正是这条缝：让视频提供时序和事件，让文本决定音乐意图，再用两阶段生成保住质量和速度。要是这套东西能在真实创作流程里跑通，价值会体现在剪辑软件插件、广告短片自动配乐、UGC 批量生成这些场景，而不是论文榜单本身。 我还会多看一眼它承诺“论文接收后全部开源”。这句话现在在 arXiv 上很常见，兑现率没那么高；就算开源，数据清洗、训练 recipe、商用授权也常常不完整。坦率地讲，没有代码、样例页、可复现实验前，我把它当成一个方向正确的研究原型，不会当成已经站稳的开源基座。现在能确认的只有方法框架和一个 2.21 倍速度声明，基准细节、音频质量上限、长视频稳定性，正文摘要都没给全。

论文把机器遗忘测试定义为黑盒回归测试，并要求在查询预算内定位泄漏路径。这个切法是对的。机器遗忘这两年一直被当成训练算法问题谈，论文却把矛头转到“你怎么验收”，这比再发一个 unlearning 方法更贴近落地。很多团队现在的做法，还是看 membership inference、看 influence/attribution，或者抽几组 prompt 做前后对比；这些办法一旦碰到代理特征、链式中介、子群平均后相互抵消，就会把“还在记”误判成“已经删”。 我想到的外部参照，是 2024 到 2025 那波 unlearning benchmark 讨论。那时不少论文已经承认，forget set accuracy 掉了，不等于敏感信息真没在别的路径里存活；尤其黑盒 API 场景，训练日志、梯度、权重差分都拿不到，测试端比训练端更弱。这篇摘要里提的 causal fuzzing，至少是在正面处理这个约束，而不是默认你能读模型内部。这个思路也像传统软件里的 fuzzing：先别神化“证明”，先把高概率漏点系统化打出来。 但我对这条也有保留。摘要只给了概念验证，正文未披露实验规模、查询成本、误报漏报率，也没说 leakage report 最终怎么映射到可修复动作。因果测试一旦 intervention 设计得不稳，很容易把分布漂移当成残余记忆。我还没看到它在大模型 API、RAG 系统、工具调用链上的证据；如果只在小模型或合成任务上成立，那离合规验收还差很远。

这篇 paper 把“遗忘”往前推了半步。作者不是只看模型会不会闭嘴，而是要求它在忘掉某个人之后，继续基于图像说对别的信息。这个目标我认同，因为很多 unlearning 工作做到最后，效果就是两种：要么一拒了之，要么编一段看着安全、其实没证据的话。对生成式 LVLM 来说，这两种都不算完成任务。 摘要里最关键的一句，是现有方法已经能阻止隐私泄露，但会出现退化、幻觉、过度拒答。这个判断跟过去一年文本模型 unlearning 的问题很像。像 TOFU 这一类设定，大家常盯 forget accuracy、membership inference、extractability，模型回答质量反而经常被放在次要位置。到了视觉场景，这个坑会更深：图里还有衣着、动作、地点、物体关系，模型如果把“忘记这个人”执行成“整张图都别答”，那不是隐私保护，是能力塌缩。 PUBG 的思路是显式约束遗忘后的输出分布。我觉得这比单纯加拒答模板靠谱一些，因为后者很容易把安全做成格式化回避。问题也在这里：摘要没披露用的基座 LVLM 是谁，7B 还是更大；忘记集有多少 identity；“无泄露”怎么判，是 name leakage、attribute leakage，还是 embedding-level re-identification。正文也没给量化指标。没有这些，现阶段还没法判断 PUBG 是方法上真的更稳，还是只是在作者自定义评测里更像“会答题”。 我自己还有个疑虑。很多 unlearning 方法在单轮问答里看着干净，一到多轮追问、换描述词、裁剪人脸、加旁边人物对照，泄露就会回来。LVLM 比纯文本更麻烦，因为视觉证据本身会给模型留下绕路空间。要是评测没覆盖 paraphrase、multi-turn、cropped region 和 cross-image retrieval 风格的 probing，这个“忘记”就不够硬。 说真的，这条的价值不在 PUBG 这个名字，在它承认了一件业内常被跳过的事：安全删除不是把输出压成空白。要是后续正文真能拿出完整 benchmark、泄露定义和对比基线，这篇会比很多“unlearning 成功率提升 X%”的论文更有用。现在只有摘要，我愿意先给方向分，不给结果分。

这篇论文把多模态越狱检测从“看输入长什么样”推到“看模型内部怎么表征”，还给了 2 个实例化方法 MCD 和 KCD。这个判断我基本认同，因为过去一年很多 LVLM 防御都死在同一个坑里：对已知攻击模板很敏感，对没见过的 benign shift 也一并拉黑。摘要点名 one-class 设计会把未见良性输入误判成恶意，这个批评是准的。 我一直觉得，越狱检测如果只盯 prompt 表面特征，迁移性天花板很低。文本侧早就有类似教训：从关键词过滤到小型 guard model，再到 activation probing，效果常常取决于攻击分布有没有泄题。到了视觉-语言场景，这个问题更重，因为图片扰动、OCR 绕过、跨模态拼接都会制造“分布变了但意图未必恶意”的样本。RCS 想把“恶意意图”和“分布偏移”拆开，用安全关键层的内部几何做对比得分，这比单纯 anomaly detection 更像样，也比再训一个大 guard model 更省算力。 但我对这篇的宣传强度还是有保留。摘要只说在 unseen attack protocol 上做到 SOTA，却没给 3 个关键信息：用了哪几个 LVLM、训练和测试集各有多大、提升了多少点。没有这些，SOTA 几乎没法判断。是对 LLaVA-OneVision、Qwen2.5-VL、InternVL2 这类开源模型都成立，还是只在一个底模上成立？是 AUROC 提了 1 个点还是 10 个点？误杀率压到多少？正文页没有这些数，我不能替它补。 还有一层我比较在意。很多“基于内部表征的安全检测”在论文里很好看，落地时会遇到接口问题：闭源 API 根本不给中间层，开源自托管才拿得到。要是 RCS 依赖 safety-critical layers 的特定层位和投影头，那它更像给开源部署方准备的 defense recipe，不是通用平台层方案。这不算坏事，但适用范围要讲清楚。去年不少 activation-based safety paper 也碰到同样问题，论文赢在可解释，产品输在接入面。 说真的，这条我愿意继续看，因为方向比“再堆一个分类器”更对路。可在作者把模型名单、评测协议、误报成本、推理时延都摊开前，我不会把它当成 LVLM 越狱防御的定论。现在更像一个值得复现的研究框架，不是已经坐实的生产答案。

论文提出 SafeLM，并把联邦训练、Paillier 加密、校准解码和二值聚合放进同一套框架，声称有害内容检测准确率到 98.0%，通信量降 96.9%，梯度反演 PSNR 从 31.7 dB 压到 15.1 dB。 我对这条的判断很直接：作者想证明的不是某一项 safety 指标更高，而是“多组件联动”可以把联邦 LLM 从单点补丁，推到系统级防护。这条思路我认。现在很多安全论文只打一个点，比如只做 membership inference，或者只做 jailbreak 防御，最后上线时还是会被别的攻击面拖垮。把 privacy、security、misinformation、adversarial robustness 一起放进同一个训练—推理闭环，这个方向是对的。 但说实话，我对结果强度有保留。摘要里最关键的复现条件没有给：基座模型多大，7B 还是更小；联邦参与方有多少，IID 还是 non-IID；事实性、毒性、成员推断各自用了什么 benchmark；“98.0% harmful-content detection”到底是分类任务，还是生成后筛查；“通信量降 96.9%”对比的是 FedAvg、LoRA 联邦版，还是全参数同步。少了这些，数字只能说明“在作者设定里有效”，离“联邦 LLM 可部署”还差一截。 外部参照也很关键。过去一年联邦 LLM 的论文大多卡在两件事：一是通信成本太高，二是安全组件一叠上去，效用掉得很快。差分隐私训练和同态加密都碰过这个墙。我记得不少 DP-LLM 或 secure aggregation 的工作，一旦隐私预算收紧，或者加密计算拉满，生成质量会明显下滑；只是我没逐篇核实这周边数字。SafeLM 这次如果真能同时拿到 96.9% 通信下降和可接受的 factuality/toxicity 结果，那它最有价值的地方不是 Paillier 本身，而是它把压缩、聚合、解码校准这些原本分散的技巧，做成了一个能一起工作的 recipe。 我还有一个疑虑：Paillier 这个点在论文里听着稳，工程上未必轻。Paillier 对加法同态友好，但算力和时延开销不低，联邦端如果是医院、银行、政务这种异构节点，能不能扛住加密聚合成本，摘要没说。二值聚合也一样，通信省得很漂亮，但会不会把少数客户端里的长尾知识一起抹平，这在 non-IID 数据上尤其常见。文章提到 bounded reconstruction quality，可这只是对梯度反演的一层约束，不等于生成质量和群体公平性都守住了。 我比较认的一点，是他们把 hallucination 也拉进安全框架，用 contrastive grounding 加 calibrated decoding 处理。这比把“安全”只理解成拒答和毒性过滤成熟一些。过去一年很多团队已经吃过亏：模型很安全，但事实性很差，结果照样不能进高风险场景。只是摘要没披露 grounding 依赖外部检索、知识库还是训练时对比目标；如果它强依赖额外证据源，那部署成本会比论文标题显得更高。 所以这篇论文我会把它看成一个方向信号，不会当成现成方案。它至少说明，联邦 LLM 的安全问题开始从“单指标竞赛”转向“组合系统设计”。这一步是该走的。可在看到模型规模、客户端数量、non-IID 设定、推理时延和完整消融前，我不会把 98.0% 这些数字当成结论。摘要给了 ambition，离 production 还差实参。

VocabTailor 在小语言模型推理里把词表相关内存最高降到 99%，代价是把 embedding 离载、把 LM head 改成静态加动态混合选词表。我的判断很直接：这不是“再做一次词表裁剪”，而是在承认一个工程事实——很多小模型上边缘设备，卡的不是参数总量，而是词表这块长期没人愿意认真拆。 这条有意思，因为它打的点很实。7B 以下模型经常被说成“已经够小”，可一到端侧，embedding 和 output head 还是肉眼可见地占内存，尤其是词表几十 K 到上百 K 时。以前常见做法是 static pruning，把不常见 token 永久删掉，省是省了，但 prefill 阶段和长尾 token 会掉血。VocabTailor 走的是另一条路：单次推理只会用到一小撮 token，这个 lexical locality 不是语言学观察，而是缓存策略。这个思路我觉得比很多 SLM 压缩论文诚实，因为它不假装“所有 token 对每次请求都同样重要”。 我想到的外部参照有两个。一个是 earlier KV cache/offloading 那套思路，行业这两年已经很熟：显存不够，就把不热的数据挪出去，拿 PCIe、统一内存或者 SSD 顶一下。另一个是 speculative decoding 和 paged attention 给大家上的课：很多优化不是减少总计算，而是把访问模式改得更像系统能吃下的样子。VocabTailor 也属于后者。它优化的不是 transformer block 本身，而是 vocab access pattern。这个切口过去确实被低估了。 但我对这篇现在的说法保留一半。摘要给了“最高 99%”“性能几乎不降”，正文这里却没展开三个关键条件：第一，测试的具体模型规模和词表大小；第二，离载介质是什么，CPU DRAM、统一内存还是更慢的存储；第三，延迟曲线怎么变，尤其是 batch size、prefill 长度、decode 长度变化后会不会反咬一口。没有这些，99% 更像 capacity 数字，不是 serving 数字。边缘部署里内存省下来当然重要，可如果每步 decode 都要额外搬词表分片，吞吐和尾延迟很容易把省下来的好处吃掉。我自己没看到 PDF 里的图表，现有正文没披露这些细节，我不会把它直接当成可上线方案。 还有一个工程疑点。动态词表选择如果要准，就得有个 selector。这个 selector 是规则、检索、轻量分类器，还是从上下文隐状态直接估？摘要没说。selector 一旦漏掉正确 token，LM head 再强也没用；selector 一旦放太宽，内存收益又会迅速缩水。这类方法通常都输在 recall-pressure tradeoff，上论文时看着很平，真进多语言、代码、拼写噪声场景就开始露底。尤其代码补全、JSON、函数名、领域术语，这些 token 分布比普通分类任务尖得多。标题说 downstream tasks，但没列任务构成，我会先怀疑它是否覆盖了这些更刁钻的分布。 说真的，这条论文的价值不在“99%”这个 headline，在于它提醒大家：小模型部署还有一块老旧但昂贵的默认配置——整个词表永远常驻。这个假设未必该继续。要是后续开源代码里能给出不同硬件上的 latency、带宽占用、selector recall，以及多语言和代码任务结果，这会比再发一个“更小更快”的 SLM 更有用。现在我给它的评价是：方向靠谱，摘要数字漂亮，离工程定论还差最贵的那组表。

SCRL 把 TTRL 的监督从单边奖励改成了双边筛选，这个改动击中了多数投票最老的一处漏洞。测试时强化学习过去常拿 self-consistency 当近似真值：采多条轨迹，票数高的答案给正奖励。题目一难，答案分布一散，这套东西就会把“最常见的错”训得更稳。SCRL 的做法是两步：先把正伪标签收紧，只留强共识；再用熵门控的负伪标签去剪掉不确定轨迹。思路不花哨，但方向是对的，因为它承认了一件很多 TTRL 工作不太愿意正面说的事：共识不是证据，只是弱信号。 我对这条的评价偏正面，还有个原因。过去一年，test-time scaling 和 test-time training 两条线都在涨，但很多论文默认“多采样+重排”天然比“在线更新”稳。这个前提没那么牢。像 self-consistency、best-of-N、process reward reranking，这些方法都受同一个问题约束：候选集如果系统性偏，聚合器只会放大偏差。SCRL 至少在机制上开始处理“怎么识别错轨迹”而不是只管“怎么奖励对轨迹”。这跟早先一些 DPO/IPO 类工作里的负偏好信号有点像，只是场景搬到了测试时在线适配。我没核实作者是否直接做过这层对比，摘要里没写。 但我也不会因为“首个负向监督机制”这句话就直接给高分。ACL 论文很爱在子方向里切一个 first claim，这种话得看定义边界。标题和摘要已给出负伪标签、熵门控、受限 rollout 预算下更稳，正文页没有贴 benchmark 名、提升幅度、rollout 数、基座模型规模，也没说负标签精度怎么校验。少了这些，结论的硬度差很多。负监督一旦打错，副作用通常比漏奖更大：你不是少学一点，而是在主动把可恢复轨迹往外推。熵门控听起来合理，但高熵并不总等于错误，尤其在长链推理、代码搜索、数学中间步里，模型接近分叉点时本来就会高熵。 我还想看一个更关键的对照：它在 easy-to-medium 题上的收益是不是接近零，甚至反伤？如果 SCRL 主要赢在高分歧样本，那它更像一个选择性保险丝，而不是通用增益器。这个定位我反而更认可。去年不少 test-time adaptation 论文都喜欢报平均分抬升，但一拆难度桶，收益常常集中在最难那部分，代价是计算更重、稳定性更脆。SCRL 既然把“受限 rollout 预算”写进摘要，我猜作者知道成本是卖点，可惜具体预算正文页还是没给。 说真的，这条值得读代码，但先别把它当成 TTRL 的通用解。它更像给多数投票加了一个刹车系统，先防止模型被假共识带沟里。要判断它是不是实用方法，不是看 abstract 里的 substantial improvements，而是看三件事：负标签命中率、不同 rollout 预算下的收益曲线、跨模型迁移后门控阈值还稳不稳。标题给了方向，关键数字还没摆出来。

论文提出 STR，在微调时约束拒答模板关键 token 的 logit；摘要声称额外计算很少，并且可配合 LoRA 使用。我的判断是，这条路子至少比再跑一遍偏好优化更务实。很多团队遇到的不是“模型从不安全变安全”，而是“一个本来还算稳的基座，做完领域微调后拒答边界塌了”。这类退化常常先出现在局部表征上：拒答前缀、风险提示、条件限定语被任务数据慢慢冲淡。把约束直接打在这些 token 的 logit 上，思路很朴素，但朴素不等于没用。 我对这篇的初步好感，来自它挑的切口很具体。过去一年里，安全保持常见有两路：一路是 DPO、RRHF、RLAIF 这种偏好或奖励路线；另一路是加安全数据继续 SFT。前者算力和流程都重，后者经常牺牲任务迁移。STR 试图绕开这两件事：不重新定义整段回答的偏好，只盯住“拒答行为能否在关键位置被召回”。这跟很多实务经验是对得上的。做过 domain adaptation 的人都见过，模型不是突然学坏，而是先把“我不能帮你做 X”换成更暧昧、更可被 jailbreak 借力的话术。logit 空间的约束如果真能把这个接口钉住，部署价值不低。 但我也得泼点冷水。摘要里最关键的东西几乎都没给：基座模型是谁，7B 还是 70B；任务域是什么，是医疗、法律还是代码；安全评测用的是 HarmBench、XSTest、WildJailbreak 还是自建集；“on par with state-of-the-art” 到底差 0.2 分还是 8 分。没这些数字，现阶段没法判断 STR 是普适方法，还是只对某一类拒答模板特别有效。尤其是“salient tokens from rejection templates” 这句，我有点警觉。若方法高度依赖英语拒答模板里的固定词，比如 sorry、cannot、assist、illegal 这类 token，它就很容易学到表面形式，而不是风险判别本身。模型照样能换一种更软的说法输出危险内容，分数却不一定立刻掉。 这不是空担心。过去一些 safety tuning 工作就吃过这个亏：benchmark 上拒答率很好看，开放式红队一打就穿，因为模型记住的是模板，不是边界。我没看到正文，所以不能说 STR 一定有这个问题；我只能说，若作者没有做 paraphrase attack、多语言迁移、模板去词化测试，那这套结果我不会直接买账。一个简单复现实验就能戳穿很多花活：把系统拒答模板全部改写，甚至换成非英语短语，再看 STR 约束后的模型是否仍保留安全判别。摘要没披露这部分。 还有一个我觉得更有意思的点：作者说 STR 还能提升训练稳定性，甚至超出安全本身。这个说法要么很强，要么很悬。强在于它暗示拒答 token 可能充当了一种“行为锚点”，约束这些位置能减少微调时的灾难性漂移；悬在于很多正则方法都会顺手改善 loss 曲线，但不代表泛化真的更好。这里我想起 2024 到 2025 年一些 representation regularization 和 KL-anchor 的做法，思路都接近“别让微调把原模型拉太远”。STR 如果有效，某种程度上是把这种 anchor 压缩到了极少数安全相关 token 上，计算当然便宜；问题是，压得这么稀疏，为什么还能覆盖复杂风险场景？这个机制解释，摘要也没给。 我还想补一个文章外的上下文。现在开源和闭源模型都在把“持续微调后如何保住 safety”当成现实问题，不是研究题。Llama 系列、Qwen 系列、Mistral 系列被社区拿去做行业 LoRA 之后，最常见的抱怨就是能力上去了，拒答姿态乱了。闭源 API 其实也一样，所以你会看到不少厂商把 policy 层放在模型外面做二次拦截。STR 的价值，恰好在于它站在中间：不像外置 classifier 那么脆，也不像全量对齐那么贵。要是实验站得住，它会很适合“先拿一个已对齐基座，再做大量轻量定制”的流水线。 说真的，我现在不会把这篇当成 alignment 新范式。我更愿意把它看成一个很聪明的工程补丁，而且这在 2026 年不是坏事。alignment 论文里最稀缺的，从来不是大词，是能接进现有训练栈、额外成本讲得清、失败模式说得明白的方法。STR 目前只满足了前两句口号，第三句还没看到。等正文披露基座、基准、攻击设定和消融实验后，才能判断它是在抓住安全行为的因，还是只是在拒答文风上打补丁。

论文把 NL2SQL 系统拆成 3 个模块，并评测 10 种方法、2 个模型、2 个数据集；这个框架方向是对的，但摘要没放任何核心分数，现阶段更像评测骨架，不是结论终局。 我一直觉得，NL2SQL 这条线被总榜单带偏了。执行正确率高，不等于系统能上线。企业里最常见的问题，不是模型会不会写 SELECT，而是 schema 太大、字段名太脏、权限边界太碎、查询一跑就贵。这个框架把流程拆成 Schema Selection、Candidate Generation、Query Revision，至少承认了一件事：很多“模型变强了”的提升，其实来自检索裁剪、候选重写、规则兜底，不全是 LLM 本体。做过 Text-to-SQL 的团队都知道，这种拆法比单看 execution accuracy 更接近真实系统。 我对这篇的第一反应是，作者抓到了 NL2SQL 现在最尴尬的点：准确率和成本一起卡住。摘要说现有方法“仍有明显缺口”且“计算低效”，这个判断我买账。因为过去一年，大家在通用 agent 上看到的是模型一步顶几步，在 NL2SQL 上却没这么顺。原因很简单，数据库查询不是开放问答。你多采样几条 SQL、再让模型自修一轮，准确率会上去，token 和延迟也一起涨。很多论文最后赢在 test set，输在生产账单。这里如果能把每个模块的 token、调用轮数、失败重试率都拆出来，价值会很高。可摘要没披露任何数字，连最基本的“谁最强、贵多少、慢多少”都没有，我还没法判断它到底只是把常识量化了一遍，还是确实拉开了方法差异。 文章外的上下文也得补一句。BIRD 这套数据过去一年已经很常用，很多团队拿它当复杂数据库问答的主场。问题也一直存在：gold SQL 不总是唯一答案，execution-based 规则会放过语义偏差，string match 又会误杀等价查询。Spider 时代就有这个老毛病，BIRD 只是把真实库规模放大后，问题暴露得更明显。论文点名 BIRD 和 ScienceBenchmark 的标注与规则有缺陷，这个方向我认同。评测集如果自己不干净，大家最后优化的是 annotation noise，而不是系统能力。这个坑在 SWE-bench、agent eval 里也反复出现过：先有排行榜，后补规则，最后发现一半进步是测法给的。 我有个保留意见。作者把框架称为“首个 modular benchmarking framework”，这个说法我不会直接照单全收。Text-to-SQL 以前就有人按 schema linking、decoding、repair 分段分析，只是没做成统一 benchmark。我没逐篇核过文献，不能断言这句不成立；但从研究脉络看，它更像“首个系统化落地的模块化基准”，不是凭空开新大陆。学术论文常见的写法，读的时候得自己降一点宣传音量。 DeepSeek-V3 和 GPT-4o mini 的选择也挺说明问题。作者没拿最贵闭源模型做上限，而是拿更接近可部署带宽的模型来测，这比用旗舰模型刷分诚实。问题也在这里：如果模块设计高度依赖模型能力，那结论会随底座模型更新而快速过期。过去一年从 GPT-4 代到 4o mini，再到更强的推理模型，很多 pipeline 技巧已经被 base model 吞掉一部分收益。Schema Selection 和 Query Revision 这种外部结构，通常比 prompt engineering 更耐用；多候选投票、反思链之类技巧，我怀疑会先被新模型淘汰。摘要没给模块间收益归因，我只能先把这个疑问放着。 说真的，这篇最有潜力的地方，不是告诉你“现在 NL2SQL 还不够好”，这个行业里做过的人早知道；而是逼社区承认，Text-to-SQL 不该只看最终 SQL 对不对，还得看为这条 SQL 付了多少 token、多少轮交互、多少 schema 裁剪代价。只要这些效率指标能复现，很多花哨 agent pipeline 会马上露馅。现在的问题是，摘要信息太薄。标题给了模块化基准，正文摘要给了问题方向，关键实验数值、数据集规模、评测口径、各方法名单都未披露。我暂时把它看成一篇方向正确的基准论文，而不是已经定盘的行业坐标。

DMax 把 LLaDA-2.0-mini 在 GSM8K 的 TPF 从 2.04 拉到 5.47。这个结果够硬，因为它碰的是 dLLM 最难啃的一块：并行解码一激进，错误会级联，速度上去了，答案质量常常先塌。 我对这篇的判断是，它抓到了 diffusion language model 落地的核心矛盾。以前很多加速办法，思路都偏工程：改采样、改步数、做 early exit、做 speculative 之类。DMax 换了切口，直接让模型在训练时见到“自己生成的错 token”，再用 embedding 插值去做软状态过渡。这个方向比只堆 decoding trick 更像正路，因为 dLLM 的瓶颈从来不只是步数多，而是每一步都在放大前一步的脏状态。 摘要里给了两个关键数字。GSM8K 上，TPF 从 2.04 到 5.47。MBPP 上，TPF 从 2.71 到 5.86。两张 H200、batch size 1，平均 1,338 TPS。这里先得拆一下口径。TPF 不是业界最统一的吞吐指标，不同论文对 token、step、并行宽度的统计方式并不总一致。TPS 也只在 batch size 1 下给了平均值。上下文长度、输出长度分布、prefill 是否计入，摘要都没写。这个缺口不小，所以我不会把 1,338 TPS 直接拿去和主流自回归引擎横比。 但我还是觉得这条有价值，因为它在机制上补了 dLLM 的短板。On-Policy Uniform Training 的意思，不只是“训练得更均匀”，而是把模型暴露在自己的预测分布里。这个设计很像自回归模型里那类为 exposure bias 开的药方，只是 DMax 把药下在并行解码阶段。Soft Parallel Decoding 也不是简单插值好看而已，它等于承认中间状态不是非黑即白，不是 mask 或 token 二选一，而是一个可修正的连续态。对 dLLM 来说，这个承认很重要。你不给模型保留回退空间，并行宽度一上去，错误就会锁死。 说真的，这让我想到去年到今年那波 dLLM 叙事的老问题。大家都爱讲“非自回归更快”，可一到代码、数学这类高约束任务，速度换精度的账就很难算。LLaDA 系列当时有意思的地方，也是在试图把 diffusion 式生成搬进语言域，但工程上一直卡在解码效率和纠错。DMax 至少说明一件事：dLLM 不是只能靠减少步数来追自回归，它也能靠更激进的并行和更强的自纠来补。 我也得泼点冷水。第一，论文标题写的是 “Aggressive Parallel Decoding”，摘要也确实给了漂亮数字，但正文这里没展开基线细节。我还没查到它和 speculative decoding、Medusa、Lookahead 一类自回归加速法在同等硬件、同等输出质量下的正面比较。没有这组对照，结论还停在“对 dLLM 自己更快”，离“对实际 serving 更有吸引力”差一截。第二，两张 H200 跑 batch size 1，这个设定更像秀单请求时延与框架效率，不像多租户服务的真实负载。线上吞吐往往看 batch 拉高后是否还能保住优势，摘要没披露。 还有一个我自己比较在意的点：这套方法靠训练期把错误恢复能力学进去，代价是什么。是训练 token 更多，还是训练更难收敛，还是只对 LLaDA-2.0-mini 这种规模有效？摘要没有说。假如额外训练成本很高，那它更像“把推理成本前移到训练”，不是白捡加速。这个交换在闭源大厂那里说得通，在开源社区未必。 英文世界这半年对 dLLM 的态度，我一直觉得有点摇摆。一边嫌它步数多、系统栈不成熟，一边又盯着它在并行硬件上的潜力。DMax 这篇给出的信号是，dLLM 现在缺的不是再来一篇“我们也能生成文本”，而是能把错误恢复写进训练目标的 serving-oriented 方法。我买这个方向。可我不会因为一个 5.47 TPF 就宣布 dLLM 进入主流。要让我更信，得看到三样东西：长上下文结果、和强自回归加速基线的同口径对比、还有 batch>1 时的吞吐曲线。现在材料里都没有。 所以这篇的分量，不在于它已经证明 dLLM 赢了，而在于它把讨论从“并行多少步”推进到“错误能不能被并行地救回来”。这一步是对的。剩下的，得看代码复现和更完整的 serving benchmark。

论文用预测分布熵给词元遗忘损失加权，目标是在不依赖外部解析器的条件下少伤模型效用。我的判断很直接：这个想法不新，但选的代理变量比“ground-truth confidence”更像是给大模型时代准备的，至少它抓到了一个常被忽略的事实——该忘的通常不是句法骨架，而是承载具体记忆和行为触发的那部分词元。 我对这条的第一反应是，它更像工程上可落地的修补件，不像方法论大跃进。过去一年不少 unlearning 工作都卡在同一个地方：你想精确删掉某类行为或知识，结果把语言流畅性、任务完成率、甚至拒答边界一起打坏。原因很简单，token-level loss 一刀切时，模型根本分不清 “the”“of” 这种结构词，和真正承载实体、步骤、攻击模式的词元。ETW 这里用熵做代理，至少比靠外部 parser 打标签更贴近模型内部状态，也比拿 ground-truth confidence 生搬硬套更稳一点。因为 unlearning 本来就是分布干预，不是语法分析比赛。 但我对摘要里的核心假设有保留：高熵 = 更有信息量，这件事在很多场景下成立，在关键场景里未必稳。长尾专有名词、低频代码 token、多步推理中的中间符号，常常同时具备高熵和高脆弱性；你给这些位置更高遗忘权重，确实可能删得更干净，也可能把模型在编程、检索增强问答、专业写作上的边缘能力一起削掉。反过来，低熵词元也不总是“无害结构词”。安全拒答模板里的固定短语、某些 jailbreak 触发格式、系统提示里的控制词，本来就高度可预测，但作用一点不小。只拿熵做单一代理，我觉得有点过。 这里有个文章外的参照很关键。去年几类 machine unlearning 论文已经反复暴露一个问题：forget quality 和 utility retention 经常能在小模型、窄基准上同时变好，一到更强模型或更开放的评测就掉回去。我没看到这篇摘要披露实验模型、基准名称、攻击设置、重训练预算，也没看到是否评估过再学习速度、membership inference、越狱迁移这些更硬的指标。标题给了“keep the rest”，正文摘要还没证明“rest”到底保住了多少。 我还想追问一个更实际的问题：这个方法到底适合哪一类 unlearning。要是目标是删掉一批训练样本里的个人信息，熵加权也许有用，因为人名、地址、独特事实往往更具语义负载。要是目标是压制危险能力，比如生化步骤、漏洞利用、诈骗话术，问题就复杂了。危险输出很多时候不是靠几个高熵 token 驱动，而是靠整段策略结构、工具调用顺序、上下文组合触发。那时单纯做词元加权，常常会显得太局部。 所以我现在给这篇的评价是：思路顺，叙事也克制，但证据远远不够。摘要至少说清了机制，没硬吹通用解法，这点我认可。可在 unlearning 这个方向，任何“更有效且更保效用”的说法，都得拿出模型名、forget set 规模、utility benchmark、对手方法、效果幅度。现在这些都没有。只看现有信息，我会把 ETW 当成一个值得复现的小部件，不会当成 unlearning 已经找到稳定钥匙。

论文在 6 种 MoE 架构上提出了一个无参数分解，把隐藏状态拆成驱动路由的控制信号和对路由器正交的内容通道。这个点我觉得抓得很准：MoE 的关键约束从来不是单个 expert 学了什么，而是 router 每层只给出极低带宽的离散选择，信息不够，就逼着语义功能沿层间接力。作者把这件事形式化了，这比“某个 expert 负责 Python”那类截图式解释靠谱得多。 我一直觉得，很多 MoE 可解释性工作有个老毛病：把 expert 当卷积核看，默认一块参数对应一块稳定语义。现实不是这样。Switch Transformer、Mixtral、DeepSeek 这一路模型里，top-k 路由本身就是强瓶颈。一个 token 到某层时，router 常常只选 1 个或 2 个 expert；就算 hidden state 很宽，真正进入路由决策的有效自由度也没那么高。文章说“控制信号按层旋转抽象功能，表层特征留在内容通道”，这个判断和很多人做 activation patching 时碰到的现象是对得上的：语言、位置、token 身份这类特征很容易线性读出，但它们未必主导下一步该走哪个 expert。 有意思的地方在于，它把“polysemantic experts”换成了“monosemantic paths”。这比盯单 expert 强，因为单 expert 被不同上文复用太正常了。一个冒号可以是类型标注、时间分隔、句子引出，落到同一个 expert 并不奇怪；奇怪的是它后面连续几层还走同一条轨迹。作者说不同功能的同一个 token 会走不同路径，这个说法我基本信，因为 router 的决策本来就依赖上下文角色，不依赖词形本身。拿训练里的旧印象对一下，Anthropic 早期做 circuits 时就反复碰到“单神经元不稳定，回路更稳定”；OpenAI 在 sparse routing 相关工作里也遇到过类似问题，只是没把“路径”提得这么明确。我没去核原文，记忆上大致是这个方向。 但我对“单义”这个词还是有点警觉。正文只有摘要，没有披露三个关键量。第一，control subspace 的维度怎么定；第二，“substantially more monosemantic”具体提升了多少；第三，这个现象在不同 top-1、top-2、共享 expert、细粒度 load balancing 条件下是否稳定。没有这些数，结论更像一个很好的观察，还不是稳固的机制定律。MoE 里很多看起来漂亮的聚类，一换随机种子、一换 capacity factor、一换辅助损失权重，结构就松了。我自己会先怀疑这套分解对 router 线性结构依赖有多强：如果路由器更深，或者加了更强的噪声和正则，正交内容通道还会这么干净吗？摘要没说。 我还想补一个文章外的上下文。过去一年业界把 MoE 讲得太偏工程了：吞吐、激活参数、专家并行、all-to-all 通信，全是部署语言。解释层面一直缺一句能落到机制上的话：为什么 sparse routing 没把语义撕碎，反而经常让功能分工更清楚。这个工作给出的答案是“低带宽控制迫使组合式分工”。这点很重要，因为它不只解释可解释性，还碰到了 MoE 为何能扩展的一部分原因。你可以把它和 token-level tool use 类比：当每一步控制信号便宜但受限时，系统倾向于把复杂任务拆成多步、跨模块完成。MoE 的层间 expert path，看起来就有这种味道。 我不太买账的一点，是摘要里把“轨迹是自然解释单位”说得有点满。研究上没问题，工具上还早。路径数量会随层数和 top-k 爆炸，实际模型里你要面对的是海量近似路径、分叉路径、以及训练后期漂移。没有一套压缩和命名方法，trajectory 很容易变成另一种更难管理的 feature soup。换句话说，作者证明了“别只看单 expert”，但还没证明“路径已经足够稳定到能做 debug、对齐审计、或失效预测”。这一步差得不小。 如果后续版本能补上几件事，这条会更硬。比如给出在 Mixtral 8x7B、DeepSeekMoE 或 Qwen 系 MoE 上的定量提升；再比如做因果干预，只改 control 不改 content，看看能否稳定改写 expert path 而不破坏表层 token 信息。要是这能成立，MoE 的解释视角就会从“专家词典”转到“控制流图”。我觉得这才是这篇论文的价值：不是告诉你某个 expert 会写代码，而是提示你，MoE 更像一台分层程序，router 决定调用图，content 负责把数据往下传。这个框架我愿意继续看，但现在离“解释清楚了 MoE”还早。

这篇论文用 ICLR-320 和多智能体二元裁判训练科学创意 RL；我看它先解决的是奖励定义，不是科学发现。这个判断很关键，因为开放式 ideation 最难的从来不是“多生成几条想法”，而是你拿什么信号区分“像论文摘要的流畅废话”和“真有研究价值的假设”。作者把奖励收紧成 strict binary reward，再用无偏版 GRPO 压长度偏置，方向是对的：只要奖励还在吃风格、吃篇幅、吃 judge 偏好，模型就一定学会迎合裁判，而不是提出好点子。\n\n我对“首个 multi-agent judge-style reward”这个表述有点保留。过去一年里，至少在 open-ended reasoning、code critique、self-play debate 这些方向，大家已经反复拿多裁判、对抗裁判、process reward 来抑制 reward hacking。新意更像落在“把这套东西搬进 scientific ideation，而且强行做二元化”。二元奖励的好处很直接：少给模型钻连续分数漏洞。坏处也一样直接：信息密度低，训练会更吃样本效率，也更依赖 judge 边界画得准不准。摘要没披露正负样本比例、rollout 数、拒答率、KL 约束、best-of-n 设定，这几个量不出来，我没法判断它的“显著超过”有多少是奖励设计带来的，多少只是 sampling budget 更大。\n\nICLR-320 这个数据集也得打个问号。320 对 RL 后训练不算大，哪怕每条 problem-solution pair 很干净，它也很容易把“ICLR 2024 的论文写作习惯”学成奖励捷径。我一直觉得 scientific ideation 这类任务最怕两件事：一是模板化 novelty，二是 venue-specific priors。模型学会把 idea 包装成 ICLR 审稿人熟悉的口味，比如问题设定、ablation 结构、术语密度，看上去会比真创新更容易拿高分。这里文章只说 expert-evaluated novelty、feasibility、effectiveness 更好，正文没给评审人数、盲评协议、inter-rater agreement，也没说 expert 是看 proposal 还是看后续验证结果。没有这些，所谓“新颖性提升”很容易只是“更像会被接收的 ML paper”。\n\n我想到的对照有两个。一个是过去一年的 AI scientist 线，从 Sakana AI 那类自动生成研究想法，到多代理文献检索加实验规划，大家反复撞到同一堵墙：生成不是瓶颈，验证才是。另一个是 DeepMind 和 OpenAI 在 reasoning RL 上踩过的坑，reward 一旦离最终目标隔一层 judge proxy，模型很快学会讨好 proxy。作者显然知道这个问题，所以才强调 decoupling methodological validation from implementation details。这个设计挺聪明：先别让模型靠堆实验细节刷分，只看方法是否站得住。问题也在这儿——科学里很多好点子本来就靠实现约束来区分，脱离实现细节后，judge 更容易奖励“听起来完整”的理论拼装。\n\n说真的，这条我更愿意把它看成“面向开放任务的奖励工程论文”，不是“AI 开始会做科学了”。如果后续正文给出基座模型，比如是 7B、32B 还是闭源 frontier model，结论分量会差很多；给出 compute cost，才能知道这套方法是不是比多轮 agent debate 真便宜；给出跨领域外推，比如从 ICLR 论文迁到 biology 或 materials，才有资格谈 scientific ideation，而不是 conference-style idea drafting。现在标题给出的野心很大，摘要给出的证据还不够硬。

PaTaRM 用成对偏好训练点式奖励模型，并在 Qwen3-8B/14B 上报出 8.7% 平均提升。我的判断是，这条比很多“再做一个 reward model”论文更实在，因为它盯的是 RLHF 里一直没解决干净的接口问题：训练时最容易拿到的是 pairwise preference，部署时最好用的却常常是 pointwise scoring。 这件事不新，麻烦一直很真。Bradley-Terry 这一类成对偏好建模，在训练上很顺手；到推理侧，你还是想给单条回答打分，做 rejection sampling、best-of-N、online RL 都更方便。另一条路是直接做 pointwise RM 或 generative RM，但那通常要绝对分数、rubric，标注成本高，而且不同任务的分数标尺经常漂。我一直觉得 reward modeling 的难点不在“再堆一个更大 judge”，而在把便宜信号转成可部署信号。PaTaRM 的 PAR 机制就是冲这个口子去的，所以方向是对的。 我对摘要里的 13.6% 相对提升保持保留态度。相对提升很好看，绝对提升常常没那么吓人。IFEval 和 InFoBench 这两项对奖励模型是有信息量，但它们也很吃提示模板、policy 初始化和采样设置。正文没给基线绝对分数，没给 RLHF 算法细节，也没说 reward model 是只替换打分器，还是连数据筛选一起变了。少了这些，13.6% 还不能直接读成“对齐质量明显跃迁”。 Task-Adaptive Rubric 这块我有点警觉。动态 rubric 听着顺，因为不同任务本来就不该共用一把尺子；问题是 rubric 由谁生成、用什么模型生成、生成成本多少、会不会把 judge 偏好偷偷写进标准里，摘要都没披露。这个坑过去一年已经见过不少次：一旦 rubric 生成器和被评对象共享模型家族，分数很容易被“同门口味”抬高。我还没查到论文正文里有没有做 cross-model rubric 或 anti-leakage 控制，摘要看不出来。 外部参照也得摆上。RewardBench 这类基准过去一年越来越像 RM 领域的 MMLU：有用，但很容易被针对性调参吃掉。Open-source 这边，大家已经从单纯 scalar RM 往 generative judges、process reward models、rule-augmented evaluators 分流了。PaTaRM 的价值不在于它把 benchmark 又抬了一截，而在于它试图保住 pointwise RM 这条工程上最好接入的路线，不用回头去收一大批昂贵绝对评分。如果代码里能证明：同样 pairwise 数据量下，它稳定优于 Bradley-Terry 风格头部、且 rubric 生成不会把推理成本抬到不可用，那这篇会比 abstract 看起来更重要。 我现在的结论很简单：方向靠谱，数字先打问号。标题已经给出开源和两组提升，正文摘要没披露数据规模、标注来源、rubric 生成开销、绝对分数和显著性检验。没有这些，PaTaRM 还不能算 reward modeling 的新默认范式；它先是一个值得复现的工程技巧。

这篇论文把 2 种随机采样和 1 个 LatentRM 接进潜在推理模型。方向我觉得是对的，因为 latent reasoning 一直卡在“能跑得省”，却很难像 token CoT 那样用并行采样换准确率。作者至少把这个缺口补成了一个可实验框架，而且代码和检查点已经放出，这点很实在。 我对这条的判断是：它的重要性不在某个 benchmark 多了几分，而在 latent reasoning 终于开始长出“推理时算力可加码”的接口。过去一年大家谈 test-time scaling，默认对象几乎都是 token 轨迹：self-consistency、best-of-N、process RM、tree search，路子很清楚，代价也很清楚。latent reasoning 这边一直更像黑箱递归，内部状态在连续空间里滚动，你连“多采几条”都没法自然定义。作者用 Monte Carlo Dropout 和 Additive Gaussian Noise 做采样，本质是在隐空间里硬造分叉；再用 step-wise contrastive 训练的 LatentRM 做选择，这才让并行扩展有了闭环。 这个思路和 token CoT 的关系，其实像把“采样多条文本”改成“采样多条状态轨迹”。我一直觉得 latent 路线如果想进主流，迟早要补这一课。原因很简单：只靠单轨 latent rollout，部署侧很难接受。你省了 token，却失去一个成熟的调参旋钮。OpenAI 从 o1 往后，Anthropic 在 Claude 的 extended thinking 上，大家已经把“多花推理算力换更高正确率”做成产品直觉了。latent 模型如果不能吃 inference compute，它在高价值任务里就会一直像研究玩具。这个背景，文章里没写，但从产品落地看很关键。 我也得泼点冷水。Monte Carlo Dropout 和高斯噪声，听着像不确定性建模，实际常常只是便宜扰动。它们能不能稳定覆盖“有用的不同解法”，跟模型层位、噪声幅度、dropout 插入位置都强相关。摘要只说 two strategies scale effectively with compute，却没给具体任务、样本数、N 增长曲线、计算开销，也没说和 token-level best-of-N 比到底谁更划算。标题给了 ambition，摘要没给核对 ambition 的关键数字。 LatentRM 这块我也有保留。step-wise contrastive objective 听起来合理，因为 latent 轨迹没有显式 token 监督，做逐步偏好比只打终局分更细。但 reward model 一进场，老问题就回来了：泛化到分布外任务行不行，分数和最终正确率相关性多高，会不会学到表面轨迹光滑度而不是推理质量。去年不少 process reward model 论文都踩过这个坑，离开训练分布后排序能力掉得很快。我还没看 PDF 的具体表格，所以不下死结论，但这块绝对不是“加一个 RM 就解决”。 还有个上下文，文章没展开，我觉得很要命。latent reasoning 过去常被支持者拿来对比显式 CoT，说它更省 token、更难被蒸馏、更接近内部思维。问题是，行业采购不按哲学买单，按吞吐、延迟、可控性买单。并行 TTS 一旦成立，latent 路线就不再只是“便宜单次推理”，而是能走向“给我更多并行预算，我也能往上爬”。这会改变它和传统 CoT 模型的竞争口径。只是这里还缺一组很硬的账：同等准确率下，latent 并行采样比 token CoT 少多少 wall-clock、少多少 KV cache、少多少总 FLOPs。摘要完全没披露。 所以我现在的态度很明确：这条值得读代码，不值得先信 headline。ACL 2026 main 给了背书，说明问题定义和实验设计大概率过了学术线；离“latent reasoning 的实用拐点”还差 benchmark 表、ablation 和成本曲线。要是开源仓库里能看到 N 从 1 到 32 的收益、LatentRM 与 majority vote 的差值、还有噪声采样带来的真实延迟开销，这篇就会从“方向正确”升级成“方法站住了”。现在还差这一步。

SPECTRA 把无监督冷启动 RL 用在小型视觉代理上，最高提了 5% 准确率和 9% 工具效率。我的判断是：这篇论文抓对了一个很实际的痛点，小模型做视觉代理时，差的常常不是看不见，而是不会按证据顺序用工具；但 5% 这组数现在还不够让我直接相信它能改写训练范式，因为摘要没给模型规模、采样预算、工具调用上限，也没给训练成本。 我比较买账的是它对“轨迹结构”下手，而不只盯最终答案。很多视觉 agent 训练，最后都会撞上同一个坑：reward 只看答对没答对，模型就学会抄近路，工具被当装饰，rollout 看着长，证据链其实是空的。SPECTRA 这里加了 Soft Structured Multi-turn Rollouts，要求先串工具证据，再做综合判断。这招不新到离谱，但放在小型 VLM 上很对症。小模型参数少，容错也少，一旦工具顺序乱掉，后面的 synthesis 基本就废了。把“先取证、再归纳”写进轨迹拓扑，通常比再堆一点 SFT 数据更省样本。 这让我想到过去一年文本 agent 那波 cold-start RL 和 process reward 的路子。DeepSeek-R1 那类工作把“中间过程可优化”这件事讲透了，很多团队随后把 GRPO、verifiable reward、tool-use reward 往代码和浏览器任务上迁。视觉侧一直慢半拍，原因很简单：文本任务的对错更容易验，视觉任务里“工具到底有没有帮忙”很难量化。SPECTRA 新加的 TIU 指标，就是在补这个缺口。这个点我觉得比 5% 更重要。因为只要工具效用能被稳定打分，无监督或弱监督的视觉 agent 才有机会规模化训练。不然每次都得靠人工偏好标注 trajectory，数据成本会直接压死小模型路线。 但我对 TIU 也有保留。摘要说它能在没有 ground truth 的情况下量化工具 efficacy，这话听着顺，可问题马上来了：它到底在测“工具有用”，还是只是在测“工具被调用后，轨迹更像训练者喜欢的样子”？这两件事差很多。过去不少 agent 论文都吃过这个亏。比如网页代理、GUI 代理那几类 benchmark，模型只要学会多点几步、多贴几段观察，就能把过程分数拉高，真实任务成功率却不一定同步涨。我还没看到正文里的 TIU 定义和消融，暂时不敢把它当成一个稳指标。 还有一个我不太买账的地方：MMMU-Pro OOD 提升被拿来证明泛化，但摘要没披露绝对分数、方差、跑了几次、和哪些 baseline 比。5% 如果是从 58 到 63，这很扎实；如果是从 91 到 96，信息量就没那么大。工具效率 9% 也一样，要看分母是什么。是平均调用次数下降 9%，还是同样预算下成功率升 9%，还是无效调用占比降 9%？这三种说法，训练价值和部署价值完全不是一个量级。标题已经给了 grounded visual perception，正文摘要没披露这些关键口径，我不会先替作者补完。 我自己更关心它会不会在“小模型代理”这条线上变成一个常见配方。过去一年不少团队想把 7B 到 13B 的多模态模型做成便宜 agent，但最后往往被两件事卡住：第一，监督轨迹贵；第二，工具用得乱，推理链不稳定。SPECTRA 如果能在 3B、7B 这类规模上，用可控的 rollout 预算稳定复现，那它的意义不只是论文里那 5%。它会变成一种训练经济学：少请标注员，多花环境交互和 reward design。这个方向我一直觉得靠谱，因为开源侧和端侧最后拼的不是“最强单次回答”，而是“单位成本下能不能把 agent 行为训稳”。 说真的，我还想看一个更硬的对比：跟有监督 trajectory tuning 比，到底差多少。如果 SPECTRA 能用 30% 到 50% 的训练成本逼近监督式方法，那就很有竞争力；如果它只是把一套昂贵 RL 采样，换掉一套昂贵人工标注，故事就没那么漂亮了。摘要没有成本，没有 wall-clock，没有 sample efficiency，我只能先给方向高分，给结论留白。 所以这篇我会认真看，但不会先吹。它最像的不是“无监督万能解”，而是给视觉 agent 补上一层缺失已久的过程约束。成不成，最后还是看三件事：模型规模有没有跨档可复现，TIU 和真实成功率是否强相关，训练账单到底比监督轨迹便宜多少。现在这三件，摘要都没交代全。

论文把一个很具体的问题钉住了：标准 PER 会让旧高优先级轨迹持续被抽样，0.5B、3B、7B 策略更新得太快，优先级先于样本价值失真。作者给的修正也很克制，就是把任意 PER 优先级乘上指数年龄衰减。8 个任务里，对 on-policy 基线，NQ Search 提升 46%，Sokoban 提升 367%，VLM FrozenLake 提升 133%；标准 PER 反而持续降级。这组结果我基本买账，因为它解释的是很多人这两年在 LLM agent RL 里都踩过的坑：不是 replay 不能用，是你拿旧策略打出来的“重要性”继续指导新策略，迟早采样分布就歪了。 我觉得这篇值钱的地方，不在“首次把 PER 用到 LLM/VLM RL”这句 claim。PER 是 2015 年那套老东西，指数衰减也不算新发明。值钱的是它把 LLM 后训练里一个常被 on-policy 口径掩盖的问题说穿了：大家一直说 PPO、GRPO、REINFORCE++ 更稳，很多时候不是因为 on-policy 天生更高级，而是 replay buffer 的时序污染太严重，旧经验比低质量经验更麻烦。这个判断和过去一年一些现象能对上。很多开源 RLHF 或 agent tuning 配方宁可忍受样本浪费，也只做 very short horizon reuse，核心顾虑就是 policy drift。我记得 DeepSeek-R1 那波公开经验更强调 rollout 质量和验证器，不太碰重 replay；几家做 web agent 和 tool-use 的团队也普遍把 buffer 控得很浅。不是大家没想到 PER，是之前一上就掉点。 但我对这篇的叙事还有两个保留。第一，摘要给的是相对 on-policy baseline 的提升，没有在这里披露绝对分数、方差、训练 token 成本、交互步数节省比例。Sokoban +367% 这种数字很抓眼，可这类环境常见低基线放大效应；从 3 到 14 也是 367%。如果正文没把 raw success rate、样本效率曲线、不同 decay 系数的敏感性摊开，这个涨幅不能直接外推到真实生产任务。第二，作者把问题主因归到“优先级陈旧”，我认同大半，但不觉得这已经覆盖全部。LLM/VLM RL 里的 replay 失效，通常还夹着 reward non-stationarity、tool feedback 延迟、长轨迹 credit assignment 断裂。年龄衰减能削掉一层毒性，不等于 buffer 从此就干净了。 还有一个文章外的对比，我觉得很关键。经典离策略 RL 能把 replay 玩得很顺，前提是状态动作空间相对稳定，价值估计器也能持续校正。LLM post-training 完全不是那个工况：一个 7B policy 做几轮更新，整段 token 分布、搜索路径、工具调用习惯都会变。你把它当 Atari 的 DQN 去做 buffer 复用，本来就不现实。所以这篇其实在说一个更普遍的工程结论：给 LLM RL 上 replay，时间戳不是元数据，而是采样权重的一部分。谁还在把 buffer 只当“省 rollout 成本的仓库”，谁就会被旧数据反噬。 我也得承认，光看 arXiv 页面和摘要，几个关键点还没披露清楚：衰减系数怎么选，是否任务自适应，和 importance sampling correction 怎么配，VLM 任务里视觉 observation 的缓存成本怎么计，代码仓库是否已放全实验脚本。要是这些没有，复现门槛会比公式看起来高。 说真的，这条我看成一个很实用的修补件，不是范式突破。它不会把 LLM RL 从 on-policy 直接扳到 fully off-policy，但很可能会让大家重新接受“有限深度 replay”这条路。要是后续有人把 freshness decay、trajectory relabeling、verifier-based filtering 放到同一套训练里，样本效率可能才会出现第二次跳变。单靠 PER 回归，本身还不够。

NI Sampling 用一个神经指示器重排 token 采样顺序，并在 LLaDA、Dream 上报出最高 14.3× 加速；我对这条的第一反应是，dLLM 阵营总算开始补自己最显眼的短板了。离散扩散语言模型这两年的叙事一直很顺：生成顺序自由、天然适合并行、理论上不必像自回归那样一 token 一 token 吐。但工程端卡得也很直接——迭代步数太多，哪怕单步能并行，墙钟时间和算力账还是难看。这个问题不解决，dLLM 就很难从“研究上有意思”走到“线上值得换栈”。 这篇的点不在新基座模型，点在推理策略。摘要给的机制很明确：每一步尽量保留已经预测对的 token，把采样预算集中到更该改的位置，再用 trajectory-preserving objective 训练指示器。这个方向我买账，因为它抓住了扩散式解码最浪费的一段：很多 token 在中途已经稳定，后面还被重复触碰。把这些位置冻结，本质上是在把“无效迭代”从采样链里剔掉。你可以把它类比成自回归里的 speculative decoding、early exit、KV cache 各种小刀法——不是换掉模型能力，而是承认推理系统里有大量机械损耗，先把损耗刮掉。 我还想加一层文章外的上下文。过去一年，生成模型提速最成功的工作，很多都不是把 base model 做大，而是把 decoding policy 做聪明。自回归那边，speculative decoding 能在高接受率条件下拿到接近 2-3× 的实际吞吐提升；视觉那边，MaskGIT 一类并行解码早就证明“顺序设计”会直接决定步数和质量。dLLM 本来就把“任意顺序生成”当卖点，现在终于有人把这个自由度认真优化，而不是继续用启发式阈值糊过去。摘要还点名 consistently outperforms confidence threshold sampling，这很关键：说明他们不是把旧 heuristic 调参调赢，而是在学一个更像 policy 的东西。 但我对 14.3× 这个数字有保留。摘要只说“over full-step sampling”，没披露基线步数、序列长度、硬件、batch size、 wall-clock 还是 iteration count，也没说不同任务上的最差值。这里差别很大：如果只是把 100 步降到 7 步，论文里当然很好看；真到线上，还要看指示器本身增加了多少前向开销、是否破坏并行、是否需要额外显存。很多“10×”论文最后落到端到端 latency，只剩 2-4×，这个我见太多次了。正文没给这些条件，我不会先替它吹部署价值。 另一个疑点是泛化。摘要只覆盖 LLaDA 和 Dream，两者都属于 dLLM 体系内验证。这个结果能不能迁到别家的离散扩散文本模型，甚至迁到多模态 token 生成，我还没查到。若指示器高度依赖某个模型的中间轨迹分布，那它更像 model-specific patch，不是通用加速层。论文把方法叫 general framework，这个说法我先打个问号，得看跨模型复用率、重训练成本、长上下文下的退化曲线。 说真的，这条论文的价值不在“14.3×”四个字，而在它替 dLLM 回答了一个很现实的问题：你们的并行潜力，能不能变成可计费的推理效率。现在看，答案开始像“可以，但要把采样顺序学出来”。如果后续代码和实验能证明 wall-clock 也接近这个量级，dLLM 至少会从边缘路线，变成值得推理团队认真 benchmark 的备选。要是做不到，那它还是一篇漂亮的 sampling paper，不是一次架构路线反攻。

MTSQL-R1把多轮 Text-to-SQL写成一个带环境反馈的 MDP。我的判断很直接：这条路子是对的，因为多轮 SQL 从来不是“每轮吐一条查询”这么简单，它更像一个带状态追踪的交互式程序合成问题。 摘要给出的核心机制有两个。第一，智能体会拿数据库执行反馈做校验。第二，它会用持久对话记忆检查跨轮一致性。然后走 propose、execute、verify、refine 这个闭环，直到检查通过。这个设计不花哨，但很符合真实失败模式。CoSQL 和 SPARC 这类基准里，系统常见死法不是语法不会写，而是上一轮过滤条件、指代对象、聚合口径在后续轮次里悄悄漂移。把执行结果和对话记忆都拉进训练环里，至少方向上比纯 seq2seq 或单轮 rerank 靠谱。 我对论文的保留也很明确。摘要只说“持续优于强基线”，正文片段没给具体分数，没给模型规模，没给误差区间，也没说提升落在 execution accuracy、interaction-level accuracy，还是别的指标上。这个缺口很大。Text-to-SQL 论文里，1 到 3 个点的提升经常能靠 prompt、schema linking、test-time sampling 或更强基座模型拿到；一旦缺少口径，读者没法判断这是不是训练框架带来的增益。 我一直觉得这类工作要跟两条旧线放在一起看。一条是 execution-guided decoding。几年以前就有人用执行信号过滤非法 SQL，所以“跑一下再修”不是新发明。新意如果成立，应该在“多轮记忆校验”与“训练期 agentic rollout”的组合，而不是单独的执行反馈。另一条是 ReAct 风格和工具调用训练。过去一年很多 agent 论文都在证明，同一个基座模型接入环境后，难点不再是会不会调用工具，而是何时停、何时回溯、如何压住错误记忆。MTSQL-R1如果真的稳，价值就在它把这套东西落到了一个可验证任务上。 我还有一个怀疑点。摘要说会发布 code、trained models、logs、reasoning trajectories，但现在还在 internal review 后。说实话，这种“先报结果、后放配方”的节奏，我会先打折扣。Text-to-SQL 很吃数据清洗、schema 预处理、执行器设置，连 SQL dialect 不同都能改结果。只要没看到完整 recipe，我不会把“持续优于”当成可复现事实。 如果你做的是企业查询代理，这篇比通用 agent 论文更接地气。生产里最难的不是生成第一条 SQL，而是第 4 轮以后别把客户上下文搞乱。MTSQL-R1至少在承认这个现实。问题只剩一个：它到底把 CoSQL、SPARC 拉高了多少，代价是多少，换到真实数据库后还能不能站住。标题给了方向，摘要没给力度。

ConsistRM 在 5 个基准、4 个底座模型上把 vanilla RFT 平均提高 1.5%。我对这条的判断是：它抓到了生成式奖励模型现在最烦人的两个病灶，但证据还停在“研究上成立”，没到“训练栈里该立刻换”的程度。 先说我为什么觉得方向是对的。生成式奖励模型这两年一直有个尴尬点：表达力比标量 RM 强，能给 critique、能给细粒度偏好解释，可一旦进入自训练，很容易把自己骗进去。伪标签越滚越多，错误也越滚越稳，最后不是 reward hacking，就是对输入顺序、措辞扰动特别敏感。ConsistRM 的两个改动都在压这个问题。一个是时间一致性的 answer reward，用多轮或跨时刻一致性去筛伪标签；另一个是 critique reward，看多点评语之间语义是否一致，再分配细粒度回报。这套思路不花人工标注，至少在方法论上比“继续堆偏好对数据”更像 2026 年该走的路。 但 1.5% 这个数，我不会解读得太乐观。奖励建模论文里，1-2% 的平均增益经常成立，问题在于迁移后还能剩多少。尤其这里对比对象是 vanilla RFT，不是更强的 DPO 变体、RLAIF 管线，或带 verifier/filter 的 self-training。正文摘要没披露每个 benchmark 的分项，也没说提升是均匀分布，还是被一两个数据集拉起来。要是 5 个基准里有 2 个涨很多、3 个几乎不动，这个结论就得换一种读法。标题已经给出“降低位置偏置”，正文摘要没披露偏置下降幅度、测量协议、输入交换的具体设置，我还不能把它当成 robust alignment 的硬证据。 这里有个文章外的上下文。过去一年，社区对 GRM 的兴趣明显升温，原因不是“它更优雅”，而是 agent 评估越来越需要文字化反馈。标量奖励在多步工具调用、代码修复、长链拒答里经常太粗。OpenAI、Anthropic、Meta 这类大厂公开材料里都越来越多地把 critique、rubric、process feedback 混进训练环节，只是很多细节不公开。我自己的印象是，2025 年后不少工作都在绕着同一个现实打转：人工偏好数据太贵，且覆盖不了 agent 的长尾轨迹。所以“无人工标注的 GRM 自训练”这个方向不是旁支，它是在补成本和覆盖率的缺口。 我有个明确的保留意见：一致性不等于正确性。模型可以稳定地给出同一种错误 critique，也可以在固定偏见上表现得非常一致。很多 self-training 方法都会把 consistency 当作 reliability proxy，这在干净任务上常常有效，但遇到系统性偏差时会反噬。比如位置偏置被压下去，不代表模型学会了更好的偏好判断；也可能只是学会了对调输入后输出更像。两者差很远。没有人工标注做锚点时，这类“稳定但错”的风险会更大。 我还想看两个没披露的点。第一，训练成本。多点评语一致性通常要多次采样，多次打分，算力账未必好看。第二，底座模型跨度。摘要只说 4 个 base models，没说参数规模、开闭源、指令能力差异。要是提升主要发生在较弱底座上，那它更像是给弱模型补稳定性；要是强底座也稳定上涨，价值就高很多。 所以这篇 paper 我会放进“值得继续跟”的那栏，但不会立刻把它吹成 GRM 的新标准件。它更像一个很务实的修补：先让自训练少自爆，再谈替代人工偏好数据。ACL 2026 主会收录说明学术上已经过线，工程上还得补两张表：分 benchmark 结果，以及算力/采样开销。没有这两样，我自己不会急着改现有奖励训练配方。

GanitLLM把孟加拉语推理 token 占比从 14% 拉到超 88%，同时把平均解答长度从 943 词压到 193 词。这个结果比 Bn-MGSM 的 +8 分、Bn-MSVAMP 的 +6 分更有判断力，因为它直接打在低资源推理模型最常见的老问题上：题目是本地语言，思维链却偷偷退回英语。 我一直觉得，多语数学推理里最虚的一层，就是“答得对”掩盖了“想得不对”。模型先用英语做中间推理，再把结论翻回孟加拉语，分数照样能上去，但这不等于它会孟加拉语推理。GanitLLM至少做了一件对的事：把奖励拆到格式、数值正确性、孟加拉语推理三层，还用 difficulty-aware sampling 去缓解低资源 RL 常见的 reward sparsity。这个配方不新，SFT+RL 也不是新东西，比较难得的是他们把“语言一致性”当成一等目标，而不是训练后再补一个翻译器。 这里有一层文章外的背景。过去一年，多语模型在数学和代码任务上反复暴露同一个模式：表面支持几十种语言，真到多步推理时，内部链路还是优先回英语。Indic 和 SEA 方向的不少工作都碰到过这个坑，尤其是参数规模压到 7B 以下时更明显。我记得去年一些阿拉伯语、印地语推理微调项目，也报告过类似现象：最终答案本地化不难，难的是让中间步骤留在目标语言里。GanitLLM的 88% 这个数，所以我会认真看，它说明 RL 奖励至少改变了模型的生成偏好，而不只是刷 benchmark。 但我对这篇的两个地方有保留。第一，difficulty tag 来自一个“strong evaluator model”的 pass@k 自动打标，摘要没披露 evaluator 是谁、参数多大、是否懂孟加拉语、pass@k 取几。这个环节如果 evaluator 本身偏英语式解法，课程学习的“难度”就不只是题目难度，还混进了某种模型偏好。第二，提升基线是 Qwen3-4B base，不是已经做过孟加拉语数学对齐的同级模型。这个对比能证明“这套训练有效”，还不能证明“它在低资源数学推理里领先”。标题给了增益，正文没披露更强 baseline 对照，我不会替作者补。 我还想看两组没给出的关键数字。一个是训练数据规模：difficulty-aware corpus 到底有多少题，去重和去污染怎么做，Bn-MGSM 与 Bn-MSVAMP 是否在生成或筛选链路上被间接看到。另一个是奖励设计的消融：如果去掉 Bengali reasoning reward，只保留数值正确性，88% 会掉到多少；如果保留语言奖励但去掉 curriculum，+8 分还能剩多少。没有这两个消融，现在还很难判断增益主要来自课程采样、奖励塑形，还是单纯数据清洗。 说真的，这条的价值不在“孟加拉语也有 4B 数学模型”这种象征意义，而在它给低资源 RL 提了一个更实用的顺序：先把语言漂移压住，再追求复杂推理。过去很多团队一上来就想复制英语数学模型的 RL recipe，结果 reward 稀疏、链路飘移、答案冗长，最后只能靠更大底座硬顶。GanitLLM反过来做，先把输出长度砍到 193 词，再把目标语言推理占比拉高，这至少说明小模型在本地语言任务上还有不少训练工艺红利可拿。 我不太买账的一点，是把这条直接讲成“低资源语言推理突破”。目前只有 arXiv 摘要信息，没看到完整 benchmark 拆分、错误类型分析、人工语言质量评测，也没看到跨域泛化，比如代数之外、文字题之外、代码或常识推理是否同样受益。现在更像一个很像样的方法论文，不是已经坐实的通用范式。 如果后续项目页把 evaluator、数据规模、消融、人工评测都补齐，我会把它看成 low-resource post-training 的一个可复用模板。要是这些细节补不出来，这条就还是“一个在两张基准上成功对齐语言与答案的实例”，离平台级结论还有距离。

ADC 把 100 万张服饰图像拉成了 12 个主类、1.2 万个细粒度子类，这件事说明一件很直接的事：训练数据生产，已经开始从“人工标注项目”变成“LLM 生成 schema + 搜索引擎抓取 + 自动清洗”的流水线。 我对这篇的判断偏保守。它证明了自动造库能跑通。它还没证明自动造库能稳定替代高标准人工数据。摘要里最好看的两个数，是 79% 的人工一致率，和标签噪声从 22.2% 降到 10.7%。这两个数都不错，但还没到让人放心拿去做高价值训练的程度。79% agreement 放在开放世界服饰分类里不算差。放在很多生产级视觉任务里，这个误差仍然偏高。噪声减半也成立，但 10.7% 的残余噪声一点都不低，尤其当类别被拆到 1.2 万个子类以后，长尾类会被这点噪声放大得很厉害。 这篇的方向，我其实一直觉得会发生。过去一年，大家都在聊 synthetic data、self-instruct、model-written eval。视觉侧反而有点慢，因为图片数据不是把 prompt 写漂亮就行，采样源、版权、重复图、近重复图、跨域偏差，个个都能把数据集做歪。ADC 有意思的地方，是它把“先定义 taxonomy，再自动写采集代码”放到前面。这比只做后处理清洗更实用。我记得 DataComp 那波工作已经把一件事讲透了：公开网络图像不是越多越好，过滤策略常常比裸规模更重要。ADC 基本站在这条线上，只是把过滤前面的类目设计也交给了 LLM。 我有两个保留。第一，摘要没有披露采集源的细节。用了哪些搜索引擎，怎么去重，怎么处理同款不同角度，怎么挡住电商站里高度模板化的商品图，正文这里如果没有很细，79% 这个数的解释力会打折。因为很多服饰分类模型最怕的不是脏标签本身，而是数据分布太“商拍”。训练时看惯白底平铺图，部署时遇到街拍和监控视角就掉得很难看。第二，摘要没有给下游任务增益。它说做了 3 个 benchmark，也评了现有方法，但没在摘要里告诉你：用 Clothing-ADC 预训练或微调后，具体比 DeepFashion、ImageNet 子集、LAION 风格抓取集高多少。没有这组对照，我不会轻易接受“自动构建的数据已经足够好”这个叙事。 还有一个更现实的问题：这套方法的上限，很大程度卡在 LLM 设计类目的能力上。12 个主类和 1.2 万个子类听起来很猛，但 taxonomy 一旦长歪，后面全流程都会沿着错误结构放大偏差。LLM 很会列清单，也很会制造看似工整、实际不贴近业务的层级。服饰还算好，因为互联网命名比较成熟。你把这套东西搬到工业缺陷、医学影像、遥感地物，问题会立刻变硬。那些场景里，类目不是语言问题，是测量标准、成像协议和标注责任问题。LLM 能补文档劳动，补不了领域共识。 我还是认可这篇的工程价值。它至少把一个常见空话做成了可复现对象：自动收集、自动整理、噪声检测、噪声学习、类不平衡学习，整条链路一起给。这个比单发一个“我们又做了个百万数据集”实在得多。开源工具如果好用，很多中小团队会立刻拿来搭垂类视觉集，因为他们最缺的从来不是模型代码，而是首版数据资产。 但这条我不会吹成“数据获取被解决”。我更愿意把它看成数据工程的 CI/CD 雏形。第一版库能更快上线，后面再靠人类抽检和任务反馈迭代。摘要已经给出规模和噪声数字。正文没披露的关键，是采集偏差、版权处理、去重机制，以及下游泛化收益。如果这些没讲透，这篇更像一套高效率采样系统，不是一套高可信数据系统。

FLARE 用 11 个数据集、8 个嵌入模型，把无标签评估和监督基准的相关性做到 Spearman ρ=0.90。这个结果先别急着吹，我的判断是：它抓住了一个一直没被认真解决的痛点，但离“选型标准件”还差两步，任务覆盖和算力成本都没交代清楚。 这篇的价值很直接。做检索、聚类、RAG 预索引时，团队经常先挑 embedding，再想办法补标签。问题是标签最贵，模型又换得快。现有无标签办法多半靠核密度、GMM、局部距离这些老路子，维度一高就开始飘。FLARE 改成用 normalizing flow 的对数似然，去估计信息充分性，至少在方法论上是对症下药。摘要给了一个关键条件：当 d≥3584 时，既有 baseline 失稳，FLARE 还稳。这点有意思，因为很多线上 embedding 维度常见在 768、1024、1536、3072 一带，3584 已经踩到“高维病开始显形”的区间了。OpenAI text-embedding-3-large 我记得是 3072 维，跟这个门槛已经很接近。 我比较认同它的理论表述：误差依赖数据流形的内在维度，不直接依赖原始维度。这个思路和过去几年高维表示学习的直觉是一致的。很多看起来很宽的 embedding，实际有效自由度没那么高。要是这个界在正文里推得扎实，FLARE 就不只是工程 trick，而是在给“为什么无标签评估总在高维里翻车”补一块理论底座。 但我对现在这组证据有保留。第一，11 个数据集、8 个 embedders 不算小样本，也远没到能宣布通用规律。摘要没说覆盖的是检索、分类、聚类、rerank 还是 STS，也没说监督 benchmark 具体是哪套口径。要是主要是语义相似度类任务，ρ=0.90 很强；要是跨域检索、代码、长文 chunking 也都覆盖，那分量会大很多。正文没披露这些，我不会替它补完。第二，flow-based 方案通常有训练稳定性和超参敏感性问题。你把距离估计的问题绕开了，代价是引入一个生成模型。这个模型吃多少样本、训多久、换 seed 会不会变，摘要都没给。很多“稳”的方法，最后只是把不稳定从评估指标挪到了评估器训练本身。 我还想补一个文章外的上下文。过去一年大家评 embedding，公开世界基本还是 MTEB、BEIR 这种带标签基准在主导，或者直接拿下游召回率、nDCG 说话。原因不复杂：大家宁愿贵一点，也想要可复现。无标签评估一直没起来，不是没人想到，而是它经常只能在某个任务簇里和监督分数相关，一换域就掉。FLARE 如果真能跨任务保持 ρ=0.90，它碰到的是一个很实际的采购问题：你在没有标注的新语料上，能不能先把 10 个 embedding 模型筛到 2 个，再去做小规模标注验证。这个节省的不是论文分数，是团队两周时间。 说真的，我现在更想看失败案例，不想看平均分。比如多语言语料、代码库、金融专有术语、极短 query 对极长文档，这些场景里 flow likelihood 会不会把“分布好学”误当成“信息充分”。如果会，那 FLARE 评到的就不一定是任务可用性，而是表示空间的可压缩性。两者有交集，不是同一件事。 所以这条我给中高评价，但不会立刻上生产。摘要已经给出 ρ=0.90 和 d≥3584 的稳定性，正文之外最缺的是 benchmark 细目、flow 训练成本、跨域失败样本。补齐这三样，它才有资格从“论文里很好看”走到“embedding 选型前先跑一遍”。

FlexiCache 在摘要里给出 70% 显存降幅。我的判断是，这条更像一篇会进系统栈的论文，不像一篇立刻改写线上配置的论文。它抓到的点很准：KV cache 不是平均重要，attention head 也不是平均稳定。按 head 的时间稳定性分层，确实比统一做 top-K eviction 更接近模型真实访问模式。 摘要给了三组数字。长上下文请求里，GPU 显存占用最高降到 70%。离线吞吐提升 1.38 到 1.55 倍。在线 token 延迟下降 1.6 到 2.1 倍。数字不小，但我先压一下预期。正文这里只有 abstract，没有模型名单、上下文长度、batch size、GPU 型号，也没有 host memory 带宽条件。少了这些，2.1 倍 latency 降幅还不能直接映射到生产集群。PCIe、NUMA、CPU 内存争用，都会把这类 offload 方案的纸面收益吃掉一截。 这个方向放到过去一年看，其实很顺。大家都在承认同一件事：长上下文的主要瓶颈，很多时候不是 FLOPs，而是 KV 占的显存和搬运成本。vLLM 早就靠 PagedAttention 把 KV 管理做成页式系统，Anthropic、Google、OpenAI 过去一年也都在推更长 context，但公开材料里很少有人把“不同 head 的稳定性差异”拿来做一等公民。FlexiCache 这点有新意，因为它不是单纯做 token 级稀疏，而是先承认 head 的行为异质，再决定谁全留 GPU、谁只留 top-K。这比“一刀切压缩所有 head”更工程化，也更像能和现有 serving 框架共存的路线。 我自己的疑虑有两个。第一，stable 和 unstable 的分类成本有多高，摘要没披露。若分类和 periodic reranking 本身引入额外 kernel、同步和 host fetch，收益会被吃掉。第二，所谓“精度保持不变”现在也只是 abstract 级表述。长上下文、长生成场景里，很多方法在 needle-style benchmark 不掉点，但一到 multi-hop reasoning、代码补全、工具调用轨迹，误差会慢慢积累。这里没看到任务集、误差条、也没看到不同模型上的一致性结果，我不会先信成通用结论。 说真的，我更关心它和现有量化路线怎么叠。去年不少团队在做 KV quantization、sliding window、selective eviction，还有 FlashAttention 系列继续压算子成本。FlexiCache 如果只能在“不开量化”的条件下成立，价值会窄很多；如果它能和 FP8 KV、INT4 KV 或分层前缀缓存叠加，系统意义就大了。这个摘要没说。 所以这条的信号不是“KV 问题解决了”。信号是，KV 管理开始从统一策略转向结构感知策略，attention head 级别会变成新的调参面。标题已经给出方法和收益，正文没有披露实验矩阵、硬件条件、分类开销。我会先把它记成一个高潜力 serving 技术点，不会现在就把 70% 显存节省写进产能规划。

论文把标准 GRPO 在 Qwen3-8B 和 Qwen3-1.7B 搜索代理上分别拉高 5.0% 与 6.3%，核心做法是用 LLM judge 给每轮搜索打贡献分，再去重标定 outcome reward 的优势值。我的判断很直接：这条路是对的，但现在证据还不够硬。它抓住了 search agent 训练里一个老问题——最终答对是轨迹级信号，检索和推理却发生在多轮局部动作里，奖励太稀疏，credit assignment 经常乱掉。把过程信息塞回 outcome-based RL，而不是单独训 process reward model，这个思路比很多“再加一个奖励头”更务实。 我对这件事有感觉，主要是因为过去一年 agent RL 基本都卡在同一个地方。GRPO 这套东西火起来，本来就是因为它省掉了单独 value model 的一部分麻烦，用组内相对优势做更新，训练稳定性通常比硬上 value regression 好。DeepSeek 一系工作把这个方向带热后，很多团队都在拿 GRPO 训 reasoning 和 tool use。但 search agent 比纯数学或代码更烦：一步检索拉回来的文档到底有没有帮助，常常要到两三轮后才知道。你现在看到的 CW-GRPO，本质是在说：别直接把每轮 judge 分数当 reward 优化，那样噪声大、容易 reward hack；先保留 outcome objective，再用逐轮贡献去调优势权重。这比“过程监督万能”那套叙事克制得多，我觉得是优点。 问题也很明显。摘要没给 benchmark 名称，没给绝对分数，没给 judge 模型，也没给每条轨迹多长。5.0% 和 6.3% 如果是从 40 提到 45，和从 78 提到 83，含金量完全不是一回事。multiple knowledge-intensive benchmarks 这句话太宽了，HotpotQA、Bamboogle、2WikiMultiHopQA、MuSiQue 这类任务对多轮检索的依赖程度差很多；要是提升主要来自短轨迹问答，那它对真实 web agent 的迁移价值要打折。我还没查到正文，所以这里不能替作者补数字。 还有一个我不太买账的点：LLM judge 被写成“评估检索效用与推理正确性”，听起来很顺，但 judge 自己就是一层昂贵且带偏差的监督器。过去一年 PRM 和 verifier 相关工作已经反复暴露这个问题：judge 对格式、长度、措辞很敏感，碰到引用链复杂、证据冲突的搜索任务时，常会把“写得像对的”当成“真有帮助”。如果 contribution score 不稳，优势重标定也会把噪声放大。我想看的是两类消融：一类是 judge 换成更小模型后还能不能保持增益，另一类是 contribution score 被打乱后性能掉多少。没有这两项，很难判断提升来自 credit assignment，还是来自一个强 judge 在训练时偷偷提供了额外蒸馏信号。 文章里那句“successful trajectories exhibit concentrated contributions in specific rounds”倒是挺有意思。我一直觉得这更接近真实 agent 行为：多数有效搜索不是每一步都重要，而是某一轮 query rewrite、某一轮证据切换、某一轮停止继续搜的判断决定成败。这个观察如果成立，价值不只在 RL。它会反过来影响 inference-time 设计，比如给关键轮更高 token budget、允许更重的 reranker、或者只在高贡献轮调用贵模型。也就是说，这篇论文表面在讲训练，底下其实碰到了 agent runtime allocation 的问题。 拿外部参照看，这个方向跟去年一批“结果奖励 + 过程打分”的折中方案是一条线，只是这里更明确地站在 outcome RL 一边。我记得 OpenAI 和 Anthropic 过去都做过 process supervision 与 outcome supervision 的对照，结论通常不是“过程监督没用”，而是过程标签很贵、泛化也没想象中稳。CW-GRPO 试图保留 outcome objective 的稳态，再把过程信号只当权重修正，这个工程判断我认同。它比直接训练 dense reward model 更像能落地的配方。 说真的，这篇我会看正文和复现，但不会先把它抬成搜索 agent 的通用解。当前信息只够支持一句话：它给 GRPO 补了一种更细颗粒度的信用分配办法，而且在两个 Qwen3 尺度上都有效。还不能支持另一句话：它已经解决了 search RL 的核心难题。基准、judge 成本、轨迹长度分布、离线到在线迁移，这四个口子只要有一个站不住，5%-6% 的增益就很容易回吐。

ReGA 用低维安全表征区分有害输入，AUROC 做到 0.975 和 0.985。这个结果先别急着吹成新一代 safeguard，我看它更像把“线性 probe 能读出安全语义”这件事，往可部署监控框架推了一步。 我一直觉得，LLM 安全里有两条常被混在一起的线。一条是 classifier 线，像 Llama Guard、ShieldGemma、各种 moderation head，优点是便宜，缺点是很容易变成另一层可被绕过的模型。另一条是 mechanistic/representation 线，去找隐藏状态里哪些方向对应拒答、危险意图、越狱上下文。ReGA 的价值，在于它没有只停在“找到了一个方向”这种论文常见终点，而是把这些方向拿来缩小 model-based analysis 的状态空间。这个动作很工程化，也很对症。因为传统 model checking 或抽象解释一碰到 LLM 的高维 hidden state，规模直接爆掉；你先压到安全相关子空间，分析才有活路。 我买账的部分有两个。第一，它报了 prompt 级 0.975、conversation 级 0.985 AUROC。conversation 比 prompt 更高，至少说明它不是只抓单轮关键词，可能吃到了跨轮累积风险。第二，作者把 interpretability 和 safeguard 绑在一起，这比纯黑盒分类器更像能被审计的东西。安全团队真出事时，要回答“为什么这轮被拦”“哪段上下文触发了风险”，只给一个 moderation score 往往不够。 我不太买账的部分也很明确。AUROC 高，不等于线上好用。安全拦截看的是低误报区间下的召回，很多场景还要看 attack success rate 降了多少。abstract 没给 FPR 阈值、延迟、吞吐、额外前向次数，也没说是在开源模型还是闭源 API 上跑。要是方法需要拿到多层 hidden states，还要做额外抽象建模，那它天然更适合自托管模型，不适合大量只拿 API 的团队。标题给了“scalable”，正文片段没给扩展到多大模型、多长上下文、多少会话。 还有一个老问题：低维安全方向到底稳不稳。我记得过去一年有不少工作表明，毒性、欺骗、拒答倾向常能被线性 probe 读出来，activation steering 也能沿这些方向推一把。问题在于，能读出来，不代表能防住自适应攻击。越狱者如果知道你在盯某些表征，完全可以把危险意图拆散到多轮、换语义壳、先建立无害上下文再转向。abstract 说它对 real-world attacks 有鲁棒性，但没列攻击集、没列白盒还是黑盒。我自己对这块会比较警觉，因为很多 safety paper 在 AdvBench 或自建提示集上很好看，一到强一点的多轮攻击，成绩掉得很快。 外部参照也能说明它的位置。过去一年业界主流防护还是“输入分类器 + policy model + system prompt + tool gating”这套堆栈，原因很现实：便宜、独立、跟主模型解耦。Anthropic、OpenAI、Google 都在做更深层的安全研究，但产品层先上的，通常还是可替换的 guard model。ReGA 这类方法走的是另一条路：把安全信号直接绑定在 base model 内部表征上。这样做的好处是解释性和潜在精度更强；坏处是迁移成本高，模型一换版本，安全方向还在不在、层位变不变、阈值要不要重调，都是维护账。我还没在摘要里看到这部分答案。 所以这篇论文我会给中高评价，但理由不是“它已经解决 LLM safeguard”。理由是它把一个一直停在分析论文里的观察，往工程防线推进了。要不要真信它，得看三件事：一，跨模型复用能不能成立，至少要看到 Llama、Qwen、Mistral 一类结果；二，长对话和工具调用场景下，误报怎么控；三，面对知道防护机制的自适应攻击，ASR 还能压多少。少了这三项，0.985 还是更像实验室分数，不是生产分数。

GLMTest用Qwen2.5-Coder-7B-Instruct把分支命中率做到50.2%，这比很多“靠提示词多试几次”的测试论文更像正路。软件测试这件事，难点一直不是把覆盖率表做漂亮，而是能不能稳定打到你指定的那条危险分支。作者把代码属性图、代码语义、GNN 和按执行分支条件化生成绑在一起，至少说明一件事：他们承认代码不是普通文本，测试生成也不该只当续写任务做。 我一直觉得，代码领域里很多 LLM paper 的问题，不是模型不强，是任务定义偷懒。给模型一个函数，再让它“生成更多测试”，最后拿 line coverage 或 branch coverage 做结果，这套范式很容易把随机碰撞包装成能力。GLMTest这里给了一个更硬的指标：branch accuracy，从 27.4% 到 50.2%。这个数还没高到能让人放心上线，但已经足够说明结构条件化是有效信号，不只是 prompt engineering 的噪声增益。对比过去一年的几条路子，这个方向和 repo-level code reasoning、tool-augmented code agents 更接近，都是在给模型补“程序状态”和“结构约束”，不是再往上下文里塞几百行源码赌它自己悟出来。 但我对这篇的宣传口径还是有保留。标题和摘要都在讲 targeted testing beyond textual semantics，问题是正文这里没展开几个关键条件：TestGenEval 的任务构成没贴出来，目标分支是不是人工筛过，执行环境怎么搭，生成预算是多少次，和 Claude Sonnet 4.5、GPT-4o-mini 的比较是否做了同等 token / sampling / retry 控制，摘要都没披露。没有这些，50.2% 是个很有吸引力的结果，还不是一个能直接抄进工程路线图的结果。我自己最想看的是 per-project 方差：如果它只在控制流清晰的小项目上涨很多，在复杂状态依赖代码上回落，那含义会差很多。 还有一个现实问题，论文说的是 branch accuracy，不是 bug yield，也不是 security finding rate。测试团队最后买单的指标，通常是发现了多少回归、多少崩溃、多少可确认漏洞，而不是“命中了目标分支”本身。过去几年 program analysis 和 fuzzing 社区其实早就知道，覆盖率和找 bug 的相关性不稳定；AFL 系那套 coverage guidance 很有用，但也经常撞上“覆盖涨了，价值没涨”的墙。GLMTest如果下一步只继续刷 branch-targeted 指标，我觉得会卡住。它得证明命中高风险分支后，缺陷发现率确实上去，至少要给出 crash、assertion failure、或已知 CVE 触发数。 外部参照也很说明问题。大模型做代码测试，过去主流叙事是更大的闭源模型更强，Claude 和 GPT 在代码生成上通常吃掉大多数基线。现在一个 Qwen2.5-Coder-7B-Instruct 加结构模块，能在 targeted generation 上压过 Claude Sonnet 4.5 和 GPT-4o-mini，信号很直接：这个任务的瓶颈不只在 base model 参数量，而在你有没有把程序分析那一套接回模型输入。我对这个判断比较认同。代码智能这条线，2026 年越来越像“LLM × static analysis × execution feedback”的混合系统，不像纯聊天模型那样单靠 pretraining scale 碾过去。 说真的，这篇最有价值的地方，不是它把 27.4% 拉到 50.2%，而是它给测试生成划了一条边界：只靠文本语义已经不够了。可我还没看到它跨过另一条边界——从论文指标走到可接入 CI 的工程工具。摘要没披露推理延迟、图构建成本、失败重试策略、也没说能否处理多文件项目。没有这些，我不会把它当成“测试自动化已被改写”的信号。我会把它当成一个很像样的 research direction：把程序结构显式注入模型，确实比继续卷 prompt mutation 更靠谱。

论文提出 Missing-by-Design，用参数更新删除特定模态信息，并声称可生成机器可验证证书。就摘要这点信息看，我觉得作者抓对了一个迟早会冒出来的真问题：多模态系统吃进去的是脸、声纹、语音、文本混合信号，用户撤回同意时，行业现在常见做法还是删样本、停接口、重训一版，工程上很笨，也很难向审计方证明“这一路信息真的没了”。如果 MBD 的证书能落到参数修改前后、可复验脚本、固定验证集和删除成功判据，那它至少把“遗忘”从政策口号往工程对象推进了一步。 我还是得泼点冷水。摘要只说了 benchmark datasets、strong predictive performance、privacy-utility trade-off，数据集名称、基线、删前删后精度、校准方式、证书验证成本都没披露。少了这些，"certifiable" 这个词分量差很多。机器可验证，验证的到底是什么？是目标模态在线性 probe 上不可恢复，还是对下游分类器贡献下降到阈值以下，还是某种 membership inference 攻击失效？这几种证法强度完全不是一回事。多模态里最麻烦的点就在这里：你删掉语音通道，不等于情绪信息就没了，文本措辞、视频表情、说话节奏的残留相关性都能把同一属性再捞回来。只做参数级局部更新，往往容易把“直接表征”删掉，删不干净跨模态冗余。 这条和过去一年模型遗忘工作有一条明显分界。LLM unlearning 那边更常见的是删样本、删事实、删风格，评估也老是卡在 benchmark 漂亮、攻击还原一般。多模态撤销比文本难，因为模态之间天然有替代路径。我没查到这篇是否比较了 full retraining、SISA 类切片训练、LoRA/adapter 级局部回滚，摘要里都没有。如果没有这些对照，“替代全量重训”就说早了。说真的，我对那个 calibrated Gaussian update 也有点怀疑：这类扰动式更新听起来优雅，但一旦模型骨干很深、模态对齐很强，局部加噪常见结果是删不干净，或者副作用溢出到别的模态。 我自己更关心两个落地条件。第一，删除请求的粒度是不是稳定：删“音频模态”还算清楚，删“音频里的身份线索”就难多了。第二，证书能不能被外部审计复验，而不是只能由模型提供方自己跑。标题给了 certifiable 和 revocable，正文没披露威胁模型、攻击者能力、证书格式，这些恰好决定这篇是偏合规文书，还是偏安全机制。现在看，我会把它当成一个方向正确、证据还远远不够的研究原型，不会当成企业能直接拿去应对 GDPR 式删除请求的方案。

论文把不确定性估计压到 1 条贪心序列上，核心主张很硬：用 greedy decoding 得到的 G-NLL，近似“最可能输出”的负对数似然。条件也很清楚：他们把这件事放进 proper scoring rules 框架里，想证明单序列分数也能当成原则化的不确定性度量。我的判断是，这条如果成立，影响不在“又多一个指标”，而在一批靠多次采样堆出来的置信度管线会显得过重。 我一直觉得，LLM uncertainty 这块有个坏习惯：把 sampling variance 当成 epistemic uncertainty 的替身。Self-consistency、multi-sample entropy、答案分歧率，这些办法工程上好用，因为你只要多采几条就能做排序；问题是它们默认“模型愿意多样化输出”这件事本身就有信息量。这个前提在温度、top-p、长度惩罚一变时，经常会松。G-NLL 这类思路更像把问题拉回模型分布本身，而不是拉回采样器。这个方向我买账。 但摘要里的“SOTA”我不会直接收下。标题给了方法名，正文只给 abstract，没披露 benchmark 名、模型名、生成长度、校准指标，也没给 compute 节省数字。少了这些，SOTA 三个字信息量很低。是 factuality QA、summarization、RAG abstention，还是 code generation？用的是 AUROC、ECE、Brier，还是 selective prediction risk？不同任务里，不确定性分数的排序稳定性差很多。尤其长输出任务里，sequence NLL 常被长度主导；如果没做 length normalization，分高分低未必在衡量“是否不确定”，而是在衡量“是否话多”。 还有一层我有点怀疑：greedy path 近似 most likely sequence，这在局部 token argmax 很强时成立；遇到 beam search 能明显改写全局最优路径的模型，这个近似会变松。我自己没看全文，不确定作者有没有单独分析“贪心路径偏离全局 mode”的误差项。要是没有，这会是方法的主要裂缝。因为你最后信任的不是 NLL 本身，而是 greedy sequence 代表了那个 mode。这个假设在 instruction-tuned 模型上未必总稳，模型经常在前几 token 被模板语言锁死，后面才暴露真实分歧。 文章外给个参照。过去一年，很多团队做 uncertainty 都在往“多样本 + judge”走，比如多次采样后让另一个模型聚合，或者直接看答案分歧。那套做法效果常常不错，但推理成本会线性涨，线上部署很难优雅。我记得不少 RAG 和医疗问答论文，采样条数一上到 5 到 20 条，效果才明显抬起来；真进生产后，这笔账经常算不过来。G-NLL 如果能用 1 次解码拿到接近效果，哪怕不是全任务最强，工程价值也很大。因为它省掉的不只是 tokens，还省掉 aggregation、judge bias、并发排队和 cache 复杂度。 我对这篇的态度是：方向对，论证还得看细节。要让我信，它至少要补三样东西。第一，跟 multi-sequence baseline 的同口径成本对比，最好给 wall-clock 和 token 数。第二，分任务结果，别把短答案分类和长文本生成混在一起报一个平均分。第三，校准图或 selective prediction 曲线，证明它不是只会排个序。没有这些，摘要里的“挑战主流方法必要性”写得很满，证据还没到那个力度。

论文报告 GTPO 在多类数学基准上比 GRPO 高 3.0%，在常识推理和程序合成上高 3.9%。我的判断很直接：这条更像一次 RL credit assignment 修补，不像多轮 agent 能力突然上了一个台阶。 摘要给了三件事。第一，奖励从 trajectory 级改到 turn 级。第二，优势估计不用单条结果，改成归一化折扣回报。第三，用代码生成出的自监督信号，把原本稀疏的二值奖励变密。这个方向我基本认同。多轮工具调用最怕的就是“最后答对才有分”，中间十几步里哪一步查错、哪一步代码跑偏，GRPO 这类组相对优化很难分账。你让模型写代码、执行、再回看结果，本来就是一个带 verifier 的长链路任务；不给中间步骤信用，训练停滞很正常。 我对这条的保留也很明确。3.0% 和 3.9% 这两个数字，摘要里只给了相对提升，没给绝对分数、方差、基座模型大小、采样 budget、工具调用上限、每题允许几轮，也没说提升主要出现在哪类题。少了这些信息，结论只能停在“方法方向合理”。很多 agent RL 论文最后赢的，不是 policy update 本身，而是 reward shaping 更贴任务。你把稀疏奖励改密，通常都会涨；问题是这个涨幅能不能跨模型、跨工具、跨预算复现。正文如果有 ablation，得看 turn-level reward、discounted return、code-based shaping 三者各拿走多少增益。摘要没披露。 这个题我会拿过去一年的脉络来看。DeepSeek-R1 之后，GRPO 一度成了很多开源推理训练的默认起点，原因不是它多优雅，而是实现简单、吞吐还能接受。但大家后来都撞上同一个墙：长轨迹、工具使用、外部执行器一进来，纯 outcome reward 信号太稀。去年不少工作，不管名字叫 process reward、step-level critique，还是 verifier-guided RL，本质都在补这个洞。GTPO 的价值在这里：它把“多轮 agent 需要更细 credit assignment”这件事，写成了一个更像样的优化目标，而不是外挂一个 heuristic 打分器。 我还是要泼一点冷水。摘要说“额外开销可忽略”，这个说法我不太买账，至少现在还不买。只要你引入 turn-level reward 和记回报，训练端就多了序列切分、每轮归因、代码自监督解析这些步骤。对单机实验，开销也许真不大；对大规模 rollout，尤其工具执行本来就慢的设定，瓶颈常常不在 optimizer，而在 environment step 和 verifier latency。没有 wall-clock、token-level cost、GPU hour，或者 tool execution 次数的披露，“negligible overhead”更像论文口径，不是部署口径。 还有一个更硬的问题：GTPO 解决的是训练信号，不是 agent 系统最麻烦的那半边。真实工具集成里，失败常常来自工具选择错、状态表示乱、上下文压缩差、执行器不稳定、沙箱副作用，甚至 API schema 一变就全盘漂。turn-level reward 能让模型更快学会一套训练环境里的操作顺序，但不自动带来 production agent 的稳态收益。这个差别，做过代码 agent 或 browser agent 的人都知道。SWE-bench、WebArena 这类任务上，很多方法离线看着涨，线上一接真实工具就掉。 如果正文后面真有完整实验，我最想看四个点。基座模型是什么，7B 还是 32B。工具环境是 Python execution 这种强 verifier，还是更脏的外部 API。多轮长度分布是多少，GTPO 在长轨迹上有没有比短轨迹更明显的提升。还有，代码自监督奖励会不会把模型推向“写更像可执行代码”的表面策略，而不是真提高推理质量。这个风险不小，程序合成任务里尤其常见。 所以我的结论是：这篇论文值得读，但别把 3% 当成 agent RL 已经找到通解。它说明了一件更朴素的事——你要训练会多轮用工具的模型，就得按回合给信用，别再拿单次终局奖励硬拽整条轨迹。标题给了方向，摘要给了增益；绝对成绩、成本口径、泛化边界，当前文本都没披露。

作者用 340 万概念、3420 万关系的 UMLS 图谱，分别测试了持续预训练和 GraphRAG 两条知识注入路线。我的判断很直接：这篇的价值不在“图谱又回来了”，而在它把一件大家心里早知道、但经常被营销话术抹平的事量化了——知识注入的收益，高度依赖底模原始分布。 从摘要看，BERTUMLS 在 BLURB 上对 BERT 有稳定提升，最大增益出现在知识密集型 QA。BioBERTUMLS 的效果更复杂，作者自己都没把它包装成统一上涨。这点我挺认同。BioBERT 本来就吃过大量 PubMed 文本，再把 UMLS 三元组转成约 1 亿 token 文本继续灌进去，边际收益本来就不该线性外推。很多团队做领域适配时老爱把“更多领域数据”当默认正解，但模型如果已经在相近语料上学过概念共现、术语别名和常见关系，再加一层结构化改写文本，常见结果就是小涨、持平，甚至被任务噪声吞掉。这个现象在通用模型上也出现过：继续预训练对弱底模很有用，对已经高度贴近任务分布的底模，收益通常变窄。我记得前几年 ClinicalBERT、PubMedBERT 那波工作里，很多改进也集中在任务贴合和语料匹配，不是无上限地堆更多医学文本。 GraphRAG 这部分更有现实感。作者说 LLaMA 3-8B 接 Neo4j 图谱后，PubMedQA 提升超 3 个点，BioASQ 提升 5 点，而且不用重训。这个结果对很多做医疗问答的人是有吸引力的，因为医学知识更新快、审计要求高、出处链路要能回看，参数里“记住了”远不如检索时“拿得出来”。我一直觉得 biomedical 这类场景，比通用聊天更适合把参数知识和外部知识拆开管。UMLS 本来就是术语规范化和关系对齐的底座，拿它做图检索，至少比把一堆 PDF 塞进向量库更讲理。 但我对这条结果也有保留。摘要只给了涨幅，没给基线分数、检索命中率、节点扩展深度、上下文长度占用，也没说 GraphRAG 的代价。PubMedQA 和 BioASQ 都是 QA 数据集，天生更吃检索增强；同样方法放到 NER、RE、文档分类这类 BLURB 任务，大概率没法直接复用。还有一个我很想看但正文没披露的点：GraphRAG 的提升里，到底多少来自“图结构多跳”，多少只是“把标准化医学事实取回来”。如果后者占大头，那它更像 high-precision retrieval，不一定证明图本身比普通 RAG 强很多。过去一年 GraphRAG 论文不少，很多最后赢在 cleaner retrieval 和 schema 约束，不是赢在图算法有多神。 我还想补一个文章外的上下文。过去一年医疗 AI 里最稳定的路线，其实不是把大模型训得更像医生，而是把它接到更强的知识层和工作流上。无论是 EHR coding、文献问答，还是药物警戒，大家最后都在处理同一个问题：模型会说，不等于模型有可审计的依据。Anthropic、OpenAI 这类通用模型公司近一年的企业方案，也越来越强调工具调用和外部知识接入，不再执着于“参数里装下一切”。这篇和那条主线是对得上的，只是它把场景缩到了 biomedical，并且拿 UMLS 这种老而硬的资产来做。 说真的，我觉得这篇最诚实的地方反而是 BioBERT 结果“更复杂”这句。很多论文会硬讲成两条路线都有效，最后变成套模板式的正结论。这里作者承认强领域底模的增益在下降，说明结构化知识注入不是通用补药，而是看底模缺什么、任务要什么、更新频率高不高。摘要信息还不够，我没查到持续预训练的具体步数、学习率、是否发生灾难性遗忘，也没看到 GraphRAG 的查询策略和延迟成本。如果正式论文里这些细节站得住，这篇会是个挺实用的参考：别再抽象讨论“知识该放参数还是放外部”，先看你的底模是不是已经把那部分知识学得差不多了。

这篇论文把目标钉得很准：模型在最多 K 次尝试内做对题，它就直接优化 Verification@K。这个设定比单次 pass@1 更贴近现在的推理系统，因为很多模型产品早就在用“失败—反思—再试”这套 loop。作者抓到的问题也成立：如果你把每次 attempt 的成败直接当权重塞进 GRPO，梯度会有偏。只要后一次尝试建立在前一次轨迹和 verifier 反馈上，这些 attempt 就不是独立样本，朴素加权出问题并不奇怪。 我觉得这条有研究价值，但离“可用结论”还差一截。标题和摘要给了方法名 CAL-GRPO，也给了两个性质：无偏、低方差。正文片段没给最关键的四个量：K 取几、verifier 的准确率多少、真实数据规模多少、相对 vanilla GRPO 提升多少。如果这些没展开，读者很难判断这到底是一个普适训练改进，还是只在合成设定里成立的 estimator 技巧。尤其是 verifier 一旦有噪声，attempt-level credit assignment 会立刻变味：你优化的可能不再是“会推理”，而是“更会讨好 verifier”。摘要没触到这点，我自己对这里是有疑虑的。 回到上下文里看，这条路子跟过去一年几篇 work 是同一股风。OpenAI、Anthropic、DeepSeek 这一波推理模型都在把 test-time compute 变成训练目标的一部分，只是公开论文很少把“多次尝试”明确写成 Verification@K。GRPO 这套东西因为 DeepSeek-R1 一度很火，大家都知道它省掉 value model，工程上更顺手；问题也一直很明确：奖励稀疏、credit assignment 粗、方差控制难。CAL-GRPO 如果真能在多次尝试下给出无偏而且稳的梯度，它补的是 GRPO 最疼的一块，不是边角料。 但我还是要泼点冷水。很多这类论文最后赢的是 surrogate metric，不是终端能力。Verification@K 提高了，未必等于平均 token 成本划算，也未必等于长程推理质量更稳。要让我信服，至少得看到三组结果：固定总 token budget 下的收益、不同 verifier 误差下的鲁棒性、K 从 2 到更大时的退化曲线。现在只有标题和摘要，我还没查到这些。我的判断是：这更像一个值得继续跟的训练估计器修正，而不是已经坐实的新一代 reasoning recipe。

这篇论文给了一个很硬的判断：LayerNorm 会在堆叠的因果自注意力解码器里诱导近因偏置，条件是 causal self-attention 持续堆叠并与 LN 共同作用。这个点我觉得是对的，因为它解释了一个老矛盾：很多理论分析单看注意力层，会推出“更看前文”的 early-token bias；工程上大家在 GPT 类解码器里看到的，却常是“更看后文”的 recency bias。把锅只甩给 RoPE、ALiBi 或绝对位置编码，解释力一直不够。现在把问题推到 LN、残差、embedding 分布的交互上，至少方向更像真实系统。

BEFT 这篇论文把结论压得很窄：低数据条件下，微调 attention 的 value 偏置 b_v，效果普遍优于调 query 偏置 b_q 和 key 偏置 b_k。这个方向我觉得是对的，因为它击中了一个老问题：大家嘴上都说 PEFT 讲参数效率，落地时却还是默认 LoRA，原因不是 LoRA 最省，而是它足够稳、工具链够全、跨任务不太挑位置。BEFT 的价值，在于它试图把“到底该改哪里”往更细的机制层推进一步。 我先说判断：这条更像是对 BitFit 思路的一次注意力内部重排，不是新的通用微调范式。BitFit 早就证明过，只改 bias 也能在小样本任务上打出很不错的结果。那篇工作的核心经验是，参数量极小的更新有时不是因为“表达力强”，而是因为它给模型施加的扰动够小，低数据下更不容易过拟合。BEFT 现在把这个经验从“全模型 bias”收缩到 attention 里的 b_q、b_k、b_v 三类，并声称 b_v 更好。这个说法我基本买账，因为 value 分支直接控制写回残差流的内容，query 和 key 更偏向改注意力分配。样本少时，先改“写什么”而不是“看哪里”，确实更像一个保守但有效的更新策略。 有意思的地方，在于他们把实验做到 encoder-only、decoder-only，最高 6.7B，还包含 bias-free 模型。后面这点很关键。很多 bias-only 方法默认预训练模型本身就有可调 bias，换到某些 bias-free 架构时会直接失效。BEFT 如果是在 bias-free 模型上额外引入并只训练对应项，还能拿到稳定增益，那它讨论的就不只是“已有参数怎样更新”，而是“注意力哪一处最值得新增极少量自由度”。这比一般 PEFT 论文更有机制味。但标题和摘要只给了覆盖范围，没给任务名、样本规模、增益幅度、方差、训练 token 数，也没说跟 LoRA、IA3、adapter、BitFit 的直接对比表。我还没法把它当成一条强工程结论。 我对这篇最大的保留，就在这里。论文说 b_v “generally leads to higher downstream performance”，可“higher”到底高多少，摘要没披露。是平均高 0.3 个点，还是 3 个点？是在 16-shot、64-shot 这类极小样本里成立，还是 1k 样本也成立？如果只在极低数据和短训练步数下领先，那它更像一种冷启动技巧，不是通用 PEFT 替代。还有一个常见坑也得防：bias-only 方法参数很少，吞吐往往不差，但最终 wall-clock 不一定比 LoRA 更优，因为主耗时还是前向与反向全图计算，不在可训练参数个数本身。摘要没有给训练预算和硬件口径，这块现在是空的。 再往机制上推一下，我觉得 b_v 占优还有一个解释。LoRA 常加在 W_q、W_k、W_v、W_o 上，但实务里很多团队后来会把 rank 和 target modules 调来调去，本质是在找“改哪条信息通路最划算”。BEFT 等于给了一个更极端的答案：如果数据很少，别急着动整块投影矩阵，先动 value 偏置。因为偏置更新对表示空间的旋转最小，却能持续改变每个 head 输出的基线。这个效应有点像给残差流加了一个任务相关的微校准器。它不华丽，但在 few-shot 上经常有用。我自己没跑过这篇代码，这只是按机制推演。 外部对比也得摆上来。过去两年，PEFT 的主流叙事被 LoRA 和 QLoRA 吃掉，不是因为它们永远最优，而是因为 Hugging Face、bitsandbytes、各家训练框架都把这套路径铺平了。IA3、prefix tuning、prompt tuning 都在各自条件下赢过，但最后没变成默认项，原因通常不是论文结果差，而是迁移性和工程摩擦。BEFT 如果想从“论文里一个好观察”走到“大家愿意在生产里试”，至少要补三件东西：第一，和 LoRA 在同等显存、同等步数下的完整对照；第二，不同 target layers 是否稳定，只改早层、晚层还是全层；第三，instruction tuning、分类、结构化抽取这几类任务是否同向成立。摘要一个都没给。 我还想追问 bias-free 模型这部分。很多新架构刻意拿掉 bias，是为了训练稳定性、参数整洁，或者服务 fused kernel 的实现便利。BEFT 若要求为这些模型重新插入 b_v，再做微调，那部署路径未必像“只改几个参数”这么轻。你得确认推理图是否兼容，量化后是否仍保留精度收益，现有 kernel 会不会被打断。论文标题在讲参数效率，工程端关心的是系统效率，这两者经常不是一回事。 所以我对这条的态度是：研究上挺顺，工程上先别激动。它像是在告诉大家，attention 里的 value 通道在低数据适配时被长期低估了。这是有用信号，尤其适合做 PEFT 搜索空间裁剪：以后你做小样本任务，不妨先把 b_v-only 当成一个很便宜的基线。但要说它已经足够取代 LoRA，标题和摘要远远不够。正文没披露具体 benchmark、数据量、提升幅度和训练预算前，这个结论先停在“值得复现”，还没到“值得迁移进生产栈”。

SpiralFormer 把递归 Transformer 的计算分到多分辨率上跑，这个点我觉得是对的，因为老一代 looped Transformer 最大的问题从来不是“会不会反复想”，而是每轮都在全 token 网格上重算，账根本不划算。论文标题和摘要给出的核心事实很清楚：模型在 160M 到 1.4B 参数范围内，对 looped 与 non-looped baseline 都报告了更好的参数效率和计算效率；机制是共享层按多分辨率递归日程反复执行，不再每一步都维持全序列分辨率。这个判断如果成立，递归架构终于不只是“省参数的花活”，而是在训练和推理上都能重新谈性价比。 我一直觉得，递归 Transformer 过去一年卡住，不是因为“共享权重”这件事天然差，而是因为它经常把最贵的部分保留了下来。Universal Transformer、ACT、后面一批 looped/iterative refinement 变体，想拿“深度可扩展”去换“参数更少”，结果 attention 还是在全长序列上跑，算力开销并没有跟着优雅地下去。Mamba、RetNet、Hyena 这一派能吸引很多工程团队，不只是新奇，而是它们至少直面了长序列成本结构。SpiralFormer 现在补的，就是 recursive line 一直没补上的这一课：如果 latent refinement 真的存在，分辨率就该跟着迭代阶段变化，而不是所有 token 永远同权、同尺度、同成本。 这里有个文章外的对比很关键。去年很多人把 test-time compute 讨论得很热，链式思维、self-refine、deliberation、树搜索，全在加“步数”。但步数一加，成本也线性甚至超线性上去，所以最后只有高价值任务愿意买单。SpiralFormer 的野心更大：它想把“多想几轮”这件事，从纯推理策略改成架构内生能力，再用低分辨率阶段把额外步数的账压下去。这条路如果做成，和 OpenAI/Anthropic 近一年的 inference-time scaling 其实是平行关系：一个在系统层多跑，一个在网络内部重排计算图。两边最后争的是同一件事，单位额外 FLOP 能不能换来更稳定的推理增益。 但我对这篇的证据强度有保留。摘要只说“provide probing evidence”，没说 probing 任务、控制变量、可视化方法，也没说层间分工到底是稳定出现，还是只在作者挑过的样本里成立。摘要也没披露训练 token 数、上下文长度、batch 配置、wall-clock 训练成本、推理延迟曲线。这些不补，所谓 compute efficiency 很容易只是一种口径优势。学术界很爱报 FLOPs 或 theoretical compute，可工程团队最后看的是吞吐、显存占用、kernel 友好度、并行效率。多分辨率递归听上去省算，但一旦引入频繁的 reshape、pooling、cross-scale routing，GPU 上未必好跑。我自己还没看到正文，所以没法判断它是不是只在 paper compute 账本上赢。 还有一个老问题，这篇现在也没给出答案：递归模型的优化稳定性。共享层反复应用，训练时很容易遇到梯度传播、收敛速度、循环步数调度这些老坑。去年一些 looped LM 工作已经说明，递归步数一旦和任务难度绑定，训练和推理之间就会出现 exposure gap：训练看 4 步，推理跑 8 步，收益不一定延续。SpiralFormer 用多分辨率，也许能缓解这个问题，也也许把问题换了个地方藏起来——比如 coarse stage 学会捷径，fine stage 只做修补，最后层级 specialization 看起来很漂亮，但泛化不稳。摘要没披露 out-of-distribution 结果，也没说步数外推是否成立，我不会现在就把它看成“递归架构翻身”。 说真的，这条最让我在意的，不是它比哪些 baseline 高了几点，而是它把“序列分辨率”拉成了一个正式的缩放轴。过去大家说 scaling，大多盯参数、数据、上下文、推理步数。SpiralFormer 提醒了一件很朴素但经常被忽略的事：不是每一次计算都值得对整条序列、用同一精度完成。这个想法在视觉里很老，在语言里一直没有被 Transformer 主流架构吃透。若正文里真有扎实的 ablation，证明 coarse-to-fine recursion 在语言任务上稳定成立，那它对下一代 agent model 会比对聊天模型更有价值，因为 agent 的状态本来就有天然层级，规划、检索、局部修订不该共用同一分辨率账单。 我现在的结论很简单：方向比分数更重要，摘要里的分数我先打折看。标题已经给出 160M 到 1.4B 的规模结论，正文片段没有披露 benchmark 细项、训练预算、延迟数据和实现细节。没有这些，SpiralFormer 还只是一个很像样的研究信号，不是可直接抄进生产栈的答案。

论文在合成与真实回归数据上报告了一个反直觉结果：高 fidelity surrogate 能把神经网络的输出拟合到高 R²，却复现不了网络相对线性模型的性能增益。这个结论我买账，而且它戳中的不是某个解释方法的小缺陷，而是 XAI 里一个用了很多年的错位指标：你拿“像不像原模型”代替了“有没有抓到任务结构”。两者经常不是一回事。 作者给了一个线性度分数 λ(f)，定义是 surrogate 拟合网络输出的 R²。按摘要，这个分数用来诊断回归网络的输入—输出关系能否被线性解码。这个设定很朴素，也正因为朴素，杀伤力反而够。很多 surrogate paper 默认有个隐含前提：只要我足够忠实地逼近黑盒，我就接近了“解释”。这篇论文是在说，不对；你接近的先是网络函数，不是数据生成机制。网络如果学进去了捷径、噪声放大、训练偏差，surrogate 同样会忠实继承。 这个判断和过去一年大家对 mechanistic interpretability、sparse autoencoder、concept probing 的争论是连着的。圈内一直有个老问题：你解释的是 model internals，还是解释了 task semantics。很多 probe 在表征上拿到很高线性可分结果，后来发现只是把已有信息读出来，不等于这个信息就是模型做决定时依赖的因果通道。这里的 fidelity 也是同一类错觉，只不过场景换成了回归 surrogate。指标好看，不代表解释触到了性能来源。 我对这篇论文的兴趣，还在它顺手挑战了一种很常见的产品叙事。很多可解释性工具都会给业务侧一个暗示：我们用一个简单模型近似了你的复杂模型，所以你现在“理解它了”。这话我一直不太买账。摘要已经给出一个硬反例：有些实验里，高 fidelity surrogate 甚至不如直接在原始数据上训练的线性基线。那你得到的就不是“蒸馏出的规律”，而是“蒸馏出的复杂模型表面行为”。两者差得很远。 我也得承认信息缺口。正文目前只有摘要，没披露 λ(f) 的具体阈值、数据集名称、网络架构、surrogate 类型，也没给出高 fidelity 到底是多少 R²，和线性基线差了多少点。没有这些数字，我没法判断这个现象有多普遍，也没法判断它是不是主要发生在低信噪比、强非线性、或者样本量不足的设置里。要是只在少数构造任务成立，这篇论文更像提醒；要是横跨多类真实表格数据都成立，那它会直接动到一批 explanation benchmark 的评价口径。 说真的，我觉得这条对实践者的价值，比很多“又一个解释方法”论文高。因为它逼你先问一句：你到底在解释什么。要解释模型合规性、行为边界、局部决策，一致性指标仍然有用。要解释模型为什么比线性基线强，fidelity 单独拿出来就不够了，至少还得加上对任务信号的保真检验。标题已经把问题说得很准：faithful to what。这个“what”如果不先定清楚，后面的漂亮解释图基本都站不住。

论文把 projector、predictor、pretext task 三样都拿掉了，只保留多网络共识式自蒸馏。这个事实很关键，因为它碰的不是“又一个 SSL 配方”，而是 BYOL、DINO、SimSiam 这条线里最老的争议：表征到底来自架构小技巧，还是来自蒸馏动力学本身。 我对这条的第一反应是：问题问得对，证据还不够。摘要只说“超过随机基线”，没给模型规模、数据集、线性探针还是全量微调、提升几个点、方差多大。没有这些，结论只能停在“存在非零信号”，离“自蒸馏足以学到好表征”还差很远。做过表示学习的人都知道，随机特征本来就不弱；在 CIFAR-10 这类小数据上线性探针抬 1-2 个点，和在 ImageNet-1k、VTAB、ADE20K 上站住，不是一回事。 说真的，这篇最有价值的地方反而是它在拆神话。BYOL 当年最难解释的是，没有负样本为什么不塌缩，后来大家把功劳分给 EMA teacher、predictor asymmetry、batch norm、augmentations。我记得 SimSiam 甚至专门把 stop-gradient 讲成关键组件。这篇如果成立，等于在追问：把这些扶手都拆掉后，多个随机网络之间的共识本身，能不能提供一个弱但稳定的学习信号。这个方向我觉得是对的，也跟近两年大家重新审视 collapse、implicit bias、representation geometry 的路子接上了。 但我有个明确疑虑：所谓 peer-to-peer consensus，听起来很像“用群体平均延缓塌缩”，不等于学到了语义结构。摘要说做了 hyperparameter 分析和 learned content 的简析，可没披露是否检查了 alignment/uniformity、类间可分性、特征谱，或者只是在某个下游头上碰巧优于随机初始化。没有这些诊断，读者很难判断这是不是稳定机制，还是训练噪声被共识放大后的偶然结果。 我还会拿它去对比 VICReg、Barlow Twins 这类显式防塌缩方法。那些方法至少把方差、协方差、冗余压缩写进目标函数里；这篇若不用这些约束也能学到东西，意义就在于它把“防塌缩”从损失设计问题，推回多体优化动力学问题。这个说法我现在只给半票，因为正文没披露关键实验。等 full paper 出来，我最想先看三件事：增益幅度、跨数据集复现、以及网络数从 2 到 N 时效果怎么缩放。没有这三项，这篇更像一个有意思的现象，不是可落地的新范式。

MeSH 在 1.4B 规模把平均下游准确率提高 1.06%，同时少用 33% 非嵌入参数。我的判断很直接：这篇不是在证明“递归 Transformer 终于赢了”，它是在证明递归路线以前老输，问题多半出在状态管理，不只出在模型小。 这点我基本认同。递归模型这些年一直卡在一个尴尬位置：大家都喜欢“算力深度和参数深度解耦”这套账，因为它听起来像 test-time compute 的便宜版本；同样参数，多迭代几步，像是白捡推理能力。问题是，很多递归架构最后都退化成“同一个 block 反复做差不多的事”。如果长期记忆、瞬时中间结果、下一步控制信号，全都塞进同一个 hidden state，信息互相踩踏几乎是必然。MeSH 把显式 memory buffer 和轻量 router 加进去，等于承认一件老问题：单一隐状态这套接口太省参数，也太省表达面。 这个思路其实有历史回声。Universal Transformer、ACT、后来一批 recurrent-depth 论文，都在碰同一个墙：参数共享没错，难的是让每一步别同质化。我还记得 2024 到 2025 年，大家对 test-time scaling 的兴趣又起来了一波，OpenAI、Anthropic、Google 都在强调“多想几步”而不是只堆更大预训练。放到那个语境里看，MeSH 的价值不只是省参数，而是给“多步计算”补了一个状态通道，不然所谓多步，常常只是同一层在原地踏步。 但我对作者这套叙事也有保留。摘要里最硬的结果，是 Pythia 160M-6.9B 全线优于递归基线，以及 1.4B 时超过更大的非递归对手。听上去不错，可 +1.06% 平均准确率到底跨了哪些任务、方差多大、训练 token 和 wall-clock 是否严格对齐，正文摘要都没给。标题给了“matched compute”的方向，RSS 正文没披露具体算力口径。是训练 FLOPs 对齐，还是参数量和步数凑平？是固定上下文长度，还是 memory 带来了额外序列状态成本？这些没说清，结论力度就得打折。 我还有一个更现实的疑虑：显式 memory 往往在论文里很好看，在系统里不一定便宜。你多一个 buffer，多一层 router，前向路径就多了读写和选择。小模型上这点开销不显眼，到了大规模训练和高吞吐 serving，cache locality、KV 访问、并行切分都会变成工程问题。这个抽象很像“把状态从隐层里拿出来”，但拿出来以后，系统账谁来付，摘要没回答。代码开源是好事，至少别人能复现；可如果没有吞吐、延迟、显存曲线，这条线暂时还停在架构分数，不是产品分数。 还有一个我想追问的点：它赢的是“递归基线”，还是“当前主流 dense Transformer 的性价比前沿”？这两件事差很多。过去一年里，行业给参数效率的主要答案并不在递归 Transformer，而在 MoE、状态空间模型、KV 压缩、长上下文稀疏注意力这些方向。Mamba 一类模型当初也吃过“更省更快”的红利，但一到生态和训练稳定性，故事就复杂了。MeSH 现在至少说明，递归阵营不是只剩理论美感；它开始拿出能看的 empirical patch。但要说它已经把主流架构逼到墙角，我不买。 我倒觉得这篇最有价值的部分，是作者把失败机制说得比较具体：iteration 同质化，外加 hidden-state overload。很多论文只给一个更高分数，不解释为什么旧设计会坏。MeSH 如果后续能把 probing 结果和 scaling law 接起来，比如 router 的分工是否随模型变大更明显，memory 容量如何影响收益，哪些任务最吃这套状态拆分，那它会比单纯的 +1.06% 更有后劲。 眼下我给它的定位，是一篇把递归 Transformer 从“概念上划算、结果上吃亏”往前推了一格的论文。结论成立到哪一步，还得看正文里的 compute 对齐、吞吐成本、长程任务拆分。如果这些细节站得住，这条线会重新进入很多人在做的 test-time compute 讨论；如果站不住，它就还是一篇聪明的架构修补，而不是新的主流模板。

UAG 在摘要里声称把多分支多样性提升到 1.9 倍，同时把计算量压到现有最优方法的 1/64。我的第一反应不是“又一个 diversity trick”，而是这篇论文在试图碰一个老问题：生成模型想要更多候选，常见做法还是多采样、多重排、多解码头，最后多样性涨一点，成本先炸掉。 这条有吸引力，先因为它卡的位置对。多分支生成一直有两个难点：一是分支会塌到相近模态，二是改善多样性的方法常常绑定具体架构。扩散这边常见的是在去噪轨迹上做 repulsion 或 trajectory guidance；Transformer 这边则是 diverse beam search、group beam search、对比式解码、重排器。它们都不算新，问题也很一致：要么慢，要么只在某类模型上顺手。UAG 摘要里给的卖点，是用“对已生成分支做相似度惩罚”这一层，把扩散和 Transformer 都吃进去。这个方向我买账，因为它抓的是输出间相互作用，不是模型内部某一层的私有结构。 但我对这组数字有保留。摘要给了 1.9 倍、4.4 倍、1/64 三个结果，正文片段没披露基线是谁，任务是什么，分支数是多少，相似度怎么定义，也没说 diversity metric 用的是 self-BLEU、distinct-n、LPIPS、CLIP-space spread，还是人工偏好。这里差别很大。比如文本生成里，你把 branch 数从 4 提到 16，多样性数字通常就会变好，可用户未必更喜欢；图像生成里，LPIPS 拉开了，语义一致性也常一起掉。没有任务和指标拆解，这 1.9 倍还不能直接当成“更有创意”。 我还想追问它的速度口径。摘要说比 SOTA 快 4.4 倍，FLOPs 只要 1/64。这个组合看着有点激进。一般来说，FLOPs 大降不一定按比例换成 wall-clock 提升，尤其在推理里，内存访问、KV cache、并行调度、采样实现都会吃掉收益。去年不少 inference-opt 论文都有这个问题：理论算力账很好看，上线后只剩 1.2 到 2 倍。我没看到这篇的硬件环境，也没看到 batch size 和 branch 数怎么设，所以先别把 4.4 倍当部署结论。 它最有价值的地方，我觉得反而不是那几个大数字，而是“model-agnostic”这件事如果属实，会很适合做成推理层插件。你可以把它理解成一个比 reranking 更前置、比架构改造更轻的控制器。这个位置很实用。团队不想重训模型，也不想为每个 backbone 单独写多样性策略时，这种方法更容易进生产。过去一年，很多团队在 agent planning、UI generation、广告创意、代码补全候选集上，都遇到同一个问题：给 8 个候选，结果像 8 个近亲。UAG 如果能在这些场景稳定拉开候选距离，而且不明显伤首选质量，价值会比 benchmark 上再抬几点 diversity 分数更实在。 我也有一个更根本的怀疑：相似度惩罚这条路，常常会把“去重”误当“创造性”。这个坑学界踩过很多次。你把候选彼此拉开，得到的是覆盖更广，还是只是风格噪声更散，要看任务。代码生成尤其麻烦。两个程序 AST 差很多，最后可能做的是同一件事；反过来，两段文本表面差异大，事实错误也会一起变多。摘要没讲 quality-diversity trade-off，也没讲 human eval，我暂时不会把它看成通用创意提升方法。 说真的，这篇我会继续看代码和实验表。摘要至少给出一个值得验证的方向：把多分支生成从“多跑几次”改成“让分支彼此避让”。这个思路不新到离谱，但如果它真能同时跨 diffusion 和 Transformer，且额外计算接近可忽略，那就不是小修小补。标题已给出跨架构和效率叙事，正文片段没披露 benchmark 细节、基线设定、相似度定义和质量损失。我现在的判断是：想法靠谱，数字先打问号，落地价值高于论文包装。

作者把几何可行性目标并入扩散式 VLA 策略训练，并在避障操作里报告了性能提升；条件是目前只有摘要，基准名、提升幅度、数据量都未披露。我对这条的判断偏正面，因为它至少在修一个老问题：很多 VLA 把碰撞、关节极限、可达性都丢给模仿学习自己“悟”，训练时 loss 漂亮，落地时却常死在最后 5 厘米。机器人圈过去一年已经反复证明，显式结构先验通常比再堆演示数据更省样本。像 ACT、Diffusion Policy 这一路，在受限接触和长尾几何场景里都吃过这个亏；我没看到这篇和 RT-2、OpenVLA、Pi0 这类基线怎么对比，摘要也没说 feasibility objective 是硬约束、软惩罚，还是单独判别头，所以现在还不能把它当成通用解法。我还有个疑虑：避障操作是个好 probe，却也容易把收益锁在几何清晰的任务里。一旦进到摩擦、形变、时延更重的场景，显式几何监督未必还能撑住。要让我买账，正文至少得给三样东西：碰撞率下降多少、低数据 regime 具体少到什么规模、额外监督在推理时是否增加延迟。没有这些，这更像一篇方向正确的训练技巧论文，不是 VLA 可靠性已经被解决。

Aletheia 用三类物理特征改写了 LAA-X 注意力，并在三套老牌数据集上报出 97.2%、94.9%、90.8% 准确率。我的判断是：这条路子比又堆一层 backbone 更像正解，因为深伪检测这些年最稳定的失败点，本来就不是类内精度，而是生成器一换、压缩一上、对抗扰动一打，模型马上掉线。 论文把光流旋度、高光反射偏度、rPPG 功率谱直接注入 cross-attention gating，还加了一个 resonance consistency loss。这个设计至少有两个地方说得通。第一，三类信号都不是纯语义纹理，跟生成器的局部伪影分布没那么强绑定。第二，它们都能定位时空不连续区域，不只是给一个全局真假分数。作者给出的单骨干消融是跨数据集 AUC 提升 4.2%，这比单纯报总分更有用，说明增益不全靠 ensemble 撑起来。 我想到的外部参照有两个。一个是前几年 Intel FakeCatcher 那套 rPPG 检测，思路也是抓心搏调制反射，只是当时工程演示多，开放复现弱，后来也没变成通用标准。另一个是 2024 到 2025 那波频域、头部姿态、眨眼一致性特征，大多在 FaceForensics++ 这类数据集上很好看，换到新型 diffusion 或高质量 reenactment 就塌得很快。Aletheia 比这些旧方法前进了一步，原因不是“找到了新伪影”，而是把物理约束塞进了注意力计算本身。这个位置比后处理特征拼接更合理。 但我对这篇的叙事还是有几处保留。先说最明显的：FaceForensics++、Celeb-DF v2、DFDC 都太熟了。它们对 2026 年的生成视频并不够毒。Sora 类视频、Veo 系、开源视频扩散模型，加上 ReActor 这类换脸流水线，失真模式已经和 DFDC 年代不一样。论文标题讲的是“generalizable and robust”，正文摘录里给出的跨生成器对比对象却还是 LAA-Net，提升 4.1% 到 7.3%。这当然是正增益，但离“通用”还差一截，因为没有看到对当代视频生成器、不同码率链路、重编码平台分发的系统性拆分。 对抗鲁棒那组数我也不会直接吞。作者报了 ε=0.02 的 PGD-10 下 79.4% 准确率。问题是攻击空间、白盒还是迁移、是否只在 RGB 上做、物理分支有没有一起反传，摘要都没展开。深伪检测里很多“鲁棒”结果，最后只是攻击者没碰最脆的那层预处理。这里正文未披露完整设置，我不会把 79.4% 当成已经站住的防线。 还有一个实现层面的疑问。rPPG、光流、高光统计都吃视频质量。压缩一重、帧率一下来、脸部遮挡一多，物理先验会先坏掉。论文开头点名 heavy compression 是目标场景，但摘要没给不同压缩等级、不同帧率、不同分辨率下的分层结果。要是这部分没有细拆，那 Aletheia 更像“在标准 benchmark 上更稳”，还谈不上平台级可部署。做内容审核的人都知道，线上最脏的数据不是 Celeb-DF v2，而是二次转码、裁切、加字幕、滤镜、屏摄后的混合垃圾流。 开源是这篇最加分的地方。代码、预训练权重、ADC-2026 语料都放出，至少别人能复跑，能测它到底是在学物理，还是在学数据集偏差。我还挺想看两个复现实验。一个是把物理分支拿去测最新视频扩散和 face swap 工具链。一个是只保留单骨干，不用 ensemble，看增益还剩多少。要是单模型还能稳住那 4% 左右跨域提升，这篇就不只是“检测论文又刷榜”，而是给 deepfake detection 这条老赛道找回一点方法论。 所以我的结论不复杂：方向是对的，数字先别庆祝太早。深伪检测已经被 benchmark 幻觉骗过很多次了。Aletheia 至少做了一件靠谱的事——把物理一致性从口号变成了可微模块。它离生产可用还有几步，离“通用鲁棒”也还有证据缺口。

CoLLM 宣称 goodput 最高提升 3 倍，但摘要没给基线、模型规模、时延定义。我的判断是，这篇 paper 的价值先在系统抽象，不在那组性能数字。它把边缘侧训练后阶段的两类活——联邦参数高效微调和在线推理——放进同一资源池，这比单点优化更像真问题。很多 edge LLM 系统一直把两件事拆开做：白天推理，夜里微调；或者干脆双份部署。这样最浪费的不是算力，是参数驻留、热缓存和副本切换时间。 摘要里两套机制也对路。副本内做 unmerged inference，加上 shadow adapter 复用参数，意思是适配器更新不必每次合并回主模型，就能先服务请求。这条路我一直觉得比“先收敛、再发布”更适合边缘场景，因为用户分布和数据漂移都太快。副本间再用双时间尺度协调，一边顾短期延迟，一边顾长期质量，至少目标函数写对了。问题在于，摘要没有披露冲突最激烈的条件：适配器多大、切换多频、请求 burstiness 多强、联邦聚合周期多久。少了这些，3 倍是好看数字，不是可复现结论。 这篇和过去一年不少 serving 论文有个明显分叉。主流工作多半盯 inference path：continuous batching、prefix cache、speculative decoding、KV cache 分层，先把 token 吐得更快。训练侧则是另一拨人做 LoRA、QLoRA、联邦 PEFT、adapter routing。CoLLM 想解决的是中间那层“调度割裂”。这个思路让我想到云上多租户训练+推理共址那批系统，只是这里约束更狠，因为 edge 机器内存小、网络差、节点还不稳定。说真的，这个方向比再发一篇“单独把推理提速 20%”更有信息量。 但我对作者叙事还是有保留。第一，goodput 这个指标很容易藏条件。是满足某个 SLO 的 request throughput，还是把质量收益折进去的复合指标？摘要没说。第二，“diverse LLMs and real-world traces” 这种表述太熟了，论文里如果只放 7B 级模型、轻量 LoRA、温和流量 traces，落地难度会被低估。我还没查到正文，所以不能下死结论，但 edge 端一旦碰到 13B 以上模型、多 adapter 并发、或者频繁个性化更新，显存和带宽账很快变难看。 我比较认的一点，是它默认了后训练不会消失，只会常驻。这个判断和行业现实一致。企业现在做 domain adaptation，很少每次都回炉全量训练，更多是 PEFT、RAG、工具调用、再加局部在线更新。谁能把“边学边答”放进一个控制面，谁就更接近生产系统。可这篇离工程说服力还差几块硬证据：P99 延迟、adapter 数量上限、通信开销、聚合失败时的退化曲线，正文目前都未披露。没有这些，我会把它看成一个值得继续追的系统框架，而不是已经坐实的性能胜者。

Matlas 这篇最关键的，不是它做了语义搜索，而是它先把数学文献拆成了 807 万条“可依赖展开”的陈述。这个动作很对。数学检索一直卡在两个地方：公式稀疏，语义压缩得太狠；定理单独拿出来又常常读不懂，必须连着定义、引理、记号一起看。它用文档级依赖图，再按拓扑顺序递归展开上下文，至少是在正面处理这个老问题，不是在拿 embedding 给 PDF 贴金。 435K 篇论文、1900 本教材、时间覆盖 1826 到 2025，这个料很硬。180 本期刊按 ICM citation-based criterion 选入，口径也比“全网乱爬”干净。我一直觉得，数学搜索和通用 RAG 不是一回事。你把 arXiv 全量丢进向量库，召回的往往是词面相近，不是证明结构相近。去年不少 proof assistant 和 theorem prover 方向的系统，已经在做 premise retrieval，但语料多半局限在 Lean、Isabelle 或 formalized corpus，规模干净，覆盖面却窄。Matlas 走的是反方向：先吃下非形式化文献，再补结构层。这个路线更脏，也更接近真实研究场景。 但我对现在这版说法不太买账。标题和摘要给了规模，正文没披露任何评测：没有 recall@k，没有 human eval，没有“自然语言问题→定理命中率”，连延迟和索引成本都没有。没有这些数字，807 万条只说明 ingestion 做大了，不说明 retrieval 做对了。数学语义搜索最难的地方，恰好不是抽取 statement，而是处理同义改写、记号漂移、领域内默认前提，还有“这其实是某经典结果的变体”这种隐式对应。依赖展开能补上下文，但也会把表示拉长，拉长以后 embedding 是否更稳，正文没说。 我还想补一个文章外的参照。Google 做过 MathSciNet 风格的学术检索增强，OpenAlex、Semantic Scholar 也把 citation graph 用得很熟，但它们大多停在文献级，不碰定理级结构。Lean 社区这两年之所以对 AI 检索更乐观，是因为 formal statements 可比、可执行、可验证；Matlas 现在处理的是自然语言数学，噪声大一个数量级。所以我把它看成“面向数学的 dense retrieval 数据层”，离研究员真会天天用的搜索产品，还有一段路。要让我信服，下一步至少得给三样：基准查询集、和 MathSciNet/zbMATH 的对比、还有跨符号表述的命中案例。现在这版方向对，证据不够。

论文把 RL for reasoning 的毛病说得很直接：常规 RL 会把概率质量挤进少数高奖励轨迹，Pass@1 上去，Pass@k 卡住。这个判断我基本认同，因为过去一年这类现象已经反复出现了。很多 rule-based RL 训练后，模型会更会押一种“标准解法”，采样多次并不会线性涨收益，反而更像在同一条轨迹附近抖动。SPS 的做法是交替跑常规 RL 和 IRL，再把 on-policy rollout 当 demonstration 回灌，目的不是再抬单条轨迹分数，而是把轨迹分布重新撑开。 这条思路有意思，原因在于它没有引入外部教师，也没有先验地规定“多样性长什么样”。它拿模型自己当前 roll 出来的轨迹做 IRL 信号，等于承认一件事：推理 RL 的瓶颈不只在 reward 设计，还在策略更新把分布压得太快。这个角度跟很多公开工作不太一样。GRPO、RLOO、PPO 这一系方法，公开讨论通常盯着 stability、sample efficiency、verifiable reward，较少把“分布坍缩到高奖窄带”当主问题来拆。OpenAI o1/o3 之后，业界更常见的工程补丁是加 test-time compute、加 reranking、加 self-consistency；SPS 则是在训练期动刀。 但我对摘要里的强结论有保留。第一，5 个 benchmark 这个数字不小，摘要却没披露具体模型名、基线算法、Pass@k 提升幅度、k 取值、rollout budget、IRL 额外训练轮数，这些全都决定结果是否站得住。Pass@k 对采样预算极度敏感；同一模型从 k=8 到 k=64，曲线形状都可能完全不同。第二，IRL 在这里到底学到的是“扩展探索”，还是“给已有高奖轨迹做平滑重加权”，摘要看不出来。如果只是后者，那它更像一种分布正则，而不是把探索上限往外推。第三，作者提到 empirical upper bound on Pass@k，这个说法我自己会先打个问号：上界是由任务可验证性、policy entropy、还是奖励稀疏性导出的？摘要没写，不能先按“发现了内在极限”来理解。 我还想到一个外部参照。DeepSeek-R1 那波之后，大家都知道 RL 能把可验证推理题刷得很猛，但也都见过另一个副作用：风格收敛特别快，答案路径越来越像模板。我没核实这篇作者是否直接受那波工作启发，但 SPS 至少是在正面处理这个副作用。要是后续正文能证明它在相同训练 token 和相同采样预算下，把 Pass@k 曲线整体抬高，而不是只靠多花 rollout 换分，这篇就有讨论价值。要是做不到，它大概率只是又一个“多样性叙事很好听，成本账没交代”的 RL 小修补。 所以我现在的判断不复杂：问题意识是对的，方法也不土，证据还远远不够。标题已经给出“分布挤压”这个诊断，正文摘要没有披露最关键的复现条件。没有这些数字，这篇还不能拿来改写训练配方，只能先当一个值得跟进的研究假说。

PiERN 这篇论文把计算专家接入单次推理流，并用 token 级路由交替调度计算与推理。我的判断很直接：这个思路比“模型先想一段，再调工具”更像一条正路，因为复杂科学任务卡住 LLM 的地方，常常不是知识缺失，而是数值精度、状态传递和中间变量一致性。 摘要里最关键的一句，不是“更准”，而是“endogenously integrates computational capabilities into neural networks”。作者想做的不是传统 function calling，也不是外置 agent 链，而是把计算模块变成推理轨迹里的原生部件。这个设计如果真跑通，价值在两点。第一，中间状态不必反复序列化成自然语言，再反序列化给下一个模块。第二，路由粒度下沉到 token，模型可以在同一条 reasoning chain 里来回切计算专家，而不是每次整段切换。这比 ReAct、Toolformer、再到近一年的多代理 orchestrator 路线都更激进。我一直觉得，多代理在很多论文里被吹得太顺了，实际问题很朴素：一旦每轮都要把上下文包装成文本消息，token、延迟、错误传播会一起涨。 但这条我先保留态度。摘要宣称它比主流多代理方案延迟更低、token 更省、GPU 能耗更低，正文片段没有给出任何具体数值，也没给 baseline 名单。这里信息缺口很大。多代理到底是拿 AutoGen 式文本对话做对照，还是拿更轻的 tool executor 做对照，差别非常大。若 baseline 选得偏重，PiERN 赢延迟并不稀奇。还有一个我比较在意的点：router 自身的开销是多少，训练时是否需要离散路由、蒸馏或额外监督，摘要也没说。很多“推理时更省”的架构，最后把成本挪到了训练和系统集成阶段，这不算白赚。 从外部脉络看，这篇东西踩在一个已经很清楚的趋势上：大家都在把“工具使用”往模型内部挪。OpenAI 去年开始把 code interpreter、structured outputs、长链工具调用做得更像单代理编排；Anthropic 也一直在强化模型内生的 tool-use planning。学术界另一条线是把 symbolic 或 numeric module 直接接进网络里，只是大多停在 task-specific routing，没把“语言推理 token 流”和“高精度计算流”揉到一起。PiERN 的新意就在这个接口层。我还没看全文，没法确认它和 mixture-of-experts、neural module networks、program-of-thought 这些旧脉络到底差多远，但从摘要看，作者抓到的问题是真问题。 我对“interpretable”这个词有点怀疑。路由到哪个专家，当然比纯隐藏层 activation 更可读；可一旦 text-to-computation module 本身会生成或映射计算表达式，错误仍会埋在接口里。你能看到它调了哪个专家，不等于你能解释它为何在那个 token 调这个专家。很多论文把“可观察”写成“可解释”，这两个词差得不小。 这条的落点，我觉得不在通用聊天模型，而在科学计算、工程设计、金融建模这类需要反复算中间量的窄域系统。若任务必须跨多步数值迭代，token 级交替确实比外部 agent 往返更自然。可摘要只说了 linear 和 nonlinear tasks，没披露任务规模、误差容忍度、上下文长度、专家数量，也没说专家是不是解析求解器、数值求解器，还是小模型。没有这些信息，暂时只能说方向对，证据还不够硬。

作者在15个模型上做了240次微调，并报告标准训练里只有1次不呈现“越靠近输出层，表示变化越大”。我对这篇的判断很直接：它把大家对 PEFT、LoRA、冻结前层那套工程直觉，往前推了一步，但还没推到能改默认配方的程度。 有用的地方在，它没有停在“后层改得多”这个老观察，而是专门加了逐层控制，每步把 ||ΔW||/||W|| 拉平。这个设计很关键。因为很多人默认说，后层变化大，只是梯度传过去时自然衰减或聚集。现在作者给出的结果是，125M 到 350M 的 BERT、OPT、GPT-2，在这种控制下斜率还在；Pythia、CodeGen 只在 CausalLM 目标下保留。这个结论不华丽，但很硬：深度局部性至少有一部分来自架构和目标函数，不是单纯优化器副产物。 这和过去一年很多微调经验是能接上的。LoRA 社区一直流行把 rank、target modules、learning rate 当主旋钮，层深通常只靠经验设。前阵子也有不少工作在做 layer-wise lr decay、selective unfreezing、last-N-layer tuning。我自己一直觉得，这些方法有效，不见得因为“前层通用、后层任务化”这么简单，更像预训练表征和新目标之间有个深度对齐成本。作者这里提到 steepness 跟初始化时的 objective distance 相关，这点我挺买账。新任务离预训练目标越远，你就越难只靠最后几层打补丁。 但我有两个保留。第一，论文摘要没披露任务集合、数据规模、训练步数和评估收益的对应关系。只知道表示变化的剖面，不知道这种剖面和最终 loss、accuracy、sample efficiency 绑得有多紧。工程上我们要的是“哪几层该训，省多少算力，掉多少点数”，不是只知道哪几层动了。第二，作者覆盖到 6.9B 参数，却在摘要里把核心结论放在 125M 到 1.4B。到了更大规模，效应是不是继续收窄，还是又分化，正文这里没给。这个缺口不小，因为今天多数实用微调已经不在 GPT-2 125M 这个区间。 我还想补一个文章外的对照。去年不少 open-weight 模型的 instruction tuning 结果都在暗示，同样是 decoder-only，架构细节会改变“哪一层值得碰”。Mistral/Llama 系一类顺序块模型，和带并行残差路径或不同规范化位置的家族，迁移时的稳定性确实不一样。我没看到这篇把 Llama、Mistral 一类放进主表，这让我有点遗憾，因为那才是现在最影响实践的对照组。 所以这篇论文的价值，我看不在“发现后层重要”，那句早就不新了。它更像是在给一个更细的搜索空间打地基：按架构、按目标、按规模去决定层选择，而不是把 last-layer-heavy 当成普适规律。要是后续有人把这套 depth profile 直接接到 LoRA target layer 搜索，给出同等效果下 20% 到 40% 的训练量节省，那就从分析论文变成方法论文了。现在这一步还没走到，摘要也没给出这种结果。

论文在 2 个环境里报告 LSE-MTP 降低结构性幻觉；我觉得这篇的价值不在分数，而在它终于把“MTP 为什么有时更像世界模型、有时又会胡编约束”讲成了一个可检验机制。作者的核心说法很清楚：标准 MTP 会用梯度耦合把表征往内部 belief state 收缩，但离散 token 监督又会逼出潜在空间捷径，于是模型学会“像在懂环境”，实际却绕过了环境约束。这个判断我基本认同，因为过去一年很多世界模型论文都卡在同一个问题：rollout 看着顺，闭环一跑就露馅。用 token 监督去逼连续动力学，本来就容易在 latent 里长出非法通道。 我觉得这篇比常见的“world model emergent”稿子强一点的地方，是它不只说模型学到了什么，还试图说清楚为什么会学偏。这个路数跟去年一些 latent-dynamics 工作是同向的，像 JEPA 一派一直在强调别把全部监督都压在离散重建上；强化学习里的 Dreamer、PlaNet 也早就靠连续状态轨迹来稳住规划。我没核对作者这里的数学细节，但“多步监督带来表征收缩，token 目标又制造环境外捷径”这个组合，至少在直觉上是顺的。 我的保留也很直接。正文只给了 synthetic graphs 和 Manhattan Taxi Ride，没给模型规模、参数量、训练算力，也没说结构性幻觉到底怎么量化。没有这些，外推到通用 LLM 世界模型还太早。Manhattan Taxi Ride 这类任务很适合检验拓扑一致性，可它离开放域语言差得很远；很多方法在这种受限环境里都能把 illegal transition 压下去，一到真实网页、代码执行、长程工具调用就未必成立。我还想看两组实验，摘要里都没有：一是和纯 latent prediction、state-space model、RSSM 这类基线正面对比；二是把 ground-truth hidden trajectory 换成 noisy 或 learned trajectory 后，收益还剩多少。要是必须依赖干净真值轨迹，这方法更像研究探针，不像可扩展训练配方。 说真的，这篇给我的信号是：世界模型争论开始从“有没有”转到“坏在哪个训练机制”。这比再报一个 benchmark 小涨幅靠谱。只是现在证据面还窄。标题已经给出理论与实验方向，正文没披露关键数值、误差条和失败案例，我不会把它当成 LLM 已经学会一致世界模型的证据，更愿意把它当成一把诊断刀。

这篇论文提出一种无外部奖励探索法，并用时序对比表征挑选“未来不可预测”的状态。我的第一判断是：思路是对的，证据还远远不够。摘要已经把野心拉得很高，直接说能在 locomotion、manipulation、embodied AI 里学到复杂探索行为；但正文这里只有 abstract，基准名称、分数、样本效率、训练步数、算力成本，全都未披露。没有这些，现阶段只能把它看成一个方向性信号，不能当成探索问题被明显推进的结论。 我对这条有兴趣，主要因为它踩中了强化学习里一个老毛病：很多 intrinsic motivation 方法都在奖励“新奇”，却没真正学到对未来有用的状态表征。RND 奖励预测误差，ICM 奖励动力学误差，episodic-count 一类方法奖励访问频次稀少；这些东西在 Atari、DMControl、甚至一些导航任务里都有效，但很容易被 stochasticity、观测噪声、或者纯粹难预测的无意义状态带偏。这个工作把目标换成 temporal similarity，再去偏向“未来结果不可预测”的状态，至少在表述上，比直接追 novelty 更接近 controllable discovery。这个转向我觉得是合理的。 但我对“更简单 yet effective”这句宣传有保留。去掉 explicit distance learning 和 episodic memory，工程上当然更干净；问题是，你把记忆模块删掉，不等于长期信用分配和覆盖率问题自己消失。很多 quasimetric 或 episodic exploration 方法之所以存在，不是作者爱堆模块，而是稀疏奖励环境里确实需要某种 visited-state bookkeeping。我自己还没看完整论文，不确定他们怎么处理长时程回访、partial observability、以及 representation collapse。摘要没说负样本怎么采，也没说 temporal horizon 多长；这些细节会直接决定方法是在学“任务无关的时序结构”，还是只是在当前轨迹上做了一种更平滑的 novelty shaping。 还有一个上下文不能省。过去两年，机器人和 embodied AI 里大家越来越爱讲“无奖励涌现行为”，但很多结果最后都很依赖环境设计。比如 DIAYN、APT、Proto-RL、以及一批 world-model 驱动的 skill discovery 工作，都展示过没有 extrinsic reward 也能学出看起来挺复杂的行为；可一旦换动力学、换观测模态、或者把训练时的 exploration policy拿去下游任务迁移，效果常常掉得很快。我记得一些方法在 DMControl 上很漂亮，到了真实机械臂就要补大量工程稳定器。这篇如果真想站住，至少要给出跨任务迁移、种子方差、以及和 RND/ICM/APT/quasimetric baselines 的正面对比。标题给了 ambition，摘要没给证据。 说真的，我更在意一个坏消息有没有被藏起来：它是不是把“未来不可预测”误当成“值得探索”。如果环境里有不可控随机源，这类信号很容易奖励代理去盯着噪声，而不是去发现可操作的新技能。历史上 intrinsic reward 方法几乎都踩过这个坑，只是形式不同。作者如果没有明确的 anti-noise 机制，或者没有在 stochastic environments 里做 stress test，这条结论我不会轻信。 所以我的看法很直接：这不是那种看完摘要就能下结论的突破。它比较像探索学习里一次靠谱的表征侧修正，试图把“记住去过哪”换成“理解时间结构”。这个方向有研究价值，我买账；它离“复杂探索行为不再需要外部奖励”这句话，还有一整套 benchmark 表和 ablation 的距离。

论文把 T2I 公平性研究分成 2 类框架，并提出 target-based testing。这个切法我基本买账，因为这块过去两年最大的问题，确实不是“偏见很多”这句废话，而是大家拿着不同目标、不同人群切片、不同阈值在互相说服，最后谁也复现不了谁。 摘要已经给出一个关键信号：作者在区分 target fairness 和 threshold fairness。前者更像规范目标，比如职业、肤色、性别该怎样分布才算合意；后者要求你把规则写成可以执行的判定条件。这个差别很硬。做审计的人都知道，很多 T2I 论文停在描述层：某模型把“CEO”生成为男性的比例更高，某提示词更容易触发刻板印象。问题是，比例偏多少算失败，按美国人口、全球人口、职业真实分布，还是按产品团队的人为目标来判，常常没写。没这一步，fairness audit 很容易沦为图表堆砌。 我一直觉得，文生图公平性比 LLM 文本偏见更难落地，原因不是价值分歧更大，而是输出空间太大。语言里你还能盯 token、句式、toxicity score。图像里同一提示会在构图、肤色、服饰、年龄、职业道具上同时漂移，扩散模型的随机种子还会放大这种不稳定。我没在摘要里看到它是否覆盖了 seed sensitivity、prompt paraphrase robustness、不同采样器之间的偏差漂移；这些如果没纳入，操作化还是会停在纸面上。 外部参照其实不少。2023 到 2025 年间，文生图偏见论文已经把常见套路跑得很熟：职业提示、家庭角色提示、国籍与犯罪关联提示，然后算 demographic parity 或 representation gap。Adobe Firefly、OpenAI DALL·E 3、Stable Diffusion 系列也都被拿来做过不同形式的审计。我记得有些工作已经开始用 counterfactual prompting 和 occupation-balanced prompts 去压偏差，但副作用很明显：表面分布变均衡，语义贴合度和审美质量会掉，甚至把“医生=女性”的纠偏做成新的硬编码。这个坑摘要提到了 mitigation from prompt engineering to diffusion manipulation，但没说是否系统比较过代价函数。标题给了“系统综述”，正文片段没披露纳入论文数量、筛选标准、基准集合、统一实验结果，所以现在还不能把它当成一份能直接指导部署的 playbook。 我对“operationalizing fairness”这个标题也有一点保留。公平一旦进入可执行规则，就会马上撞上产品边界：你是在做通用模型、企业 API、还是面向儿童的创作工具？不同场景的 target 完全不同。把规范目标写成阈值，不会消灭价值判断，只是把价值判断前置到 policy design。这个动作我赞成，但别把它包装成技术上已经解决。很多公司过去一年就在这么干：先用 safety layer 调整输出分布，再把选择说成“模型更公平了”。说实话，我对这种叙事有点警觉，因为阈值是谁定的、谁来申诉、跨文化怎么迁移，往往都没写。 所以这篇综述的价值，我看不在于它又整理了一遍 bias taxonomy，而在于它逼这个子领域承认一件事：没有预先声明的目标人群、比较基线和失败条件，公平评测就只是展示性研究。要是后续完整版能把 benchmark、审计协议、阈值设定流程写实，我会很愿意推荐；现在只有摘要，我还不会给它过高权重。

作者把分布切换形式化为上下文内变点检测，并证明 Transformer 在变点信息从完全未知到已知时刻的条件下都存在可行解。这个动作很重要，因为它碰的不是“ICL 会不会拟合线性回归”那条老线，而是更接近部署现场的问题：历史样本失效后，模型怎么在 prompt 里自己完成忘记、重加权和切换。 我对这篇的基本判断是：理论方向是对的，实验说服力目前还不够。抽象里给了一个很强的 claim——训练出的 Transformer 在合成线性回归和线性动力系统里能匹配 optimal baselines，还说把变点知识编码进去后，预训练基础模型在传染病预测和 FOMC 公告附近波动预测上无需重训也能提升表现。问题是，正文页抓取里只有摘要，我还没看到具体误差、置信区间、窗口长度、基线名称，也没看到“optimal”按什么信息集定义。少了这些，这篇暂时更像一个研究程序的起点，不是可以直接迁移到通用时序 foundation model 的结论。 这条线放到过去一年的语境里，其实很顺。时序和 tabular 圈一直在拿 ICL 解释“为什么大模型能在小样本任务里临时适配”，但大多数论文默认分布平稳，最多讨论 noise、context length、任务族先验。现实系统根本不是这样：金融、供给链、流量、控制，全都在 regime switch。去年到今年，很多时序 foundation model 的短板都不是平均误差，而是切换点附近崩得特别厉害。我记得 Chronos、Moirai 这一类工作更强调跨数据集迁移和 zero-shot forecasting，不是专门处理 changepoint；如果我这个记忆没偏，这篇至少把一个长期被绕开的洞补上了。 我还有个保留意见。论文说模型复杂度取决于对变点位置的信息量，这在理论上很干净，在工程上却有点“先知道一部分答案”。真实业务里，变点知识 rarely 以精确时刻给出，更多是模糊事件标签、外生公告、或者根本没人标。FOMC 这个例子就很典型：公告时刻是已知的，但市场把波动提前计价，也会延后消化。你把“已知 changepoint”喂给模型，收益到底来自 regime reasoning，还是来自人工注入了高价值事件特征？这两件事差很多，摘要里还分不出来。 所以我会把这篇看成一个有价值的桥梁：它让“ICL 适应分布切换”终于能被理论讨论，也给了实践侧一个明确方向——别只堆更长上下文，要研究怎么显式标注、检索、压低旧证据权重。可在实验细节出来前，我不觉得它已经证明 Transformer 天生擅长 regime change；它证明的是，在一组受控设定里，这件事可以被构造、被学到。两者之间，还有一段不短的路。

mlr3torch 提交了 1 篇 arXiv 论文，核心动作是把 mlr3 与 torch 统一进 1 套 R 工作流。我的判断先摆前面：这条有用，但别抬太高。它解决的是 R 端深度学习工程摩擦，不是模型能力前沿，也不是谁要靠 R 反攻 Python。 两家来源的表述几乎完全一致。一个是 arXiv 条目，一个是 Hugging Face 的论文镜像页。这里看不出独立采访，也看不出额外核实。信息中心就是论文摘要本身。所以这条事件的“多源”信号偏弱，代表分发面变广，不代表结论被多方验证。 论文给出的卖点有 4 个。第一，支持表格数据和通用张量，分类与回归都能走。第二，torch 模型能转成 mlr3 learner，接进现有 resampling、benchmarking、preprocessing 流程。第三，网络能用 graph 定义，而且 graph 语言沿用 mlr3pipelines。第四，作者拿 3 个 use case 展示，分别是超参搜索、微调、多模态结构定义。这个产品思路我基本买账，因为 R 社区最缺的从来不是“能不能调 torch”，而是能不能把预处理、训练、评估、调参放进同一套可复用接口里。 我比较在意 graph 这层。摘要说整个建模流程都能放进单一 graph，连数据增强也能并进去。对做实验管理的人，这比“又多一个 R 深度学习包”更有价值。mlr3 本来就在可组合 pipeline、AutoML、基准评测这块有一套比较干净的抽象。现在把 torch 纳进来，至少在接口层把传统 ML 和 DL 的实验习惯拉平了。你如果在团队里还维护大量 tabular 任务，又有少量图像或多模态实验，这种统一接口确实省事。 但我对叙事也有保留。摘要提到 runtime benchmarks，却没有给出任何数字。快多少、慢多少、和原生 torch for R 比差在哪，正文片段都没披露。没有数字，我不会替它下“工程效率显著提升”这种结论。还有一点，预定义架构到底覆盖到什么粒度，CNN 级别、MLP 级别，还是已经包含更复杂的模块，摘要也没说。标题给了框架定位，正文片段没给性能边界。 把它放到过去一年的工具链脉络里看，会更清楚。Python 这边早就默认 PyTorch Lightning、skorch、fastai、Hugging Face Trainer，或者干脆自己拼 Hydra 加 wandb。R 这边一直有 torch，也一直能做深度学习，但工程层的统一体验没形成主流标准。mlr3torch 的价值，就是给 R 用户补上这块“最后一公里”。这类项目通常不会在社媒上炸开，但在统计学、应用研究、企业建模组里寿命反而更长，因为他们手上已经有大量 mlr3 资产，不想为了一个 DL 子任务整套切去 Python。 说真的，我还想看两类信息。一个是 benchmark 的原始设置：数据集、硬件、batch size、是否启用 GPU、和哪些基线对比。另一个是转换成本：已有 torch module 接成 mlr3 learner 需要多少样板代码，动态图和复杂训练 loop 会不会被接口抽象卡住。框架类论文最容易把 happy path 写得很顺，边角场景才见功夫。 所以这条事件我给的结论很简单：它对 R 生态是实用增量，对深度学习主战场不是方向性新闻。两家来源都围着同一份摘要转，现阶段能确认的是接口整合完成了，不能确认的是性能、采用率、维护强度。你如果本来就在 mlr3 里做实验，这包值得立刻装起来试；你如果指望它改变 DL 工具格局，那就想多了。

论文提出三分支网络，并声称在六个基准做到 SOTA；但摘要没给数据集名、指标值、跨域设置，我不会先把它当成 deepfake 检测的新锚点。 我对这条的初步判断是：方向没问题，叙事也比很多“再加一个频谱分支”的论文更像样。它至少抓住了两个老问题。第一，频域线索很容易学成数据集指纹。JPEG 压缩、上采样纹理、插值噪声，在一个 benchmark 上很好使，换生成器或换平台就掉。第二，多分支模型经常看的是同一块伪造区域，只是换了特征名字，最后参数更多，信息却没更丰富。作者用原图加不同频率重建图，再加基于互信息的解耦和融合损失，目标就是把“重复盯同一瑕疵”这件事压下去。这个思路我买账一半，因为它确实比单一 FFT 或 DCT cue 更接近泛化问题本身。 但我对 deepfake 检测论文的“六个数据集 SOTA”一直比较警觉。这个领域过去两年最常见的情况，就是同分布测试很好看，跨数据集一塌糊涂。像 FaceForensics++、Celeb-DF、DFDC、DeeperForensics 这些常用集，压缩率、脸部裁剪流程、视频转图策略都不一样，模型很容易记住采样链路，不是真的学会伪造机理。摘要只说 six large-scale benchmarks，没有列名字，也没说 AUC、EER、ACC 还是 frame-level / video-level 指标。连最基本的评估口径都没公开，SOTA 这两个字就只能先打折。 我还想追问一个更硬的问题：这个方法到底在防哪一类过拟合？如果它主要靠多频重建，把低频和高频的线索拆开学，那它对 2025 年后那批扩散式视频脸替换、强后处理、再压缩上传的样本，提升幅度有多大？很多早期频域方法一碰到重编码和平台再处理，优势会迅速收缩。我记得前一波比较扎实的工作，都会专门做 cross-manipulation 或 cross-dataset 测试，有些还会加未知生成器设置。这里摘要没写，我自己也没查到论文正文的表格，所以暂时不能判断它是“泛化提升”，还是“同类 benchmark 上多拿几点”。 从更大的脉络看，这篇论文踩在一个已经很明确的转向上：deepfake detection 不再迷信单一伪影。前几年不少方法押频谱尖峰、色彩失真、眨眼异常，后来生成模型把这些瑕疵补掉，检测器就一起失效。过去一年更稳的路线，基本都在做多视角证据融合：空间纹理、频率残差、生理一致性、时序稳定性、身份约束，谁也不敢说单路特征够了。这个三分支方案放在这里看，是一次合理迭代，不是范式突变。 我还有一点怀疑，甚至比 benchmark 更重要：互信息解耦在论文里通常很好看，落到训练上不一定稳定。很多 MI 类损失对估计器选择、负样本构造、batch size 都很敏感。摘要说“mathematically derive”，这在写法上很强，但推导成立不等于优化就顺。要是代码里为了训稳加了很多 trick，或者收益主要来自分支增多而不是解耦损失，那论文的核心卖点就会打折。这个得看 ablation，摘要完全没给。 所以这条我会记下，但不会高估。它提供的是一个更像样的泛化修补方案，不是 deepfake 检测已经被解决的信号。要让我认真提高评级，至少还得看到三样东西：六个数据集到底是谁；跨数据集和未知生成器结果是多少；去掉互信息解耦后性能掉多少。现在只有标题和摘要，离“可复现地更强”还差这三步。

RoTRAG 报告两套数据集上 F1 平均相对提升约 40%，还加了一个二分类路由器决定是否重检索。我的判断是，这条路子方向对，而且比“再训大一点的安全分类器”更像正经工程；问题也很直接，摘要只给相对提升，没给关键绝对分数、误报漏报拆分、检索命中率和时延成本，强度现在还不够。 我一直觉得，多轮伤害检测最难的点，不是识别脏词，而是给出稳定口径。单轮分类器很容易在上下文一拉长后失真：同一句话，调侃、劝阻、威胁、复述，标签都能变。RoTRAG 把外部 Rules of Thumb 拉进来，当成每轮判断的显式依据，这个设计至少解决了两个老问题。第一，判定理由终于能落到可读文本，而不是“模型感觉像有害”。第二，跨轮复用规则，比每轮都让模型从参数里临时想伦理常识要稳。摘要里说它还能降低冗余计算，这也合理，因为多轮对话里伤害语境常常连续，不必每轮都全量检索。 这套东西让我想到前两年的检索增强安全分类和 constitutional prompting。Anthropic 当时把原则写进推理链，核心价值就是让拒答和判断更一致；RoTRAG 走的是相近方向，只是把“原则”从静态提示词换成外部可检索语料。这个变化不小。提示词里的原则是固定的，检索到的规则可以按语境切换，所以它更适合多轮对话。问题也跟着来了：规则库是谁写的，覆盖哪些文化语境，冲突规则怎么解，摘要都没披露。你只要做过真实内容审核，就知道规则文本一旦偏美式平台口径，跨地区误伤会很快冒出来。 我对那个“40% 相对 F1”有点警觉。相对增幅好看，绝对值未必高。举个简单例子，F1 从 0.30 到 0.42，也是 40% 相对提升；论文摘要没说基线起点，也没说最强基线是不是同规模 LLM、有没有长上下文能力、有没有做 CoT 或 self-consistency。严重度分布误差下降 8.4% 也是一样，听起来不错，但如果原始分布误差就很小，业务意义未必大。标题已经给出“conversation harm detection”，正文摘要没披露 deployment threshold、calibration 曲线、类别不平衡处理，这些都直接决定它能不能进审核流水线。 路由器这部分我反而觉得挺实用。二分类先判“要不要重新检索”，这个结构很像把 RAG 从“每次都查”改成“按需查”。如果路由器足够准，吞吐会比全程检索好很多。我自己没看到文中具体延迟、token 开销、检索召回率，所以还不能判断它是论文里的省算力，还是线上可落地的省成本。两者差很多。线上系统常见的问题是，路由器一旦漏判，就会把后面整轮伤害判断带偏，而且这种错很难排查。 我还想追问一个更硬的问题：RoTRAG 检测的是“有害内容”，还是“违反某套规范的内容”。这两个任务在论文里经常被混写，在产品里却不是一回事。前者偏风险识别，后者偏治理口径。你把 Rule of Thumb 放进系统后，模型会更一致，也会更“制度化”。这对审核团队是优点，对开放场景未必总是优点。尤其是心理健康、自伤求助、边缘群体互助这些语境，规则写得太短，模型很容易把支持性表达压成高风险。 所以我对这篇的结论是：思路靠谱，实验信号不错，但证据还停在“研究可读性很强”的阶段。要让我真买账，我需要看到四个东西：绝对 F1 和 calibration；规则库来源与覆盖；路由器带来的真实延迟节省；失败案例里，错在检索、错在推理，还是错在规则本身。没有这些，它更像一个方向正确的 research prototype，不是现成的安全基础设施。

作者把多种离线RL微调放进同一概率目标。这个判断比二元AI反馈更重要。它等于在说：文生视频里那堆看上去不同的对齐算法，很多时候只是同一件事的不同参数化，输赢先看奖励信号，再看数据分布。 我比较买账这条线。过去一年，图像和视频生成的偏好优化一直有个老问题：算法名越来越多，稳定提升却不跟着来。DPO、IPO、KTO 这套在语言模型里还能靠偏好对把目标压实，到了视频端，奖励稀疏、时序长、物理约束弱，算法差异经常被奖励噪声吃掉。这个摘要至少把问题点得很直。它说“没有算法上的统治解”，我觉得这话不夸张。 这篇的做法是让视觉语言模型给动态交互打二元反馈，重点盯多物体交互和下落场景。这个选择也算务实。现在很多公开视频指标，像对齐分、审美分、通用动态分，能抓住“像不像视频”，抓不住“物体之间有没有互相作用”。一个球落下时有没有穿模，一个物体碰撞后有没有合理反应，这类错误人一眼能看出，通用质量分常常给不出足够陡的惩罚。拿VLM做感知裁判，方向没问题。 但我对“VLM能像人一样注意视频场景”这句有保留。标题和摘要都没披露具体模型、提示词、采样设置，也没给分数。正文摘要未披露人评提升幅度，未披露AI评测和质量指标的绝对值，连对比基线是什么也不完整。没有这些信息，现在还不能判断提升来自奖励更准，还是来自训练集筛选、提示工程、甚至评测模型和奖励模型同源带来的偏置。这个坑在生成式评测里太常见了。奖励模型训练出来的东西，经常先学会讨好裁判，再学会物理。 还有一层我会继续怀疑：二元反馈够不够。动态交互是连续误差，不是单步问答。落地速度差10%，碰撞后反弹角度错一点，二元标签会把大量“接近正确”和“完全离谱”压成同一类。过去一年不少视频工作开始往dense reward、分段时序打分、甚至显式物理约束走，不是没有原因。我自己没核过这篇全文实验，但如果它最后还是靠binary signal拿到最大提升，那更像是在证明现有视频奖励太差，而不是binary feedback天生强。 说真的，这条的价值不只是一篇文生视频改进论文。我看它更像一个提醒：视频生成正在走语言模型 2023 年那条老路，大家先迷恋优化器名字，后面才承认数据和奖励才是主变量。要是全文后面给不出扎实的ablation，比如同一数据下换奖励、同一奖励下换算法、再拆复杂交互与普通运动场景，那这篇就还是“方向对，证据薄”。现在能确认的只有标题给出的主张，关键分数和复现条件还没看到。

论文先做了一件具体的事：作者定义了“阅读识别”任务，并发布100小时阅读/非阅读视频数据。我的判断是，这条的价值主要在数据采集范式，不在模型。正文只说用了第一视角 RGB、眼动、头姿 3 种模态，加了可单模态或多模态联合的 Transformer；准确率、F1、跨场景泛化这些最该给的数，摘要里都没披露，所以现在还不能把它当成一个已经站稳的 benchmark。 我对“阅读识别”这个任务本身也有点疑问。阅读不是单一动作，它至少混着停留、扫视、回看、略读、读屏、读纸、读路牌、读菜单。100 小时听着不少，但放到智能眼镜场景里其实不算大：一天常开 8 小时，十几个人几天就能录完。要让模型在真实世界里有用，关键不是把“眼睛盯住文字”抓出来，而是把阅读和浏览、找东西、看 UI、盯广告牌这些近邻行为分开。摘要只说场景“diverse and realistic”，没说参与者数量、标注协议、类别分布、负样本构成，也没说是否跨设备、跨环境光、跨语言。没有这些，100 小时这个数字的信息量有限。 这条和过去一年那批第一视角感知工作是连着的。Meta、Google 那边一直在推 always-on glasses 的多模态理解，常见输入也是视频加 gaze，再拼语音或 IMU。区别在于，以前很多 reading study 都在受控实验里跑，屏幕距离、文本版式、任务设计都比较干净；这篇想把任务搬到野外，这个方向我认。但我不太买“加一个 Transformer 就够了”的隐含叙事。眼动和头姿在实验室里很好用，到了街上会被走路、转头、遮挡、低照度、校准漂移一起污染。尤其 gaze，消费级眼镜的长期漂移一直是硬问题，我没在摘要里看到任何稳健性处理。 还有一个实际问题：如果这任务面向 always-on contextual AI，它最后会碰到隐私和能耗。持续读取第一视角视频、眼动、头姿，再判断你是不是在读，这不是普通 action recognition。系统要么在端上跑轻模型，要么把大量传感器数据上传。摘要没给延迟、算力、采样频率，也没给任何 on-device 设定。我自己会先把它看成一个研究数据集，而不是马上能落到智能眼镜产品里的能力。 所以这篇现在给我的信号很简单：研究社区开始把“阅读”从实验室认知任务，往可部署的人机上下文识别推。但分水岭不在新任务命名，也不在多模态 Transformer，而在三件没披露的事：标签怎么定、负样本怎么挑、跨人跨场景掉点多少。没有这些数字，标题成立，产品叙事还站不住。

论文把 1 条网页聚合链路接到 3 类组件：Goose3 抓静态页，Selenium 抓动态页，LLM 填预设 JSON。我的判断很直接：这更像把过去两年行业里常见的 scraping + extraction + validation 重新装进一篇论文，价值在工程收口，不在新算法。 摘要里最关键的是那套两级校验。作者让模型在不同 temperature 下多次生成，再做 embedding 比对，再叠规则一致性检查。这个思路不算新。我记得 2024 年起很多文档抽取和 agent workflow 都在用 self-consistency、majority vote、schema validation、regex guard 这套组合，只是这里把它明确用于网页聚合。问题也很直接：embedding 接近，不等于字段为真。两个错误答案只要措辞相近，一样会互相“验证”。如果没有人工标注集，或至少字段级 precision / recall，这个抗幻觉说法我不太买账。 我还卡在一个更实际的点：摘要声称“对页面改版更稳”，正文片段没披露基线。页面改版的鲁棒性，通常要拿 XPath / CSS selector pipeline、模板抽取器，或者早期的 wrapper induction 方法做对比。不然“更稳”只是主观描述。近一年不少团队已经从 DOM 定位转向 LLM + rendered page + vision 的混合方案，尤其是电商和表单场景，因为动态站点、反爬和 A/B 实验会把纯规则抽取打碎。放在这个背景下，这篇文章如果只比较传统解析器，结论会显得偏保守；如果连 Playwright、browser-use 一类更现代的 browser stack 都没碰，那它离生产前线还有距离。这个我没在摘要里看到。 还有成本问题。Selenium + WebDriver 能抓动态页，但吞吐、维护、反爬对抗都不便宜。再叠多 temperature 生成和 embedding 比对，单页成本只会更高。做新闻聚合、监控、近实时日志分析，瓶颈常常不是“能不能抽到”，而是每千页多少钱、每页多少秒、页面失败率多少。标题已给出 near real-time，正文未披露 QPS、GPU/CPU 配置、token 用量，也没说 MongoDB 在多源写入下的索引设计。没有这些数字，我没法判断它是研究原型，还是能跑到生产。 说真的，这条对从业者的启发不是“LLM 已经解决网页抽取”，而是另一个老结论：只靠 prompt 不够，schema、校验、重试、存储层同样重要。要是作者后续补出字段级指标、对照基线、单页成本，这篇会更站得住。现在这版我会把它当成一份工程做法清单，不会把它当作网页信息抽取的分水岭。

PiCa把梯度投影到预训练权重主列空间，并宣称在相同或更小参数预算下超过PEFT基线。这个方向我觉得是对的，因为它抓住了PEFT这两年一个反复出现的经验事实：随机低秩更新并不稀缺，贴着预训练权重的几何结构更新，常常更稳。 LoRA当年能跑开，靠的是把可训练参数压到 rank×2 个矩阵上，工程上便宜，效果也够用；后面一批工作开始追问，低秩该放在哪、方向该怎么选。SVFT 用奇异向量引导就是这条线，PiCa 的新意在于，它不再只说“经验上有效”，而是给了 column space projection 的理论归因。对做微调的人，这个价值不小。很多 PEFT 方法的麻烦，不是多几个 adapter 参数，而是你不知道它为什么在 A 任务有效、在 B 任务塌掉。只要理论条件写得够清楚，后面就能推到层选择、rank 分配、甚至和量化一起用时的误差边界。 但我对这篇摘要里的“consistently outperforms”有保留。正文片段没有数据集、没有提升幅度、没有训练吞吐、没有额外预处理成本，也没说主列空间是离线算一次，还是每层都要做分解缓存。这个差别非常大。SVD 系方法最大的问题从来不是想法不优雅，而是你把几何先验塞进训练前，常常把省下的可训练参数又花回到预处理和实现复杂度上。要是需要对很多层做高质量分解，或者每个 checkpoint/每种精度都重算，那它对生产环境的吸引力会掉很多。摘要只说“更小参数预算”，没说 wall-clock 和显存，这里不能自动脑补成更便宜。 我自己还会拿它和 DoRA、AdaLoRA 这类方法一起看。DoRA 当时的卖点，是把方向和幅值拆开，改进 LoRA 的表达能力；AdaLoRA 盯的是预算在层间怎么分。PiCa 这条线更像是在问：更新子空间该不该由预训练权重直接定义。这个判断在语言模型上通常更容易成立，因为预训练权重已经吸收了很强的 token 统计结构；放到视觉模型，尤其是跨任务差异大的场景，我没那么笃定。摘要说覆盖 NLP 和 vision，但没披露是分类、检测、分割还是 VLM 适配。任务一换，结论硬度差很多。 还有一个我想看但摘要没给的点：weight-sharing strategy 到底共享了什么。共享投影基、共享 adapter、还是跨层共享参数块？这三种方案的含义完全不同。跨层共享能把参数再压下去，但也最容易伤表达力；共享投影基则更像把先验写死，适合小数据，不一定适合长尾 domain shift。 所以这条我会先记成“理论上更像样的几何派 PEFT”。要让我真信它比 LoRA 派生方法高一个层级，至少得看到三样东西：一是和 LoRA、AdaLoRA、DoRA、SVFT 在同一预算下的绝对增益；二是分解与训练的总开销；三是在更大模型上的稳定性。标题已经给出方向，正文片段没给这些关键量化，我还不准备把它当成下一个默认配方。

论文提出 MHGPO 来端到端训练多智能体搜索系统，并用 3 种组轨迹采样策略替代 MAPPO 常见的大 critic 设计；问题是摘要没有披露基准、模型规模、token 预算和具体提升，所以现在最多只能确认方法方向，不能确认结果强度。 我对这条的第一判断是：作者抓对了一个真问题。今天不少 agent 系统的瓶颈，不在单个 LLM 会不会答题，而在多步协作一拉长，credit assignment 很快就碎掉。谁检索错了，谁规划慢了，谁把上下文污染了，最后都只体现在系统成败上。你还按单 agent 局部 reward 去训，常常会把整个系统训歪。所以他们把优化目标从 agent 局部表现推到全局系统成功，这个方向我认。同样的味道，过去一年里不少 agent RL 工作也在往这边靠：不是继续堆 prompt，不是给每个角色各做一套 SFT，而是直接拿最终任务完成度反推协作策略。 但我对摘要里的“稳定、低内存、效率更高”会先打问号。MARL 论文拿 MAPPO 当靶子很常见，因为 MAPPO 的 critic 一旦碰上长上下文、工具调用、异步 agent，确实又贵又难训。问题在于，去掉大 critic 不等于训练就自然稳定。你只是把显式 value estimation 换成了组间相对优势估计，方差会不会更大，得看 rollout 设计、分组方式、baseline 校准和 reward 稀疏程度。摘要说有 3 种采样策略做权衡，这点是对的，但没给任何条件。我还没查到他们是不是像 GRPO 那样用同题多采样去压方差；如果是，那训练 token 成本不一定低，只是显存账面更好看。 这里有个文章外的参照很关键。过去一段时间，单模型 RL 的热词一直是 GRPO、RLOO、DPO 之后的各种 critic-free 或 weak-critic 路线，核心诉求都是别再为 value model 付那么重的工程成本。把这套思路搬到 multi-agent，很自然，也很及时。因为 agent system 一旦接搜索工具，状态空间比聊天模型大得多，critic 更容易变成噪声源。我印象里，去年到今年不少 agent 训练工作最后都退回“冻结底模，只调路由和工具选择”，原因不是他们不想端到端，而是端到端太难稳。MHGPO 的价值，如果成立，就在这里：它想证明多 agent 端到端 RL 不是做不到，只是以前那套 MAPPO 味太重。 我自己的疑虑有两层。第一层是泛化。摘要写的是 multi-agent search systems，不是一般意义上的 open-ended agents。搜索型任务天然更容易拿到外部可验证信号，比如是否搜到证据、是否命中答案、是否完成检索链路。这个设定对 system-level reward 很友好。你把方法换到代码代理、浏览器代理、长时办公流，reward 会立刻更稀。那时相对优势估计还能不能稳，摘要没说。第二层是“implicit inter-agent dependencies”这个表述。我对这种说法一向谨慎。很多论文说模型学到了隐式协作，最后只是角色分工在训练集上固化，换个任务拓扑就掉。没有跨任务迁移、ablation、失败案例，这句话我不会直接信。 还有个现实问题，做 agent 的人都会碰到：训练法再漂亮，收益常常被 inference cost 吃掉。多 agent 搜索系统最贵的地方，经常不是优化阶段，而是部署时的并行调用、检索延迟、上下文回填。摘要只说 computational efficiency 更好，但没拆训练效率还是推理效率。我怀疑大概率主要是训练侧，因为拿掉 critic 最直接省的是显存和反向传播开销，不是线上调用成本。这个差别很重要。研究上成立，不等于产品上划算。 所以我现在的结论比较克制：这篇论文选题是对的，也踩中了 agent RL 现在最难的一段路——怎么把“系统协作”直接变成可优化对象；但摘要证据太薄，离“方法已经跑赢并可复现”还差很多。我要看三样东西才会提高评价：具体 benchmark 名称和任务难度、相对 MAPPO 与简单 GRPO/RLOO 变体的数值提升、还有训练 token/显存/墙钟时间的完整账单。没有这些，这篇更像一个合理的方法提案，不是已经坐实的突破。