论文 · 2026-04-09

论文把 prompt optimization 的成败拆成两个方差：system prompt 方差够大时，优化有效；response 方差占主导时，优化失灵。这个判断我基本买账，因为它解释了过去一年很多人做 prompt search 时那种很熟悉的体验：同一套候选 prompt，在数学题上能稳定拉开，在开放问答和杂任务上就像掷骰子。作者进一步说，多加 user prompts 反而会伤害优化，条件是数据异质、不同题偏好的 system prompt 不一样。这个点比“少样本也能行”更重要，它在拆一个行业里默认的直觉：prompt tuning 不是样本越多越好，前提筛选比规模更值钱。 我觉得这篇最有用的地方，不是又给了一个 prompt optimizer，而是给了一个诊断框架。很多团队现在还在把 prompt optimization 当黑箱搜索：攒一批样本，跑 beam / evolutionary / reflection 式改写，看平均分涨不涨。p1 这套说法等于先问一句，这个任务到底有没有可分辨的 prompt 质量信号；如果 system-prompt variance 本来就低，你往里堆更多 prompt 只会把差异洗平。这个判断跟前面几波方法形成了对照。GEPA、DSPy 系那类做法，核心还是“构造更好的搜索与评估回路”；p1 在意的是“先挑能把好 prompt 和坏 prompt 拉开差距的样本”。我没核实 GEPA 原论文里的全部设定，但按我记忆，它强在搜索程序而不是数据子集选择，所以 p1 能赢它，逻辑上说得通。 但我对这条“2 条 prompt 就能泛化”有明显保留。正文没给完整增益数字，也没给方差分解在各 benchmark 上的分布。只知道 AIME 24 选出 2 条题，训出的 system prompt 能迁移到别的 reasoning benchmarks。问题有三个。第一，迁移到哪些 benchmark，数学占比多高，题型相似度多高，正文没披露。要是主要还是 AIME、MATH、GSM 风格的链式推理题，这个结果就没有标题看上去那么夸张。第二，候选 system prompts 是怎么生成的，搜索预算多少，采样温度多少，snippet 也没说。方差分析对采样设置很敏感，温度一高，response variance 往往直接抬上去。第三，只有 2 条样本时，过拟合“评测格式偏好”比学到“通用推理策略”更常见。我自己也见过这类现象：模型不是更会推理了，而是更会按某种 rubric 输出。 说真的，这篇还戳中了一个更大的现实：system prompt 优化的天花板，很多时候不是优化器，而是评估噪声。2024 到 2025 那一轮 prompt engineering 工具很爱讲自动迭代、自动评审、自动反思，但只要 reward 来自单次采样、而任务又高随机性，最后比的经常是谁更会利用噪声。p1 至少正面承认了这件事，还把噪声分成“响应随机性”与“prompt 质量差异”两部分。这比一堆只报最终准确率的方法老实得多。要是这套分解能在代码、工具调用、多轮 agent 任务里也站住，它的价值会比“又赢了一个 benchmark baseline”大很多。 我还是想泼点冷水。文章目前只有摘要级信息，没看到 full table、置信区间、subset 选择成本，也没看到失败案例。筛高方差样本这件事，听起来很像 active learning 和 hard-example mining 在 prompt space 的投影。思路不新，贡献在于它把“哪些样本值得拿来调 prompt”讲清楚了。能不能成立，取决于两件事：一是筛选本身是不是便宜到值得做；二是选出来的高方差 prompt，会不会只是把 benchmark leakage 风险放大。没有这些细节前，我会把 p1 看成一套很好的实验设计原则，不急着把它当通用方法论。 如果你在做内部 eval，我反而建议先借它的诊断思路，而不是直接复现算法：固定候选 system prompts，先测 task 上的 response variance 和 prompt variance。要是前者明显更大，别再往 prompt optimizer 里烧算力了，先改评估协议，多次采样、分层题集、控制温度。p1 让我信的一点是，它在提醒大家：很多 prompt optimization 失败，不是因为你不会搜，是因为这个任务压根不给你稳定信号。

论文用 14 组语言—文化配对比较 GPT-4o、Gemini 与人类寓意生成，结果是模型更常被偏好，却给出更窄的价值分布。这个结论我基本买账，而且我觉得它戳中的不是“模型懂不懂道德”，而是现在主流对齐流程把输出一路压向低方差安全区。 RSS 正文只给了任务定义、评测维度和总结果，没披露几个关键细节：14 组配对具体覆盖哪些语言，人工偏好调查样本量多少，语义相似度用的是什么模型，价值分类体系怎么标注，提示词是否统一，温度是否固定。这些都会影响结论强度。尤其“人类更偏好模型输出”这句，我会很警觉。偏好高，不等于文化贴合高。更短、更工整、更像标准答案的句子，本来就更容易在盲评里拿分，这和叙事理解里的文化厚度不是一回事。 我一直觉得，这类结果和过去一年大家在开放式生成里看到的现象是连着的。RLHF、系统提示、安全拒答、以及多语言训练中的英语中心语料，会把模型推向一个很稳的中位数人格。你让它写故事寓意，它往往回到“诚实、善良、合作、谨慎”这类跨文化都安全的高频值。这个倾向在 GPT-4 系列上早就明显，Gemini 也没跳出去。模型不是不会生成地方性的道德解释，而是训练和部署目标一直在惩罚高偏离输出。说真的，如果一个商用模型在印地语、阿拉伯语、日语、英语里都给出相当接近的 moral，我一点不意外。 有意思的地方在，作者把“故事寓意生成”当成文化对齐测量，而不是继续做知识问答或价值选择题。这个方向比很多静态 benchmark 靠谱，因为文化差异本来就常藏在叙事压缩、隐含因果和角色责任分配里，不在 fact recall 里。去年的多语言价值研究已经反复暴露一个问题：模型能答对“某文化重视什么”，不代表它会自然地按那个文化去解释故事。知道和生成，是两回事。这篇论文至少把这个裂缝测出来了。 但我对作者叙事还有一层保留。正文只说模型“跨语言差异更小”，这未必全是坏事。人类数据里的差异，有一部分来自文化视角，另一部分也可能来自教育水平、网络语体、翻译习惯、标注噪声。要把“差异变小”直接判成“文化失真”，还得看基线控制。我还没查到他们有没有做同语种不同地区、同文化不同语言、或机器翻译回译控制；如果没做，这个结论需要收着讲。 即便如此，这篇论文还是很有用。它提醒做产品的人别把多语言一致性误当文化成功。你把一个客服、陪伴、教育或公共服务 agent 部署到 14 个语言市场，输出越整齐，未必越好；很多时候那代表模型只会给全球平台最舒服的答案。对齐如果只优化“冒犯更少、评分更高、语义更像平均人类”，最后得到的通常不是文化适配，而是价值扁平化。

MedConceal 把 300 个病例、600 次 clinician-LLM 交互和 159 名临床医生摆在一起，直接说明一件事：医疗对话里最难的部分不是生成一段像样的话，而是在信息不对称下把隐藏顾虑问出来。我一直觉得很多医疗 benchmark 把题目出得太干净了，模型只要顺着显性症状走，就能拿到一个体面的分数。这个基准至少把那个偷懒口子堵上了。 这条最有价值的地方，在于它把“确认”与“干预”拆开评。摘要写得很清楚：前沿模型在不同确认指标上各有领先，159 名临床医生在干预成功率上仍然最强。这个分裂很关键。它说明模型已经会做一部分像样的探询动作，能把患者的某些顾虑诱发出来；但从顾虑被说出口，到把患者带到目标方案，中间还有一层临床沟通能力，模型还没补齐。很多团队喜欢把医疗对话包装成 reasoning 问题，我不太买账。这里更像 sequential decision making，甚至更接近动机访谈：你问什么、何时确认、怎么回应阻抗，顺序错了，后面的“正确建议”也落不了地。 这也解释了为什么我对现有不少医疗模型榜单一直保留意见。MedQA、PubMedQA、MMLU-med 这一类任务，大多在测医学知识调用；一些对话评测也常把患者真实状态放进标注，等于默认模型已经知道该问什么。MedConceal 反过来做：患者模拟器不暴露内部顾虑，只按回合跟踪顾虑是否被探出并处理。这个设计更接近门诊现实。病人不会把“我其实怕副作用”“我付不起药费”“我家里人反对”主动写进 system prompt。 我自己的疑虑也很明确。第一，300 个案例对研究基准够用，对临床泛化还远远不够，正文没披露病例分布、专科覆盖、语言风格差异和统计显著性。第二，案例来自 clinician-answered online health discussions，这个来源有明显采样偏差：愿意上网发帖的人、表述能力强的人、愿意公开羞耻或经济压力的人，和线下门诊里的沉默患者不是一群人。第三，患者模拟器再怎么做 clinician review，本质上还是 simulator。它能不能稳定复现“顾虑被触发前不会松口、被问到后会半遮半掩”的细粒度行为，摘要没给一致性数据，也没给 reviewer agreement。我还没查到 inter-rater reliability、simulator drift、以及不同模型多次运行的方差，这些不补，榜单排名就别看得太实。 说真的，这个方向的价值不在于再造一个总分榜，而在于迫使模型团队承认：医疗 AI 的瓶颈已经不是单回合答题。去年到现在，通用模型在医学考试题上的表现已经卷得很高，很多厂商也爱拿“超医生”叙事做宣传。可一旦任务变成多轮、部分可观测、带行为目标，人的优势就回来了。159 名临床医生在 intervention 上领先，不是因为他们记住了更多指南条文，而是因为他们知道什么时候追问，什么时候停，什么时候先处理情绪再给方案。这部分能力很难靠 SFT 一把抹平。 如果我是做医疗 agent 的，我会把这篇当成评测设计上的提醒，不会把它当成产品 ready 的背书。标题已经给出 hidden-concern reasoning 这个靶点，正文没披露具体参测模型、提示词、轮数上限、成本约束、失败案例分类。没有这些信息，你没法判断某个模型是败在推理、败在安全收缩，还是败在对话策略太短视。我的直觉是，下一步更有用的工作不是继续拼更大通用模型，而是把患者负担、依从性、羞耻感、家庭阻力这类 latent variable 明确建进训练和评测回路里，再配合更长程的 dialogue policy 优化。医疗对话现在缺的不是更会写病历的模型，是更会把“没说出口的话”挖出来的模型。

MT-OSC 这篇先把一件事说对了：多轮对话的问题，很多时候不是模型不会推理，而是上下文管理太差。它声称在 10 轮对话里把历史 token 最多压掉 72%，还在 13 个 SOTA LLM 上保住甚至抬高准确率。这个命题本身有价值，因为生产环境里的聊天成本，常常不是单轮大 prompt，而是第 8 轮、第 15 轮以后整段历史被机械回灌。 我对这条的判断是：它像一个很实用的系统层补丁，不像能力层突破。Condenser Agent + Decider 这套设计，核心不是“让模型记得更多”，而是“别把垃圾也一起塞回去”。这跟过去一年很多 memory 论文的分野很明显。像 MemGPT、分层记忆、RAG-for-chat 这些路子，目标多半是扩展可检索记忆；MT-OSC 更像在线摘要和门控压缩，先控制上下文膨胀，再谈回答质量。这个思路我买账，因为它贴近部署端的痛点。 我有保留也很直接：摘要只给了“up to 72%”“preserved or improved accuracy”“13 个模型”，没给绝对延迟、额外调用次数、每个基准分数，也没说 Decider 的误杀率。顺序压缩最怕两件事。第一，早期轮次里一个看着不重要的约束，被压缩后在第 9 轮才变成关键条件。第二，压缩器自己引入解释偏差，把用户原话改写成更像模板的东西。做过 agent memory 的人都知道，summary 一旦写歪，后面每轮都会沿着歪掉的状态继续推理。标题给了“get lost”这个 framing，我觉得有点过；很多模型不是“迷路”，是被冗余上下文和注意力预算拖死。 文章外的参照也能说明这条为什么有市场。OpenAI 和 Anthropic 这两年都在推长上下文，但长上下文从来不等于免费上下文。就算 200K context 已经常见，企业侧照样会做 history truncation、rolling summary、tool-state 外置，因为 token 成本和延迟不会自己消失。我没看到 MT-OSC 跟这些朴素 baseline 的正面对打结果。如果它只是比“完整拼接历史”更好，那不稀奇；要是能稳定赢过 production 里常见的 rolling summary + retrieval，那才算站住。 所以我现在的态度是：值得读原文，但别先把它当成 multi-turn memory 的定论。要让我信服，至少还得看到三组东西：压缩发生在第几轮、需要几次额外推理、在 LongBench / MuSiQue 式多跳或客服类长对话里分别涨了多少。没有这些，这篇更像“摘要器设计得不错”的论文，不是“LLM 终于解决多轮失忆”的论文。

5个前沿模型在9894局里选笑点，却先测出了同质化偏差。我的判断很直接：这篇论文碰到的核心不是幽默能力上限，而是对齐后的模型怎样把同一套排序习惯带进主观任务。 摘要给了两个硬信息。模型从10张候选卡里选最好笑的一张。全部高于随机基线。问题是，人机一致性仍然有限，模型间一致性反而更高。这个形状很有信息量。若模型真在逼近人类幽默，先抬升的该是与人类的一致性，不该是模型彼此先收敛。作者把一部分原因归到位置偏差和内容偏好，我买账一半。位置偏差在多选题里太常见了，去年不少 judge-model 论文就反复打到这一点：选项顺序、长度、措辞都会改写结果。放到《Cards Against Humanity》这种强依赖语境和禁忌边界的任务里，偏差只会更大。 我更在意的是“5个前沿模型”这件事。正文没披露具体模型名、提示词、是否多次采样、温度设定，也没说人类偏好标签来自原始玩家还是重标注。少了这些，结论还不能上升到“LLM幽默不对齐”。我自己更倾向把它看成 RLHF 和 instruction tuning 的副产物：模型学会了什么样的回答在通用评测里更稳、更安全、更像标准答案，于是面对本来就反规范的幽默任务，也会选出一类彼此相似的“稳妥笑点”。这个现象跟创意写作、审美打分、开放式偏好建模里看到的收敛很像。我记得过去一年里，几篇评测都发现强模型在主观任务上的互评相关性高于与用户群体的相关性，细节我没逐篇核实，但方向一致。 我对这条叙事也有个保留。Cards Against Humanity 本身不是“人类幽默”的中性样本，它强绑定英语语料、美国流行文化、冒犯阈值和游戏机制。模型若偏离这套偏好，未必等于失配；有时反而是安全训练在压低冒犯型选项。标题说的是 humor alignment，正文片段还不够区分“没懂笑点”和“懂了但不敢选”。这两件事在产品上差很多。前者是能力问题，后者是策略问题。 所以这篇论文的价值，我看不在给模型贴上“没有幽默感”的标签，而在提醒大家：只要任务主观、选项固定、答案排序可被解码习惯污染，benchmark 就会把共享训练痕迹误认成偏好结构。要把这事做扎实，下一步至少得公开模型名单、采样设置、选项打乱实验，还有人类标注分布。不然这更像一面镜子，照出的是评测方法自己。

这篇 arXiv 笔记把问题卡得很准：Anthropic 在 Mythos Preview system card 里用了 2 套内部读数工具，却没在最敏感的 strategic concealment 案例上做联合披露。我的判断很直接：只要这一步没给，情绪监控这条叙事就还站不稳。因为你现在根本分不清，emotion vectors 测到的是会驱动行为的功能性情绪，还是把更高维的情境结构压成了几条人类可读的情绪轴。 文章正文只给了方法框架，没给联合实验数字，也没给具体 episode 级结果。这是最关键的信息缺口。作者提的判别试验其实很朴素：把 emotion probes 补跑到只报告了 SAE 的隐瞒案例上。如果 SAE 强激活，情绪探针接近平坦，那就说明危险信号不在情绪子空间里。情绪监控不是没用，但它只能覆盖一层表象，而且是最容易被误读成“模型在害怕”“模型在焦虑”的那层。 我一直对“给模型贴情绪标签”这套解释保持警惕。过去一年，Anthropic、OpenAI、Apollo 这类团队都在往可解释性监控上加码，但经验很一致：一旦任务进入计划、欺骗、延迟暴露这类长链行为，低维 probe 往往先失真，稀疏特征和行为日志反而更稳。我记得去年的一些 deception 研究里，也出现过“表层可读信号很干净，内部策略特征却很脏”的情况；具体论文名我这会儿没核实，不硬报。 我对这篇笔记的态度是偏认可，但也留一分。它指出了 system card 没交代的地方，这点成立。它还没有证明情绪探针一定失效，因为正文没有新实验，只是提出一个可复现的分辨条件。说真的，这反而让 Anthropic 有点被动：如果他们补做联合报告，情绪探针平坦，那前面那套“情绪监控可辅助预警”的说法要降级；如果情绪探针不平坦，他们也得拿出 episode 级对齐，证明 probe 不是事后解释。现在这个阶段，我不会把 emotion vectors 当主监控，只会把它当一个易读但高风险漏报的侧信号。

SKPO 在 Qwen2.5-Math-7B 与 Llama-3.2-3B 上分别超过最强基线 3.91% 和 6.17%，这条结果我会先读成一记对“细粒度过程奖励天然更优”叙事的修正，不会先读成一个新 RL recipe 的胜利。作者的核心判断很明确：采样预算受限时，早期推理 token 的 Monte Carlo advantage 高方差、符号还会乱跳，于是你给得越细，信用分配反而越脏。这个判断我基本买账。做过 RLVR 的人都知道，过程监督最难的从来不是“有没有 reward”，而是早期步骤的回传信号到底稳不稳。很多 paper 把 dense reward 讲得很顺，默认 rollout 数量足够、验证器足够准、轨迹切分足够自然，工程上这三件事通常同时不成立。 SKPO 的做法也不复杂：把推理拆成 upstream 和 downstream，上游拿来自下游采样的 dense reward，下游继续用 group-relative 优化，再把上游片段和原题一起喂给下游。这个 skip connection 我觉得比“implicit advantage”这个命名更有信息量。它其实是在承认中间推理经常不可靠，所以别强迫模型把上游链条当成唯一上下文；把原题再给一遍，允许下游绕过错误前缀，训练才不会被一段烂 CoT 拖死。说真的，这个思路很像深网络里残差连接当年的价值：不是证明每层都学得对，而是保证学错时还有一条别那么伤的路径。放到 reasoning RL 里，就是给策略优化加了一条“别被自己前面胡说八道绑架”的逃生通道。 这里有个文章里没展开、但很关键的行业背景。过去一年 RLVR 这一波，GRPO、DAPO、各种 process reward 和 verifier-guided tuning 一直在拉扯一个老问题：最终正确率提升，究竟来自更好的推理，还是来自更会搜索、更会重采样、更会利用 verifier 偏好。OpenAI o1/o3 之后，大家都知道 test-time compute 能堆出不少分；DeepSeek-R1 那波也让很多团队开始默认“多采样+结果筛选”先赢。SKPO 的价值在于，它没再假装 dense reward 本身就是答案，而是把训练目标往“在有限预算下减少错误信用传播”挪了一步。这是更像工程判断的路线，不是理论洁癖路线。 但我对这条结果也有几处保留。第一，正文只有 RSS 片段，没给 benchmark 绝对分数、采样预算、rollout 条数、verifier 形式、训练 token 成本，也没说 strongest baseline 到底包含哪些方法。3.91% 和 6.17% 是相对提升，不是绝对点数；如果 baseline 很低，这个数字的体感会被放大。第二，实验模型还是 Qwen2.5-Math-7B 和 Llama-3.2-3B 这个量级。我不怀疑机制在小模型上成立，但规模上去后会不会被更强的 base policy 吃掉，或者被更长上下文中的错误累积重新放大，正文没披露。第三，它说泛化到 general reasoning 和 code generation，具体数据分布、任务难度、是否有 pass@k，片段里都没有。我自己会特别想看 code 任务上它到底提升的是首样本质量，还是只是让多样本搜索更好筛。 我还想 push 一下作者的叙事重点。文中把问题归因为 early-token advantage 的高方差和符号不稳，这当然对，但未必是全部。很多过程监督失败，不只是统计噪声大，还因为“步骤”这个切分单位本身很人工。数学题上的一句自然语言解释，未必对应一个稳定的 latent decision；代码任务里更明显，一次局部修改的价值常常要到十几行后才显现。SKPO 用上下游切分加 skip connection，某种程度上是在回避“步骤语义是否可信”这个更底层的问题。我不觉得这是缺点，工程上能回避就先回避；但如果作者把它讲成对 implicit advantage 的普适解决，我会谨慎一点。 我一直觉得，这类工作最有用的地方，是把 RL for reasoning 从“奖励做得更细”拉回“信用分配先做稳”。去年不少团队把 process supervision 当银弹，结果训练日志一看，前缀 token 被 noisy reward 来回拉扯，最后还不如 outcome-only。SKPO 至少给了一个很朴素的答案：中间过程既然会错，就别让后半程只能继承它。这个想法我认。 要不要高估这篇？先别。标题和摘要已经给出机制与相对增益，正文没披露成本、绝对分数、长程任务表现，也没告诉我们在更大模型上是否还成立。要是后续公开了 ablation，我最想看三组东西：去掉 skip connection 还剩多少提升；同等训练算力下和纯 outcome-GRPO 差多少；推理时如果不保留上游文本，只保留 latent state，效果会不会掉。那三组数据出来，这篇才知道是在修一个局部 bug，还是碰到了 reasoning RL 里更通用的结构性问题。

这篇论文在3个多模态MoE模型上用路由干预把复杂视觉推理最高拉升3.17%，这个数不大，但方向很准。它打到的不是大家熟悉的“图文没对齐”，而是更工程化、也更难修的东西：图像一进来，中层路由就偏了，偏离的地方刚好是任务相关 experts 更集中的层。我的判断是，这比再讲一遍“视觉编码器损伤推理”要有用得多，因为它把故障点从表征空间，往 inference-time 的计算分配上挪了一步。 我一直觉得，多模态模型里那种“看得见却不会想”的错，很多时候不是 perception 不够，而是 compute 没花在对的子网络上。尤其在 MoE 里，这个怀疑更强：你前面把图像 patch、OCR token、布局线索都吃进去了，不代表后面真的叫到了会做几何、计数、符号映射的那批 experts。论文说 cross-modal semantic sharing 存在，所以不能把锅全甩给语义对齐；这个判断我基本认同。过去一年很多 VLM failure analysis 都在讲 modality gap、视觉 token 压缩、分辨率瓶颈，讲得没错，但那套解释经常默认“只要信息进了主干，推理模块就会接住”。MoE 不一定。路由器本身就是门，门开错了，里面再强也白搭。 这条和过去一年稠密模型上的分析能接上。比如一些 LLaVA 系、Qwen-VL 系、InternVL 系的错误案例里，文本重写题目后模型能答对，换成图片就掉线，社区常把它归因为 OCR 噪声或视觉编码压缩。我不觉得这些解释够。因为同一道题能在 text-only 条件下解出来，至少说明参数里有那条解题路径。现在这篇的价值，在于它给了一个更具体的机制：视觉输入把路由拉向“看图 experts”，却没把任务所需的“推理 experts”一并拉起来。我还没跑原论文代码，没法确认他们识别 domain experts 的方法有多稳，但这个 mechanistic story 至少比“多模态推理天然难”要像样得多。 我也得泼点冷水。3.17% 提升说明干预有效，没说明这个解释已经闭环。第一，正文摘录没给基线分数、方差、统计显著性，也没说 3 个模型分别多大、MoE 粒度多细、router 是 top-1 还是 top-2。没有这些，3.17% 的分量不好估。一个基线 92 分到 95.17 分，和一个基线 38 分到 41.17 分，行业含义完全不同。第二，所谓 visual experts 和 domain experts 的层间分离，听起来很合理，但我想看它在不同任务族上是否稳定。计数、图表、空间关系、科学图解，这几类视觉推理调的 experts 未必是同一拨。论文说 domain expert identification 能跨不同信息结构迁移，这个说法挺大胆；RSS 摘要没给迁移幅度、失败案例、负迁移条件，我不会现在就全信。 还有个我比较在意的点：这类 intervention 到底是在“修推理”，还是在“扶正分布偏好”。如果方法是拿文本路径当参照，把图像样本的中层路由往文本那边拽，那它利用的是一个事实：同题 text-only 解得更好。问题在于，并不是所有视觉任务都存在高质量文本等价物。图表阅读、视觉定位、细粒度属性判断，文本路径有时天生缺信息。那时你还往 text routing 靠，未必是修复，反而可能把视觉特有的计算压掉。这个边界很关键，摘要里没披露。 放到产品和训练策略上，这篇更像给多模态 MoE 团队提了两个醒。第一，别只盯视觉 encoder、分辨率、token budget。router 该被单独当成多模态能力瓶颈来调，尤其是中层。第二，做 post-training 时不能只看 final answer loss，得看 expert activation 是否在 modality 切换时出现系统性错位。这个思路让我想起去年不少团队开始在 reasoning 模型上盯 attention sink、tool-use state drift，一开始都像“解释学”，后来慢慢变成实打实的优化入口。MoE 路由这条，我看也在往那边走。 我对这条最保留的地方，是它暂时还没有回答一个更伤的问题：路由分心是多模态 MoE 的偶发病，还是规模化后的结构性税。如果中层专家分工越清晰，这个问题越严重，那很多团队追求的“更稀疏、更专门化”未必白赚。你省了算力，丢了跨模态调用弹性。到那一步，修补 router 可能不够，专家组织方式都要改。标题给出的信号已经很强，正文摘录还没披露训练细节、专家数量、干预开销。我现在会把它看成一个靠谱的 failure mode 定位，而不是多模态 MoE 已经找到通用解法。

AVGen-Bench这篇论文给T2AV评测补上了一个缺口：它把联合正确性放到台面上，还一次塞进11个真实任务类。这个动作比“又一个生成 benchmark”要扎实，因为当前很多文生视频、音频视频联合生成的展示，强项一直是氛围、节奏、镜头感，弱项却被 embedding 相似度和人工主观分掩过去了。论文摘要直接点了四个常见翻车点：文字渲染、语音连贯、物理推理、音高控制。最后这个“音高控制普遍失效”我很在意，因为它说明很多系统连最基础、最可验证的声学约束都没守住。 这件事跟过去一年视频生成的评测走向是连着的。我记得从 GenEval、T2VBench 到一些 VBench 派生集，行业已经慢慢接受一件事：画面好看，不等于 prompt obeying 过关。音频这边也一样，很多 TTA 或音乐生成评测会看 CLAP 之类的相似度，但一旦要求“谁在说话、说了什么、音高是否按条件变化”，粗粒度分数就开始失真。AVGen-Bench把 specialist model 和 MLLM 混着用，思路并不新，像视频问答、图像细粒度评测这两年都这么干；新意在于它把音频和视频绑在同一个任务框架里，而不是各打各的分。 但我对这类 benchmark 也有保留。正文片段没披露具体参评模型、分数、评委模型、打分一致性，也没说 specialist model 各自负责哪些子项。没有这些，你很难判断它是在测生成器，还是在测评估器自己的偏见。MLLM 当裁判这件事，我一直觉得要小心：模型很容易被“看起来像对了”的样本骗过，尤其是口型、字幕、发声主体一致性这类跨模态细节。标题已经给出多粒度框架，正文没披露置信区间、人工复核比例、与人类评分相关性，这几项如果缺席，榜单说服力会打折。 我还是倾向于认为，这条工作有实用价值。原因很简单：T2AV已经开始从 demo 走向 production，广告、教育、角色视频、音乐短片都需要“指定内容真的被生成出来”。只拼审美的窗口正在变窄。微软这次如果把代码和基准维护好，它更像一套验收协议，而不只是论文分数板。说真的，我现在更想看的是两个补充：一是公开失败案例库，二是把可控编辑任务单列出来。生成阶段做得再顺，改一句台词就全崩，那也进不了工作流。

论文给出的核心事实是：OPD 训练推进后会出现 rollout 长度突然膨胀，被截断轨迹主导数据，验证性能随之断崖下滑。这个判断我基本买账。做过 on-policy 训练的人都见过类似味道：模型一旦开始偏爱冗长、重复、难截停的轨迹，后面的梯度就不再是在学任务，而是在学“如何生产更多会被截断的样本”。这不是小毛病，是采样分布和蒸馏目标绑死后的结构性偏置。 我觉得这篇最有价值的地方，不是“又提了一个稳定训练技巧”，而是把长度膨胀单独拎出来解释。过去一年大家更熟悉的是 RL 里的长度病：长 CoT、重复 token、reward hacking、verbosity bias。GRPO 一类方法在数学题上也反复碰到“越会写越像进步，越写越长却不一定更对”。这篇把相近问题搬回 distillation 语境，很合理。学生模型自己采样，再让老师在这个分布上给监督，目标天然会奖励那些还能继续展开的轨迹；只要 truncation 存在，偏差就会累积。我自己没看全文推导，但从摘要这条机制看，方向是对的。 StableOPD 的两个补丁也算对症：参考模型散度约束，外加 rollout mixture distillation。前者像给学生分布拴一根绳，别让它在训练中越跑越偏；后者是在数据侧稀释“全靠当前学生分布喂自己”的自激循环。这个设计让我想到 offline-to-online RL 里常见的 KL regularization，也像一些 DPO / RLHF 训练里用 reference model 压发散。新意不在组件本身，强在它把 OPD 的崩点说清了。 但我对这组 7.2% 先保留。正文只给了“多个数学推理数据集平均提升 7.2%”，没披露模型规模、教师是谁、截断上限多少、提升相对哪条 baseline、方差多大。要是 baseline 本来已经进了 truncation collapse，这个涨幅会被放大。另一个信息缺口是成本：加 reference 约束和 mixture distillation，训练吞吐掉多少，推理时是否无额外负担，摘要都没说。没有这些，现阶段还不能把它当成通用 recipe。 我还是觉得这篇该被认真看。原因很简单：现在很多“教小模型学推理”的方案，训练曲线一抖，团队第一反应还是调学习率、调温度、调最大长度。要是作者这个诊断成立，很多 case 根本不是超参问题，而是 OPD 在 truncation 条件下会自己把数据分布推向坏区域。那就不是多跑几次能解的事，而是训练目标得重写一层。

作者在两类模型上冻结全部 attention scores 后，拒答转向性能只降 8.75%，还把转向向量稀疏到 90%–99% 并保住大部分效果。我的判断很直接：这篇的价值不在“又解释了一次 steering”，而在它把一个行业里常被讲得很玄的东西，压回到了可定位的 OV 电路和少量关键维度上。 我一直觉得，表征转向这条线过去一年有点被讲跑偏了。很多工作把 steering 写成“找一个方向，然后模型行为就变了”。这话不假，但太粗。工程上你当然能加一个向量让模型更拒答、更服从、更像某种 persona；问题是你没法回答两个更硬的问题：它到底改了哪段计算，为什么不同方法常常都有效。这篇给的答案挺扎实：同层不同方法会调到功能可替代的 circuit，主作用点在 attention 的 OV，不是 QK。这个结论很重要，因为它把“转向”从路由控制，拉回了内容写入和读出。换句话说，token 去看谁没怎么变，变的是看完以后往残差流里写了什么。 这个判断跟不少 mechanistic interpretability 的老经验是合拍的。我记得从 transformer circuits 那批工作开始，OV 就经常更接近“搬运和写入语义内容”，QK 更像“决定连边和选择目标”。如果 refusal steering 主要靠 OV 生效，那它像是在放大或压低某些已存在的拒答语义，而不是给模型新造一套检索路径。这个视角也解释了一个工程现象：很多 activation addition、均值差向量、对比激活这类方法，推导过程不一样，最后效果却常常相近。你以为自己找到了不同的控制旋钮，结果大家都在拧同一组 latent dimensions。 我对这篇最感兴趣的不是“冻结 attention scores 只掉 8.75%”，而是后面那句“不同方法共享一部分重要维度”。这很像在说，拒答行为不是均匀分散在高维空间里，而是有一个很窄的可操作子空间。只要这个结论能在更多任务上复现，表征转向的工程含义会很直接：第一，steering 向量没必要又长又密，90%–99% 的稀疏化还能保效果，部署上就更容易做成低开销控制；第二，安全侧也别把“加个拒答向量”想得太稳，因为如果关键维度本来就很少，攻击者更容易做反向 steering、维度抑制，或者跨方法迁移绕过。 我也得泼点冷水。现在公开信息只有摘要，几个关键细节正文未披露：具体是哪些模型家族，拒答评测集是什么，8.75% 降幅对应的是哪种 metric，冻结 attention scores 时有没有引入分布外副作用，稀疏化后保留的是“拒答率”还是“有用且安全的边界”。这些差别很大。拒答任务特别容易出现一个问题：你把 refusal 拉高了，看上去 alignment 变强，实际只是模型更保守、更爱回避。如果论文没有把 harmless refusal 和 harmful refusal 分开量化，我对“保住大部分效果”这句话会保留态度。 还有一个我自己比较警觉的点。摘要把 QK 影响讲得很小，这在 refusal 这个任务上也许成立，但我不愿意把它直接外推到更复杂的 agentic 行为。涉及长上下文检索、工具调用、规划分支时，QK 往往更像上游闸门。拒答更接近局部语义决策，OV 主导不奇怪；到了多跳推理或者 tool-use，QK 的地位未必这么低。说真的，这篇像是在告诉你“道德刹车”装在哪，不等于已经解释了“整辆车怎么转向”。 即便如此，我还是觉得这篇比很多 steering 论文更有后劲。它把“steering 是玄学”往前推了一步，推成“steering 是少数可替代电路上的可压缩干预”。这对两拨人都重要。做安全的人会开始想，能不能直接盯这些共享维度做更稳的拒答控制；做能力的人会反过来想，既然关键子空间这么窄，persona、风格、工具偏好这些行为特征是不是也能被同样拆开。我比较希望看到的后续，不是再报一个 refusal benchmark，而是把同样分析跑到 non-refusal setting：比如代码风格、事实性、工具选择。如果那时 OV 主导和共享维度还成立，这条线就从个案变成方法论了。

LG 发布了 EXAONE 4.5 开放权重视觉语言模型，并把上下文拉到 256K；可正文没给参数规模、训练数据量、基准分数，所以这篇 technical report 现在只能证明方向，证明不了强度。 我对这条的判断很直接：LG 这次想抢的不是通用聊天位次，是企业文档理解和韩语场景的卡位。把视觉编码器接进 EXAONE 4.0，再强调 document-centric 语料，这个配方很像冲着发票、表格、PDF、扫描件、内部知识库去的。这个方向我认可。很多团队过去一年都在补这块，因为通用 VLM 在 OCR-heavy、版面复杂、长文档跨页推理上一直不算稳。256K 也说明它盯的是长文档流水线，不是 demo 式看图问答。 但“超过同规模 SOTA”这句，我现在不太买账。什么叫同规模，正文没披露。是 7B、13B，还是 32B 级别，没说。超过了谁，DocVQA、ChartQA、OCRBench、MMMU，还是韩语私有集，没说。提升多少，零点几个点还是一截，没说。没有这些条件，这句话在研究上不可复核，在选型上也没法用。开源圈这两年已经很清楚了：Qwen、InternVL、Llama 派生 VLM、甚至一些 Mistral 生态模型，都会把参数、分榜、上下文、许可写得很细，因为大家要拿来部署，不是听口号。 文章外的上下文也挺关键。过去一年，开源多模态的竞争点已经从“能不能看图”转到“文档能不能进生产”。Qwen2.5-VL 那波之所以打得开，一个原因就是文档、图表、OCR 任务覆盖得比较全；我记得 InternVL 系列也一直把文档理解当成主战场，但具体版本分数我这会儿没核实。LG 现在跟进开放权重，其实不晚，晚的是信息披露标准。你要争 enterprise adoption，技术报告至少得把许可、吞吐、显存占用、长上下文退化曲线讲清楚。标题给了 256K，正文没披露它是全量训练拉上去，还是靠 RoPE/YaRN 一类扩窗；这两种路径，实际稳定性差很多。 我还有个疑虑：摘要里把“视觉与文本原生多模态预训练”和“文档语料清洗”放得很重，这听着顺，但工业文档效果常常不是预训练一句话能解释的。版面标注、合成数据、OCR 管线、检索切块、指令数据配比，哪个都能把分数拉开。LG 如果后续不拆这些机制，这条更像品牌发布，不像可复现实验。开放权重当然是加分项，韩语企业场景也确实有空位；但在参数、benchmark、license 没展开前，我不会把它放进第一梯队候选。

sciwrite-lint 用 30 篇未见论文做了错误注入评测，还把流程压到单张消费级 GPU。这个方向我基本认同，因为科研写作眼下缺的不是又一个“会写”的助手，缺的是一层便宜、可复现、默认本地跑的校验带。 文章给出的核心能力很实用：查引用是否存在，查是否撤稿，核对元数据，下载被引论文，看它是否真能支持文中表述，再向下追一层参考文献，并给每条引用一个可靠性分数。这里最关键的不是“分数”两个字，是它把核验拆成了可审计步骤。你能看到错在 DOI、错在作者名、错在把相关性写成因果，还是错在引用链本身已经塌了。对现在一堆 LLM 代写摘要、代写 related work 的实验室，这比再加一层润色器有用得多。 我一直觉得，学术圈对“AI 写作风险”的反应有点跑偏。过去一年最常见的治理动作，是让作者声明是否用了 LLM，或者靠期刊编辑人工抽查。这个办法成本高，漏检率也高。更早一点，Meta Galactica 那波已经把问题讲透了：模型最会产出的不是彻底胡说，而是长得像学术文本的半真半假。scite 这几年也在做 citation context 和 supporting / contrasting 分类，但它偏服务平台和索引层。sciwrite-lint 把能力拉回作者本地机，这个落点更硬，因为它直接插进写作环节，而不是等论文发出去再补救。 但我对评测强度有保留。正文只说了 30 篇 arXiv 和 bioRxiv 论文，加错误注入，再做 LLM adjudication 的误报分析。30 这个样本对工具早期演示够用，对“能不能成为基础设施”远远不够。错误注入也有天然偏差：人工塞进去的假引用、错元数据、错归因，通常比真实论文里的灰区更干净。现实里的麻烦是模糊表述，比如“consistent with”“suggests”“builds on”这类话，到底算支持、弱支持，还是偷换。这个边界最难，摘要没披露每一类错误的召回率和误报率，我没法把它当成稳态能力来下结论。 我还有一个更具体的疑虑：它说“下载并解析被引论文，再判断是否支持主张”。这一步在 NLP 上其实最贵，也最脆。PDF 解析、图表转文本、claim span 对齐、否定词处理，任何一环掉链子，最后都会把“引用不充分”误判成“引用错误”。去年很多 RAG for science 的系统都卡在这里，尤其是跨段落证据聚合。我自己没跑过 sciwrite-lint，所以不敢说它扛住了没有；摘要也没给模型名、上下文长度、引用支持判断的标注协议，这些都还缺。 文章里我最不买账的，是后半段那个 SciLint Score。把完整性校验做成 lint，我支持。把“贡献”也算成分，而且还声称把 Popper、Lakatos、Kitcher、Laudan、Mayo 这些框架操作化，我会先按下暂停键。不是哲学框架不能计算，而是“贡献”在不同学科、不同论文体裁里口径差太大。方法论文、负结果论文、复现实验、数据集说明，结构上都不像一个模板。你一旦给出单一分数，机构很快就会拿它做筛选，这比工具本身更危险。文章也承认这部分只是 experimental code，我觉得这个克制是对的，最好别被产品化冲动带偏。 所以我对这条的判断很简单：完整性校验值得认真看，尤其是本地运行、免费数据库、开源权重这三个部署条件；“贡献评分”先别急着吹。要让我继续跟，我会先看三件事：第一，真实投稿流里的误报率，尤其是综述和生物医学论文；第二，遇到 paywalled PDF、扫描件、补充材料时还能剩多少能力；第三，可靠性分数能不能拆解释，而不是只吐一个总分。科研圈现在不缺分数，缺的是能把错具体指出来的工具。

这篇论文直接把“高共情分”压回了工程问题：6 个模型写出的 3265 条回复里，83%到90%落进同一类话术模板，模板还能覆盖 81%到92% 的内容。我的判断很明确，很多人之前把偏好优势读成了理解优势，这里基本给出反证：用户先奖励稳定的表达秩序，再谈别的。 论文给的数字很扎实。作者把共情回复拆成 10 类 tactic，比如复述处境、确认情绪、给出安抚。然后看这些 tactic 的排列顺序。结果是 LLM 的盘子非常集中，人类写的 1290 条回复分布更散。这个发现不新奇，但它终于把“为什么模型看起来更会安慰人”说到了可复现层。你给模型一个情绪求助输入，它往往按固定脚手架输出：先承接，再验证，再轻度重述，最后给支持性收尾。用户偏好里，光这套秩序就够吃到不少分。 我一直觉得，很多“LLM 很会共情”的实验把两个变量混在了一起：内容理解，和社交格式正确。后者其实更容易学，也更容易在评测里赢。你看过去一年常见的 preference tuning、RLHF、人格化 system prompt，核心都在强化“别冒犯、先接住、语气稳”。这跟治疗能力不是一回事，跟高质量陪伴也不是一回事。OpenAI、Anthropic、Character.AI 这类产品线早就把这种风格稳定性当成目标函数的一部分，只是以前少有人把它拆成 discourse template 来量化。这个角度我买账。 我对这条研究的 pushback 也很明确。第一，正文没披露 6 个模型具体是谁，也没给出 prompt 设定、长度控制、温度、是否有安全后处理。少了这些条件，没法判断模板化到底来自预训练，还是来自对齐层。Claude 和 GPT 系列在情绪支持场景里本来就容易收敛到“先 validate 再 reframe”的安全话术，开源模型如果没做同等 safety tuning，分布未必一样。第二，“更受欢迎”这件事本身就受评测界面影响很大。A/B 打分时，用户天然偏好礼貌、完整、少风险的回答；真到多轮长期陪伴，重复模板常常会掉分。我自己没看到这篇摘要里有长期交互数据，所以没法把结论外推到 retention。 还有一层更关键。模板化共情既是能力，也是风险。能力在于它可训练、可蒸馏、可控。你甚至不一定需要更强基座模型，拿一个中等模型配好策略顺序、句式长度、情绪词表，效果就能拉近。这对产品团队很实际：别急着追“更懂人”的大叙事，先把 response policy 做稳，偏好分就会上来。风险在于，用户会把格式正确误认成关系真实。模型每次都在“听起来像懂你”，这对短会话是加分，对脆弱用户就不一定了。去年围绕 Replika、Character.AI 的争议，核心就有这一层：拟社会亲密感会被稳定语气放大，但系统并没有责任能力和情境记忆去承接后果。 这条论文还顺手提醒了评测设计的问题。要是 benchmark 主要奖励“像一个训练有素的支持者”，那模型公司就会把模板越磨越滑，最后拿高分的不是理解深，而是套路熟。医疗问诊、心理支持、教育反馈这三类任务都容易中招。我会建议后续评测至少拆开三件事：首轮主观好感、多轮一致性、以及在具体事实约束下是否仍能保持共情。光看单轮 preference，模型会越来越像客服金句生成器。 所以这篇论文的价值，不在于证明 LLM 不会共情，而在于把“共情”里最容易工业化复制的那部分挖了出来。这个结论对研究和产品都挺硬：如果 83%到90% 的高分回复都能被模板解释，你就该少讲一点心智，多讲一点策略学习。标题已经给出了主结论，正文摘要没披露实验任务分布、模型名单和评审协议，这几项会直接影响我对外推范围的判断。

论文把 grounding 改成了测试时证据检索，并在 7 个基准、4 类 VLM 上报告一致提升；我觉得这个切口是对的，因为它抓的不是“模型看了哪里”，而是“模型还缺哪块证据才敢继续预测下一个 token”。这比很多拿 attention map 当解释的做法靠谱一些。attention 在 VLM 里早就被反复证明不等于因果证据，梯度法也不完美，但至少它直接连到了当前生成不确定性。 我比较认同它“免训练、模型内生”的立场。过去一年多，视觉 grounding 里不少方法还是绕回外部检测器、proposal generator，或者在推理前额外挂一个 reranker。工程上能跑，方法上很脆：底层 detector 漏掉小字、图表角落、界面微小图标，后面全白搭。这篇的价值在于，它不先假设“候选框已经够好”，而是直接问 VLM 自己：哪片视觉 token 能最快降低下一词分布熵。对文档问答、图表、UI、细粒度识别，这个思路有现实意义，因为这些场景输赢常常就差几个像素或两个分散区域的组合关系。 但我对标题里那种“training-free evidence retrieval”叙事还是留一手。正文摘要只说了“consistent improvements”，没给绝对分数、提升幅度、计算开销，也没说反传一次还是多次、对分辨率和 token 数的成本怎么长。这个缺口不小。只要方法要对视觉 token 做梯度回传，再加上 iterative zoom-and-reground，多轮推理的延迟就大概率比纯前向 attention heuristic 高。若是在 Qwen-VL、LLaVA-OneVision、InternVL 这类高分辨率配置上跑，额外显存和时延很容易把“免训练”的便宜又吐回去。我还没看到这篇怎么交代吞吐代价。 外部参照也很关键。过去一波 VLM interpretability 工作，很多方法在 pointing game、referring expression 或 document QA 上能刷出不错结果，但一换模型家族就掉，原因是它们其实吃了特定视觉编码器或 cross-attention 结构的红利。这里作者说覆盖 4 种架构，这点是加分项；可正文没披露具体模型名、也没说闭源 API 型模型能不能复现。如果只能在可回传 embedding 的开源模型上成立，它更像一类研究工具，而不是通用产品方案。商业系统里大量多模态调用根本拿不到内部梯度。 我自己更在意的，是它把“熵”当监督信号这件事能走多远。这个想法其实有一条挺自然的延长线：不只拿它做可解释热图，还能拿来做主动视觉搜索、动态裁剪，甚至决定何时继续放大、何时停。摘要里已经塞了 spatial-entropy stopping rule，这说明作者不是只想做一张好看的 saliency map，而是在碰 test-time compute 分配的问题。这个方向跟近一年语言模型里按不确定性分配推理算力的路数是同一脉络，只不过这里把算力分配从 token 推理搬到了视觉区域检索。 我还是要泼点冷水：熵下降不等于证据正确。模型也会对伪相关区域变得“更自信”，尤其在图文偏置强、OCR 弱、或者问题本身诱导错误先验时。若论文没做 counterfactual mask、region ablation、和“取到的证据删掉后答案是否显著退化”这类因果检查，那 interpretability 说服力就还差一截。标题给了方法，摘要给了 benchmark 范围，但正文没披露这些验证细节。 所以这条我会先把它看成一个值得追的测试时检索机制，不是 grounding 问题的终局答案。它最像样的落点，我猜是高分辨率、多证据、开源可微 VLM 场景；一旦进到闭源 API、低延迟产品链路，价值就要看作者能不能把额外反传成本压下来。

论文直接打到了一个常被回避的点：KV cache 卸载一碰到高检索密度任务，就不再是“便宜一点的长上下文”，而是精度先掉。摘要已经给出结论，Llama 3 和 Qwen 3 都有显著降准；具体掉多少，正文摘录没给。这个缺口很关键，因为没有分数，你很难判断它是工程可接受的 1-2 个点，还是产品上根本不能交付的双位数下滑。 我一直觉得，过去一年很多长上下文方案的评测口径偏软。大家爱跑 needle-in-a-haystack、长文问答、摘要，原因很现实：这些任务对“找到一个锚点”很友好，对 key 压缩失真也更宽容。Text2JSON 这类任务麻烦得多。它要求模型从长文本里抽很多字段，还要保持结构约束。你不是命中一个证据就够了，而是要连续命中几十个局部事实。这个设定更接近合同抽取、病历结构化、投研资料解析，也更接近企业里真会花钱的场景。 摘要把锅指向两个机制：key 的低秩投影，以及不可靠 landmarks。这个判断我基本买账。因为大多数 KV 压缩方案，本质都是在赌“注意力分布足够稀疏，重要 token 能被代理点代表”。一旦任务要求细粒度、多位置、多字段回填，这个赌法就容易穿帮。StreamingLLM、SnapKV、H2O、各类 landmark token 路线，过去的亮点多半来自生成流畅度、吞吐或单点检索，不是高覆盖抽取。我没看到这篇全文，但光看摘要，这更像是在提醒大家：压缩误差不是平均分布的，它会优先伤到信息覆盖率。 还有个上下文，文章里没展开，但做服务的人都知道：很多团队把 offloading、paging、compression 混着讲。其实三者代价模型不同。纯 offloading 主要拿显存换带宽和时延；compression 才会直接改写表示；paging 又受调度器和批处理影响。现在摘要把“offloading 导致降准”放在一起说，我会先留个问号：他们测的是严格的外存搬运，还是包含 key/value 压缩、landmark 选择、近似检索的一整套系统？如果后者成立，那结论很重要；如果只是某一类实现，外推就要小心。标题给了大方向，正文摘录没给实验配置细节。 “更简单的替代策略”这句也让我警觉。学界很爱用 simpler and better 这种叙事，但没有 token budget、显存占用、prefill/decode 延迟、batch size 条件，简单不等于可部署。我想看的不是“在多个模型家族上提高准确率”，而是同等内存下提升多少，同等延迟下提升多少，到了 32K、64K、128K 这几个常见窗口后曲线怎么走。摘要全没说。 这篇的价值，我看不在于它又发了一个 benchmark，而在于它逼着长上下文系统回到任务定义。若你的任务是聊天续写，KV 卸载也许够用。若你的任务是高密度抽取、代码库扫描、长文证据汇总，任何牺牲 key 可辨识度的近似法，都该先按风险项处理，不该先按优化项处理。说真的，这对很多做 RAG 和 agent runtime 的团队是个不太舒服的提醒：省下来的显存，很可能会在人工复核和失败重跑里吐回去。

DiADEM 用 r=0.75 追到 DICES 的分歧结构，这已经不是小修小补了。它直接冲着评测里最偷懒的默认项去：把主观任务压成单一金标。我一直觉得，安全、冒犯、毒性这类数据里，多数票聚合本来就有点粗暴；你把少数群体稳定给出的不同判断洗掉，再让模型学“平均人”，最后得到的不是更稳，而是更钝。 这篇的贡献不在“又一个 judge baseline 被打败”。LLM-as-a-judge 在主观标注上失手，老实讲我一点不意外。近一年很多工作已经把这件事讲得很清楚：模型能复述规范，能生成看似平衡的理由，但它对“哪些人会在哪些样本上系统性分歧”抓得很差。原因也不玄。预训练把语言模式压平了，后训练又把输出往一致、礼貌、可解释那边拉，最后它更像一个会写判词的平均裁判，不像一个能保留分歧结构的群体模拟器。DiADEM 至少在机制上往前走了一步：不是只看 item 表示，而是把 annotator 的人口统计维度单独投影，再用 α 去学“哪条轴更影响分歧”。 我觉得这里最有信息量的数字，不是“超过基线”，而是 race 和 age 在 DICES、VOICED 两套数据里都排前面。这个结果和过去几年的 perspectivist NLP 直觉一致。DICES 当初就不是为了找唯一答案，而是为了保留安全判断里的身份差异。我没去复核原论文表格，但我记得 DICES 本来就强调 annotator identity 对 label variance 的解释力。DiADEM 现在把这件事从数据集理念推到可训练参数层，工程上更可用了：你终于能问模型，谁在分歧，不只是分歧有多大。 但我对这条叙事也有保留。第一，正文没披露 α 的稳定性检验。换随机种子、换人口统计缺失值处理、换训练集切分，race 和 age 还排前两位吗？如果 α 排名不稳，这个“最重要维度”的解释会很脆。第二，两个数据集都属于高主观、高语境任务，结论外推到更普通的分类任务，我不敢跟。第三，也是我最在意的一点：把分歧显式建模成人口统计函数，统计上更诚实，部署上也更敏感。产品团队一旦把这套东西拿去做审核或个性化阈值，马上会碰到合规问题：你到底是在尊重视角差异，还是在按种族和年龄做预测分流？这条线很细，论文摘要里还没给防滥用设计。 还有一个现实问题，作者把 LLM judge 打下去，不等于“LLM 没用”。我反而觉得更像是分工重排：LLM 适合生成候选理由、补全语境、做 rubric expansion；到了估计 annotator distribution 这一步，还是要靠显式的统计结构。这个判断跟去年不少偏好学习结果是对得上的——当目标是均值偏好，LLM 还能凑合；当目标变成方差、分歧、群体异质性，黑箱 judge 往往先塌。 所以这篇我给正面评价，但不会夸得太满。它打中的不是“模型更懂人类”，而是一个更基础的事：我们过去把很多主观标签任务建模错了。问题在于，修正这个错误以后，代价是你必须认真处理人口统计信息、样本量不平衡、解释稳定性和下游使用边界。摘要给了架构，给了 r=0.75，给了 α 的排序；正文没披露 fairness safeguard、隐私处理和跨数据集泛化细节。这几块不补上，DiADEM 更像一篇把评测目标校正回来的好论文，还不是能直接进生产的答案。

SAVeR 把验证放在动作提交前，并在 6 个基准上声称提升忠实度；我觉得这个思路是对症下药，但证据现在还不够硬。Agent 这两年的常见偷懒做法，是把一段看起来顺的 reasoning 直接当 belief，再把它写进 memory，后面继续拿来当前提。链条一长，错误不会只错一次，它会在检索、规划、工具调用里反复放大。SAVeR 针对的正是这个传播点，不是再做一次“多数模型意见一致”的投票，这个方向我买账。<br><br>我一直不太信“共识=忠实”。self-consistency 这套在数学题上有用，是因为很多错误路径会彼此抵消；到了 agent 场景，几个候选轨迹完全可能共享同一个假前提，只是表述不同。你让它们互相投票，最后选出来的常常只是最会讲故事的那条，不是证据最足的那条。这个问题在 ReAct、Reflexion 一类框架里都出现过：trace 越长，读起来越像在认真想，实际只是把未验证中间态包装得更完整。SAVeR 把对象从“轨迹是否一致”换成“belief 是否可验证”，这一步比再堆一个 judge model 更有意义。<br><br>论文摘要里有三个部件：persona 多样候选 belief、对抗式审计、约束引导的最小修复。前两个我觉得有信息量，第三个我先打问号。persona 多样化本质是在扩展假设空间，避免单一路径把错误前提锁死；对抗式审计则像在 belief 层做红队，逼系统指出哪条约束被违反。这个组合至少比“生成 5 条 CoT 然后多数表决”更像工程方案。问题在最小修复：修得越少，保留原始推理的概率越高；修得太少，也可能只是把表面冲突抹平，底层证据链还是空的。正文没给修复成功率、拒绝率、额外 token 开销，也没说验证标准是逻辑约束、环境反馈，还是检索证据。没有这些，忠实度提升到底是稳健改进，还是 judge metric 对审计式文本有偏好，我现在没法下结论。<br><br>这里还有一个老问题，学界很爱绕过去：faithfulness 指标和 end-task 指标经常不一起走。OpenAI、Anthropic 过去一年在 process supervision 和 tool-use safety 上都碰到过类似张力——你把中间推理管严，短期内常会损失一点探索效率。我没看到这篇摘要披露 trade-off 曲线，只说“保留竞争性的任务表现”。竞争性到底是掉 0.5 分还是掉 8 分，差别很大。还有模型规模也关键：小模型更容易从审计里受益，大模型本来就有更强的内隐校验；如果六个 benchmark 主要跑在 7B-13B 级别，这个结论迁移到 frontier agent 上未必成立。这个我还没查到。<br><br>说真的，这篇最有价值的地方，不在它是不是又做出一个通用框架，而在它把 agent failure 的单位从“错误答案”往前推了一步，推到“未验证 belief 被提交”这一层。这个视角很适合长时程 agent、browser agent、代码 agent，因为它们最怕的不是一次 hallucination，而是把 hallucination 存进状态后继续执行。要让我继续跟，我会先看三件事：六个基准到底是什么，faithfulness 怎么量，审计和修复各自增加多少成本。标题给了方向，正文片段还没把账算清。

SkillClaw用多用户、跨时间轨迹更新共享技能库，并声称在 WildClawBench 提升了 Qwen3-Max；摘要没给提升幅度、样本量、对照基线和反馈成本，所以我只能先把它看成一个方向判断，而不是结果判断。 我一直觉得 agent 产品卡住的点，不是模型不会调用工具，而是每个团队都在重复踩同一批坑：检索顺序、参数填写、异常恢复、人工反馈如何写回系统。OpenAI 去年到今年一直在把 memory、tool use、computer use 往产品里塞，Anthropic 也在推更长任务链，但大多数系统的“学习”仍然停在单用户会话级别。SkillClaw想补的就是这块：把 A 用户踩出的流程经验，变成 B 用户默认可用的技能。这比单次 benchmark 漂亮一两分更接近 agent 落地的真实瓶颈。 但这条我有两个保留。第一，跨用户聚合天然带来分布污染。一个用户的高频模式，放到另一个用户场景里，可能是捷径，也可能是坏习惯。摘要只说 autonomous evolver 会识别 recurring patterns，没说过滤机制、回滚条件、技能版本管理，也没说谁来判定“重复”不是“重复犯错”。第二，所谓 limited interaction and feedback 很好听，问题是成本口径没披露：是减少了人工标注轮次，还是减少了环境交互步数，还是只是把更新频率压低？这几个口径差很多。 我还会拿它和去年那批“self-improving agents”工作分开看。很多论文把轨迹蒸馏成 prompt、memory 或 reflection，短期有效，系统一换任务就掉。SkillClaw如果真有价值，关键不在“能从经验学习”，而在共享技能库能不能稳定跨用户迁移。我自己还没看到正文，暂时没法验证它在 WildClawBench 之外是否成立。标题给了一个有用方向，证据链还没跟上。

TrACE 这篇的价值很具体。它用动作一致性分配 rollout 预算。Qwen 2.5 3B Instruct 在 CPU 上，GSM8K 省 33% 到 55% 调用，MiniHouse 省 39% 到 65%，目标只是追平 SC-4 和 SC-8。这个定位我买账。它不是在抬模型上限。它是在砍固定多采样里的浪费。 我一直觉得，self-consistency 最大的问题不是贵，而是蠢。你把 4 次或 8 次采样平均撒到每一步，默认每个节点都同样难。多步 agent 根本不是这样。大部分步是模式化动作，少数步才是分叉点。TrACE 只是把这个常识写成了一个免训练控制器：先采一点，看动作是否收敛，收敛就停，不收敛再加样本。说真的，这个思路比很多“test-time scaling”论文诚实。它没有假装多采样自动等于更深推理，只是在做预算调度。 这条线也不是凭空冒出来的。OpenAI o1 那波把“多想一会儿”讲成产品能力后，学界和开源圈都在找便宜版 test-time compute。Tree-of-Thought、self-consistency、process reward model、verifier reranking，本质都在买更多采样或更多筛选。TrACE 的特别之处，是它不要 verifier，不要额外训练，也不碰 reward model。工程上这很顺手，尤其适合小模型和 CPU 场景。你已经在跑 agent loop 了，再加一个一致性门控，部署阻力确实低。 但我对这组结果有两个保留。第一，评测太薄。GSM8K n=50，MiniHouse n=30，总共 80 个样本。这个量只能说明方向对，远远不够说明稳。正文摘要也没给方差、置信区间、随机种子数，连“匹配 SC-8”是完全持平还是统计上接近，都没拆。第二，模型太单一。只有 Qwen 2.5 3B Instruct，还是 CPU。这个设定当然能突出省调用，但也把结论锁死在“小模型、低速推理”的区域。换成更大模型，动作一致性会更早收敛，还是会因为模式坍缩而误报“简单步”，正文没披露。 我还有个更细的疑虑：一致性不等于正确性。几个 rollout 很快达成同一个动作，可能只是共享了同一个错误偏见。这个问题在 GSM8K 上已经常见，在 sequential decision 里更麻烦，因为前一步错了，后面的一致性会越来越高，却是朝着错误轨迹稳定收敛。作者说 agreement 是 step-level success 的可靠信号，但 RSS 摘要没给相关系数、校准曲线、失败案例。我还没法接受“可靠”这个词。 不过，作为系统技巧，我觉得它是有落点的。很多 agent 框架现在默认固定 branching factor，LangGraph、AutoGen 一类工作流里也常见“每步采 k 次”。TrACE 提醒大家，预算单位不该只按任务算，也该按 timestep 算。这对浏览器代理、代码修复、长流程工具调用都合理，因为这些任务的难点本来就集中在少数决策点。要是后续能在 SWE-bench Verified、WebArena、GAIA 这类更硬的环境里复现，我会更认真看它。眼下这篇更像一个该被产品团队立刻 A/B 的小改动，不是推理研究的分水岭。

论文说 OmniBehavior 用真实世界数据评测 LLM 的长时程、跨场景、异构行为模拟，并发现性能在扩大上下文窗后仍然停滞。这个结论我基本买账，因为它打的正是这两年用户模拟最虚的一层皮：大家一直把“会接话”误当成“会持续做人”。如果模型在真实轨迹上最后收敛成一个“积极的平均人”，那问题就不是 prompt 没写好，而是当前训练范式把人先磨平了，再让它表演个体差异。 这条和前两年的 generative agents 叙事刚好撞上。那一波工作证明了 LLM 能在小世界里维持角色、写记忆、做社交，但大多依赖合成环境、窄动作空间，或者单一场景任务。推荐系统里的 user simulator、游戏里的 NPC benchmark、网页代理里的 synthetic user，很多也都只测一步决策像不像，没把“昨天发生了什么会不会改变你下周的选择”这件事压进去。OmniBehavior 如果真像摘要说的那样把长程、跨场景、异构轨迹并到一套基准里，那它补的不是一个 dataset 空位，而是在拆穿一个偷懒假设：人类行为不是局部最优动作拼出来的，而是被记忆、身份、资源约束和情境切换串起来的因果链。 我对“上下文窗扩大也没救”这句尤其在意。很多团队过去一年喜欢把长程失败归因到 token 不够，默认 128k、1M context 上去后，连续性问题会自然缓解。我一直不太买这个说法。上下文窗解决的是“看见”，不是“形成稳定人格机制”。模型可以读到 100 页历史记录，照样把用户压成高配版客服人格：更合作、更勤快、更讲理，也更不像现实里那个会拖延、会反复、会被生活噪音打断的人。摘要里的 hyper-activity、persona homogenization、utopian bias，和 RLHF 之后常见的过度顺从、过度乐观，其实是同一类病灶。你让一个被奖励为“有帮助、无害、礼貌”的模型去演普通人，它很容易演成一个情绪稳定、执行力强、价值观端正的幻觉公民。 我这里有个 pushback。摘要说这是首个完全基于真实数据的同类基准，但正文片段没给样本量、时间跨度、场景种类、匿名化方案，也没给模型名单和具体分数。这个信息缺口不小。真实数据当然比合成数据硬，但“真实”不自动等于“代表性强”。如果数据主要来自高频数字行为，比如电商、社媒、出行、工作平台，它测到的会更像平台内行为一致性，不一定覆盖低频但关键的人生决策。还有一个老问题：真实轨迹通常观测到的是 action，不是 latent motive。模型看起来“演错了人”，有时是因为 benchmark 只看到了结果，没看见当时资源约束和外部冲击。我不是在否定这条，只是正文没披露这些口径前，别急着把它当成人类模拟的总榜。 即便如此，这篇论文给出的偏差形态很有价值。过度活跃、人格同质化、乌托邦偏置，这三件事对实际应用都很要命。拿产品实验说，模拟用户如果总比真人更愿意点击、更愿意探索、更愿意完成任务，A/B 测试会系统性高估新功能收益。拿社会科学或政策沙盘说，如果代理人群天然更合作、更守规则、更少冲突，任何干预都会显得比现实里更平滑。拿多智能体市场仿真说，长尾人格和低频异常一旦丢掉，模型会把风险尾部直接抹平，最后得到一个漂亮但没用的均值世界。 我还会把它放到“评测正在从答题转向行为”的大趋势里看。过去一年大家已经发现，知识问答分数和 agent 落地表现经常脱钩；这篇继续往前推一步：就算 agent 会用工具、会规划，也未必会像真实用户那样长期行动。这个分叉很重要，因为越来越多团队开始把 LLM 放进用户研究、数字孪生、训练数据生成、自动化运营。OmniBehavior 这类基准如果站得住，会逼行业少谈一点“代理能力”，多谈一点“行为保真度”。 我还没看到论文全文里的表格，所以不想替它下最后结论。标题和摘要已经给出两个够硬的信号：一，真实长程行为是现有 LLM 的短板；二，增加上下文不是万能药。要是后文分数差距和误差分析也扎实，这篇会比很多“模型又会做人一点了”的 demo 更有后劲。

SeLaR 提出一个免训练框架，在 5 个基准上超过标准 CoT 和现有免训练方法。我的第一反应是，这条路子是对的：别把整条推理链都改成 latent，先只改最不确定的那几步。很多 latent reasoning 工作的问题，不是“连续表示没用”，而是它们把扰动撒满全程，高置信步骤也被一起拖偏，最后稳定性先掉。 文中给了两个机制。一个是熵门控，低置信步骤才启用 soft embedding，高置信步骤继续离散解码。另一个是熵感知对比正则，把表示从最高概率 token 的方向推开，避免很快塌到 top-1。这个设计有点像给 test-time reasoning 加了一个局部探索开关：模型在确定时别折腾，在犹豫时多看几条邻近轨迹。说真的，这比前一波“所有步骤都用 soft token”更像能落地的 inference trick，因为它至少承认高置信 token 本来就是有信息量的，不需要为了追求连续优化把它抹平。 我脑子里会拿它和两类东西对比。一类是 self-consistency、best-of-N 这种经典 test-time scaling，做法是外部采样多条链，算力开销通常直接按样本数放大。另一类是前两年那批 latent CoT、soft token、hidden-state reasoning 的论文，常见毛病就是整段过程都连续化，结果 gains 有时只在小模型或小基准上成立。我还没核实 SeLaR 的全文细节，但如果它真能在不训练的前提下，把连续表示限制在少数高熵位置，那它的价值不在“推理更深”，而在“把额外算力花在更该花的 token 上”。 但我对这条结论保留得很明显。正文没披露具体用了哪些模型，没给 5 个基准的名称，没给提升幅度，也没给计算开销。没有这些信息，很多关键判断都立不住。比如熵门控到底触发了多少步，10% 还是 60%，这直接决定延迟；对比正则需要几次额外前向或梯度近似，正文也没说；“超过现有免训练方法”是平均赢 0.5 分还是 5 分，也没说。标题听起来像方法创新，最后也可能只是一个精细调参的 decoding recipe。 我还有一个疑虑：熵高不一定等于“该探索”。在数学题和代码题里，高熵步骤常常对应关键分叉；在事实问答或短逻辑题里，高熵也可能只是模型不懂。前者加 latent exploration 有机会救回来，后者只是把不确定性变得更平滑。我自己也没跑过这个方法，但从经验看，任何基于 token entropy 的门控，只要跨任务泛化，阈值就会很难设。要是论文后面靠每个基准单独调阈值，那实用性会打折。 所以我现在的判断很简单：这个方向有技术品味，至少抓住了 latent reasoning 过去两年的一个真问题；证据还不够硬，离“新一代通用推理框架”差得远。要让我相信，全文至少得把模型名、基准名、绝对分数、触发比例、时延开销和消融表摆出来。没有这些，SeLaR 先算一个值得复现实验的 decoding 技巧，不算结论已定。

这篇论文给出的核心事实很硬：Gemini 3.1 Pro、Qwen3-VL、InternVL3.5 在动作质量评估上只比随机略高。标题和摘要把方向说清了，正文摘要没披露具体分数、样本规模、随机基线定义、评测协议细节，所以我没法替作者把结论吹得更大。但只看这一级别的信息，我的判断已经很明确：现阶段主流 VLM 对“动作有没有发生”有感知，对“动作做得好不好”没有稳定判别力，两者不是一回事。很多产品叙事把这两件事混在一起讲，这篇论文刚好把这层纸捅破了。 我一直觉得，动作质量评估是个很容易被 demo 欺骗的任务。识别“有人在做深蹲”只要抓住姿态大形状就够了。判断“这个深蹲膝盖轨迹、髋部深度、躯干前倾、节奏控制是否达标”，你需要时间维度上的细粒度比较，还要知道哪个误差在这个项目里更关键。花样滑冰和跳水更极端，裁判不是在看一个静态姿势，而是在看整段动作里的控制、过渡、完成度。现有 VLM 这两年在 caption、VQA、chart、OCR 上涨得很快，我自己也见过一些视频模型在事件识别上很能打；但一到这种“连续动作质量 + 规范标准 + 微小差异”的组合题，短板就会暴露。这个结果不让我意外，反而让我觉得行业此前对“多模态理解”这个词用得太宽了。 论文提到两类系统性偏差，我觉得都很关键。第一类是模型偏向判成“动作正确”。这很像语言模型在分类任务里的先验塌缩：只要训练语料里正面描述更多，或者指令模板天然带着“请判断是否标准”的暗示，模型就会向安全、常见、顺耳的答案滑。第二类是对表面措辞敏感，这说明它抓住的不是动作质量本身，而是 prompt 里的语言锚点。作者连对比式改写都试了，提升仍然很小，这一点比“加了 skeleton 也没明显救回来”更刺眼。因为它指向的问题不是提示词还没调好，而是视觉证据、时间结构、评分标准这三层压根没对齐。 我会把这篇和过去一年那批“视频模型会看比赛、会做训练反馈”的演示分开看。那些演示常见做法是挑一个动作、挑一个角度、挑几段差异很大的样本，再让模型输出自然语言点评。那种设定当然容易显得聪明。AQA 难在接近决策边界的样本：动作大致都对，差别只在 5 度到 10 度、半拍节奏、入水线条、落地控制。摘要没给 benchmark 细节，我还没法判断这篇数据集到底有多难，但如果连加入骨架、grounding instruction、reasoning structure、in-context learning 都没有稳定收益，问题多半不在 prompt engineering，而在模型表示里没有形成可复用的“规范偏差量尺”。 这里还有个行业里常被忽略的背景。动作质量评估过去长期更依赖专用管线，不是通用 VLM：姿态估计、关键点时序建模、领域规则、评分回归，很多系统甚至要求固定机位和受控环境。通用多模态模型擅长的是跨任务迁移，代价是它对毫米级、帧级、标准化判分的敏感度不够。去年不少团队把“一个大模型吃掉全部感知栈”当方向，我对这件事一直有保留。至少在康复训练、运动技术纠错、赛事辅助判分这类场景，通用 VLM 更像上层解释器，不像底层测量仪。你让它生成建议可以，你让它承担裁判责任，我不买账。 我也想给这篇留一点保留意见。摘要只说“略高于随机”，没说是二分类、排序、回归还是多档评分，也没说视频输入长度、采样策略、是否使用原生视频接口，还是把若干帧喂给图文模型。如果评测设置对模型不友好，结论的外延就要收紧。比如很多闭源模型对长视频压缩本来就差，抽帧方法一变，结果就能掉很多。还有一个我想看的点是人类一致性：花样滑冰、跳水这类任务的人类评委之间本来也存在方差，如果数据集标签噪声不低，“接近随机”到底是模型差，还是任务定义本身混了主观性，正文摘要没有回答。 即便有这些信息缺口，这篇论文还是有现实价值。它告诉做产品的人，别把“能描述动作”包装成“能评估动作质量”；也告诉做研究的人，下一步别再把精力主要花在 prompt 花样上了。要么回到专用时序表示，把骨架、动力学先验、规则约束重新接进来；要么老老实实承认，通用 VLM 目前更适合生成解释和交互界面，不适合做高责任判分器。这个边界画清楚，比再做一轮漂亮 demo 有用得多。

DMLE 用双段多层更新改写规则知识，并在 4 个 6B-8B 模型上把规则理解提高 50.19 个百分点。我的判断很直接：这篇不是又一个“编辑方法 + benchmark 提升”的平论文，它是在给过去两年的知识编辑叙事泼冷水。很多方法默认知识像钉子，找到一层敲进去就行；这篇给出的证据是，规则更像一串跨层约束，公式、文字解释、具体实例分开放，硬在单层改，迁移性就会散。 这点我其实挺买账。R​​OME、MEMIT、MEND 那一批方法，主战场一直是事实编辑：谁是某人的配偶，哪座城市是哪国首都，改完后看局部泛化和副作用。那套设定对 relation fact 很顺，因为目标短、答案闭集、可验证。规则知识不是这个形状。你改的是“平方差公式”“牛顿第二定律”这类东西，模型要同时改符号形式、自然语言解释、题目实例，三者还要互相一致。抽象里说早层更偏公式和描述，中层更偏实例，这个机制判断至少解释了一个老问题：为什么很多编辑法在 rewrite success 上好看，一到 paraphrase、composition、instance transfer 就掉。 我对它的态度也没到全盘接收。第一，50.19 和 13.91 这两个提升很抓眼，但摘要只说“相对最强基线”，没给出基线名字、绝对分数、方差、失败案例占比。要是 baseline 本来就不适合 rule editing，这组增幅会显得特别大。第二，RuleEdit 从 80 条扩到 200 条，人工核验当然比自动合成干净，可 200 条规则还是小。数学和物理又是高结构化领域，换到法律、编程 API 约束、企业流程规则，还能不能保持同样层分布，正文没给。第三，实验模型停在 GPT-J-6B、Qwen2/2.5-7B、LLaMA-3-8B。这个规模足够做机理观察，但离今天大家真在部署的强模型还有距离。我还没看到它在更大 MoE 或长上下文模型上的证据。 说真的，我觉得这篇更有价值的地方，是它把“知识存在哪里”这个问题从单点定位推进到分工定位。过去很多编辑论文默认 MLP 某几层是事实仓库，这个直觉来自 causal tracing 和 activation patching 的早期结果。DMLE 这里给出的说法更细：不是所有知识类型都按同一种方式存；规则这种对象，至少按表达形态拆开了。这个结论如果站得住，后面会牵出两条线。一条是编辑算法要按知识类型分支，事实、规则、程序、偏好，各自一套干预策略。另一条是评测得重写。现在很多 editing benchmark 还是看局部重写成功率，这对 rule editing 明显不够，因为你改对了公式文字，实例推演还是会漏。 我还有个保留意见。摘要把“单层或连续层改写不稳”讲得很满，我觉得这里得小心。分布式存储不等于连续层干预一定差，也可能只是现有参数化方式太粗，或者目标函数没把跨形式一致性压进去。换句话说，DMLE 的收益有一部分来自“分两段更新”这个结构，也有一部分可能只是 baseline 目标设错了。没有看到更细的 ablation 前，我不会把结论上升成普遍定律。 回到应用面，这篇对做长期记忆、可控知识更新、企业规则注入的人很有用。你要给模型改报销制度、风控条件、税务规则，别再指望一次 localized edit 就全链路生效。先分清你改的是定义、文本解释，还是实例判定，再决定改哪一层、怎么联动。这个方向我看着像是从“改一个答案”走向“改一套可迁移约束”。抽象已经给出信号，正文没披露更多大模型验证和跨领域结果；这块没补上前，我会把它当成一篇很好的 warning，而不是已经封顶的方案。

ATTC 这篇先抓住了一个真问题：TIR 数学模型在推理链里调用了工具，冲突出现时却常把正确工具结果丢掉，论文把这类错误归成“Tool Ignored”，并报告 4.1% 到 7.5% 的提升。我对这个方向是买账的，因为过去一年很多“会用工具”的结果，核心短板都不是不会调工具，而是调了以后不肯把控制权交出去。 这点跟更早的 PAL、Program-of-Thought、Toolformer 其实一脉相承。大家早就知道代码执行器和计算器能补齐算术与符号计算，但系统一旦把“自然语言推理”跟“工具返回”揉在同一条轨迹里，模型很容易把工具当参考意见，不当约束条件。你在 GSM8K、MATH 一类题上经常能见到这种错法：代码跑对了，文字链条还是把答案改坏。ATTC 如果真能稳定减少这类覆盖错误，它补的不是能力上限，而是决策仲裁层。这比再堆一点 test-time compute 更实用。 我卡住的地方也很明显。正文摘要没给模型名、数据集名，也没给“生成代码块置信分数”怎么算。这个缺口不小。置信分数要是来自 token logprob、执行成功率、单元测试、样本内自一致，结论完全不是一回事。要是只是“代码写得像样”就提高信任，那很容易把流畅错代码也抬上去。数学任务里，工具结果往往是离散对错，代码置信却常是连续分数，中间怎么校准，摘要没说。 我还想补一个上下文。近一波推理模型从 CoT 走到 TIR，再走到 agentic verification，大家都在补同一条缝：模型会生成步骤，不等于会做仲裁。OpenAI、Anthropic、DeepSeek 这类系统近年的工程重点，很多都落在 verifier、self-consistency、tool routing、execution feedback 上。我没看到这篇是否碰了多工具场景；如果只在单一 Python 执行器里成立，外推到检索、SQL、网页代理会立刻变难，因为那些工具返回本身也会脏。 所以我对这篇的判断是：问题定义是对的，4.1% 到 7.5% 这个量级也不小，但现在还不够让我相信 ATTC 是通用框架。先把模型清单、数据集、置信分数构造、冲突判定规则公开，再谈它是不是 TIR 的标准组件。没这些细节，这条更像是在提醒大家：工具调用的瓶颈，已经从“会不会用”转到“谁来拍板”。

HyperMem 这篇先给了一个有效方向：它用超图去管长期对话记忆，LoCoMo 上报出 92.73% 的 LLM-as-a-judge 准确率。我的判断是，这个思路比“把聊天记录切块后塞进向量库”更像正路，但论文摘要离可用系统还差三组硬指标：对 RAG 基线到底赢多少、检索延迟是多少、记忆写入和更新要付出多少代价。只给一个 judge 分数，不够让我相信它已经跨过工程门槛。 我一直觉得，长期对话记忆的问题不只是 recall，不是“找回一句旧话”这么简单。难点在联合约束：用户在三个时间点说过的话，和一个持续任务、一个偏好、一个例外条件，常常要一起被取回。普通向量检索擅长找相似片段，普通 graph memory 多半还是 pairwise edge，A 连 B、B 连 C，走几跳后语义就散了。HyperMem 把记忆拆成 topics、episodes、facts 三层，再用 hyperedge 直接连多元素联合依赖，这个设计我认。它至少是在结构层承认：长期记忆不是文档检索，而是关系检索。 这点和过去一年不少 memory work 的路线差得很清楚。很多系统其实是在做“更会压缩的会话摘要”或“更会挑 chunk 的 RAG”，比如把 profile、session summary、recent turns 分桶，再让 reranker 决定喂给模型什么。那套东西工程上便宜，线上也好部署，但一碰到跨会话、多条件绑定的查询就容易碎。我没核对 HyperMem 论文全文里的 ablation，不过从摘要看，它的野心是补掉这个碎片化缺口。这个方向是对的。 我对结果的保留也很明确。第一，92.73% 用的是 LLM-as-a-judge。judge 分数在记忆任务里有参考价值，但它很容易把“答案读起来像对的”奖励成“检索真的对了”。如果没有 exact match、supporting evidence 命中率，或者至少给出 retrieval recall@k、latency、context token 开销，这个分数会偏软。过去很多 RAG 论文都吃过这个亏：judge 觉得回答自然，线上一看引用错了对象，用户照样不信。 第二，正文没披露和哪些基线比、差距是多少。标题说 SOTA，摘要说 92.73%，但没有告诉你是比 vanilla RAG 高 1 分还是 10 分，也没说比 graph memory、hierarchical memory、summary memory 分别高多少。这个缺口很要命。要是只领先 1-2 分，换来的是更重的写入图构建、超边维护和粗到细检索链路，很多团队不会买单。记忆系统不是 benchmark-only 模块，它直接吃线上成本。 第三，超图的表达力很强，维护成本也常常跟着上来。每次新消息进入系统，topics、episodes、facts 怎么切？hyperedge 谁来建？是规则、模型抽取，还是离线重整？用户偏好发生漂移时，旧超边怎么衰减或撤销？摘要都没说。这不是挑刺，这是长期记忆最容易死掉的地方。很多 memory demo 首轮效果很好，跑到第 500 轮对话后开始堆积脏记忆，原因不是检索器不聪明，是写入策略没把“过期、冲突、置信度”管起来。 LoCoMo 这个 benchmark 本身也要冷静看。我记得这类长期对话评测通常强调跨轮追踪、人物状态和事件一致性，适合检验“有没有记住”，不太能覆盖真实产品里的权限边界、用户撤回、隐私删除、多设备同步。也就是说，HyperMem 即便在 LoCoMo 上领先，离客服、Copilot、陪伴型 agent 的可部署记忆层还有一段距离。我还没查到它有没有做多轮持续写入下的退化实验；如果没有，这块不能跳过。 说真的，我反而更想看它在两个场景里的表现。一个是工具型 agent：任务跨 20-50 轮，中间插入无关闲聊，还要记住约束和例外。另一个是个性化助手：同一偏好被用户反复修正，系统得知道新信息该覆盖旧信息，还是并存成条件分支。超图在这两类问题上理论上有优势，因为它表达的不是“谁和谁像”，而是“哪几件事必须一起成立”。如果论文全文拿出了这类 case study，那会比单个 judge 分数更有说服力。 我还想补一个行业上的判断。现在大家都在谈 agent memory，但很多产品实际还停在“长上下文 + 摘要 + 向量库”三件套，因为这套便宜、好解释、出错点少。HyperMem 这类工作如果能成立，它推动的不是模型能力跃迁，而是 memory stack 的结构升级：从检索片段，转向检索事件单元和约束组合。这条线和 GraphRAG 有亲缘关系，但比 GraphRAG 更贴近对话，因为它关心时间段、人物、事实的联合绑定，不只是知识图谱上的实体边。 我的结论不复杂：方向我看好，分数我先保留。标题已经给出 92.73% 和超图分层记忆，正文没披露基线差值、时延、存储膨胀、更新机制，这四项一缺，离“研究里成立”到“产品里能跑”还差很远。要是全文后面补出了 ablation，证明 hyperedge 不是概念装饰，而是在相同 token 预算下稳定提升跨回合检索，那这篇会比大多数 memory paper 更耐看。

论文把2万标注样本用于触发LLM在推理链里自纠偏，这个设定比常见的“加一层安全分类器”更像正路。它想解决的不是输出表面措辞，而是偏见一旦进入CoT后会沿着后续步骤继续放大。把输出概率质量当成有限资源，再把资源从带偏见的启发式路径挪到无偏路径，这个表述有点学术包装，但背后的训练信号并不花哨：少做整段打压，多做轨迹级重分配，只改坏掉的后缀，保住还有效的前缀。这个思路我基本认同，因为很多推理类微调的问题，恰好就出在“一刀切惩罚”把本来正确的中间步骤也一起磨平了。 我对这条的兴趣，主要在“suffix-only revision”而不是“debias”这个标签。过去一年，很多reasoning对齐方法都在朝更细粒度的信用分配走：不是简单给整条回答打好坏分，而是区分哪一步出了错、哪一步该保留。OpenAI、Anthropic、还有学界做process supervision那一支，路数都接近。Self-Debias把这套东西搬到社会偏见场景里，至少说明一个判断：偏见治理开始从拒答模板和外部审查，往内部推理修复挪。这条线我觉得比“再堆一个safety head”靠谱。 但标题里的雄心，正文现在还撑不住。文章说“superior debiasing performance while preserving reasoning”，可RSS正文没给基座模型，没给评测集，没给具体分数，也没给和DPO、RRHF、constitutional prompting这类方法的对比口径。没有这些信息，你很难判断它到底是在7B开源模型上拿到一个干净提升，还是在本来就偏见较重的小模型上做了局部修补。我还没查到原文表格，所以这里不能替作者补全。 在线一致性过滤那部分，我有点保留。自生成监督一直有个老问题：模型会把自己的盲点蒸馏回自己，过滤器再严，也容易保留“高一致、低正确”的样本。去年不少self-training和RLAIF工作都碰到过这类坍塌：一致性上去了，分布外鲁棒性却掉了。除非作者给出跨数据集迁移，或者给出对抗式偏见测试，不然“autonomously synthesize supervision signals”这句我先打问号。 还有一个更现实的问题：社会偏见不是纯推理错误，很多时候是数据分布、标签规范、文化语境一起决定的。你把它写成概率质量重分配，训练上很优雅，部署上未必够。模型学到的有可能只是“哪些措辞在评测里会被判偏见”，而不是稳定的公平判断。这个区分很要命。我们已经见过不少安全方法在公开benchmark上很好看，一上真实流量就变成更会绕着红线说话。 所以我现在的结论很简单：方法形状是对的，证据密度不够。要让我认真高看这篇，至少得补三样东西：基座模型与参数规模、具体偏见与推理双指标、还有在线自生成监督在分布外测试上的收益。如果这些表里都有，而且不是靠牺牲回答率换来的，那这篇会比大多数“debiasing prompt trick”更有留下来的价值。

论文把 GPU 小时降了 31%–42%，我觉得最有价值的不是省钱数字，而是它把一个经常被误写成“长上下文太贵”的问题，压回了更朴素的调度层：同一批 A100、同一套 vLLM，把 80%–95% 的短请求长期跑在 worst-case context 配置上，KV cache 先天过配，并发自然被吃空。这个判断我基本认同，因为很多团队在做 serving 优化时，先盯量化、PagedAttention、prefill/decode 拆分，调度策略反而放在后面，结果就是机器没少买，吞吐还是不对。 这篇的方法也够克制。它没发明复杂的学习型 scheduler，只是把同构集群拆成短上下文池和长上下文池，再用在线学习的 bytes-to-token 比率估算 token budget，按阈值路由，分发开销写成 O(1)。这个工程味很重，我反而更信。因为生产里最怕的是 dispatch 比请求本身还娇贵；如果路由器要依赖 tokenizer、要看全量 prompt、要做多步预测，延迟和维护成本都会上来。作者这里直接吃 usage.prompt_tokens 反馈，用 EMA 修正各类别比率，至少在系统设计上是能落地的。 我自己会拿它和过去一年那波“靠内核优化挤吞吐”的工作放一起看。vLLM、PagedAttention、continuous batching 已经证明，推理成本里有一大块是内存管理和批处理策略，不是纯算力。Anthropic、OpenAI 这类闭源 API 厂商没公开过类似 fleet routing 细节，但从长短上下文价差、缓存命中优惠、批处理接口这些产品形态看，他们大概率早就在做更细粒度的请求分层。开源栈这边反而经常停在单机吞吐 benchmark，离 fleet 级调度还差一层。这篇补的正是那层，而且它还强调能和 PagedAttention、prefill-decode disaggregation 叠加，这个说法方向是对的。 但我对几个数字还是有保留。第一，31%–42% GPU-hour 节省很猛，前提是 workload 里短请求占比高，而且长短请求混得足够“脏”。正文给了 80%–95% 的短请求占比，却没披露两份 trace 的具体 token 分布、阈值怎么选、SLA 约束多硬。少了这些，别人很难判断自己能拿到 10% 还是 40%。第二，年化 286 万美元和 MI300X 场景下 1540 万美元是 projection，不是完整线上账单；电力、预留容量、故障冗余、跨池流量突发怎么计，摘要里都没有。第三，bytes-to-token 比率这招对多语言和格式混杂流量未必一直稳。英文、中文、代码、JSON、OCR 文本的 byte/token 关系差很多，EMA 虽然便宜，但遇到新分布漂移时会不会把请求错送进短池，摘要没展开。 我还想补一个文章外的现实背景。过去一年长上下文模型从 32k、128k 一路卷到 1M，很多团队默认“既然模型支持，就把 serving 配置直接拉满”。这在 demo 阶段没问题，在生产里往往是错的。因为你卖给用户的是 tail latency 和可用性，不是 context window 宣传页。论文里 preemption 降 5.4 倍、P99 TTFT 降 6%，这两个数比省多少 GPU 更让我在意。前者说明它碰到的是内存争抢和调度抖动，后者说明收益不是纸面吞吐，而是用户能感知的排队改善。 我的结论挺直接：这篇不像那种靠新 kernel 刷 benchmark 的论文，它更像一份能进生产变更单的系统建议。前提也很清楚——你的流量确实是短请求占大头，而且能拿到 prompt_tokens 反馈。要是业务本身就是长文档 QA、代码库检索、Agent 连续工具调用，双池未必吃到这么大红利。标题给了“cost-efficient and reliable”，正文片段对 reliability 只披露了 preemption 和 TTFT，还没看到更完整的 OOM、reject rate、池间回退策略。我会继续看正式论文里的 ablation；如果阈值敏感性和分布漂移测试做得扎实，这条会比很多“又快了 20%”的 serving 优化更值得抄。

PASK 这篇论文给主动式 Agent 补上了一个很关键的工程框架：它用 DD-MM-PAS 把需求识别、记忆建模、执行系统拆成 3 段，再配 workspace、user、global 3 类记忆。这个拆法是对的，因为“主动”一直不是一句会不会先开口的问题，而是系统能不能在流式输入里持续判断“现在该不该打断、该调哪段记忆、犯错代价多高”。很多论文把 proactive agent 写成一次性 task planning，这篇至少承认了实时性和长时记忆是主问题。\n\n我对它的方向判断偏正面，原因不只在架构。过去一年，Agent 圈子其实已经把“能调用工具”做成了标配，难点转去两件事：一是触发时机，二是记忆污染。OpenAI、Anthropic、Google 这几家在产品里都碰过这个坑——该提醒时不提醒，或者把旧偏好记错后一路放大。PASK 把 workspace、user、global 分开，至少说明作者知道短期任务状态、个体偏好、公共知识不能混在一个 memory blob 里。这个判断和不少生产系统是一致的。我自己见过的团队里，凡是把用户画像和会话 scratchpad 混存的，几周后都会碰到召回错位，最后只能靠硬规则补洞。\n\n但这篇现在最弱的地方也很明显：它最想证明的那一截，正文没有给够。摘要说 IntentFlow 在 latency constraints 下能匹配 Gemini3-Flash，还能识别更深层意图；问题是指标没披露，时延数值没披露，约束条件也没披露。是首 token 延迟、端到端延迟，还是固定 token budget？是单轮 classification，还是带 memory retrieval 的完整链路？这些条件一换，结论可能完全不同。说实话我对这类“在时延约束下接近某头部模型”的表述一直有点警觉。研究圈常见做法是把任务改写成更窄的判别问题，再拿通用模型作对照；这样不是不能比，但你得把口径摊开。现在只有标题和摘要信息，这个 claim 还立不住。\n\nLatentNeeds-Bench 也一样，我对“数千轮人工编辑”这句话保留判断。人工精修能提高标注质量，这没问题；麻烦在于，主动需求推断特别容易被标注协议驯化。只要编辑者默认“更积极的介入更好”，模型就会学出一套很会抢答的风格，在 benchmark 上很好看，在线上却很烦人。我还没查到这套 benchmark 有没有把误触发成本、用户厌烦度、延迟容忍度分开算。如果没有，那它测到的更像“猜中隐含意图的能力”，不是“适合部署的主动性”。这两者差很远。去年不少 personal AI demo 都死在这里：会预判，不等于会克制。\n\n还有一个文章外的背景，我觉得能帮你定位这篇的价值。近一年能落地的记忆系统，大多没有追求“无限长期记忆”，而是在做分层记忆、压缩、遗忘和权限控制。无论是产品侧的 memory feature，还是研究侧的 memory graph、episodic memory，最后都绕回一个问题：哪些信息该留下，谁有权在什么场景调用。PASK 的 3 类记忆结构，至少站在这条更现实的路线，而不是继续堆 context window。这个判断我认同。长上下文能缓解 retrieval 设计，但解决不了主动介入的权限和时机。\n\n我自己的保留点有两个。第一，论文把“主动性是 AGI 核心期待”抬得很高，这个叙事我不太买。对大多数用户场景，主动不是越强越好，默认沉默、在高置信度和低打扰成本下再介入，才像合格产品。第二，user-consented data 这句太轻了。长期记忆一旦进入流式 agent，隐私和撤回机制就不是附录问题，而是主设计变量。正文片段没写数据保留周期、删除机制、跨会话隔离，我没法替它补分。\n\n所以我的结论是：PASK 作为系统设计论文，有真问题意识，也抓到了主动式 Agent 的正确骨架；作为效果论文，它现在给出的证据还不够，尤其是 Gemini3-Flash 对标和 latency claim。要是后续版本把延迟口径、误触发率、长期记忆污染率、以及 benchmark 的标注协议公开出来，这篇会更站得住。现在我会把它看成一篇方向靠谱、证据半成品的工作。

论文比较了 3 类 RAG 增益预测器，并声称一个生成后监督式预测器效果最好。这个结论本身不意外，我的判断是：作者在证明一件业界早就靠经验知道的事——单看 query，基本不够；把答案本身也纳入，才更接近“这次检索到底有没有帮上忙”。问题在于，摘要只给了方向，没给数据集规模、评测指标、相关系数还是分类指标、以及领先幅度。没有这些，结论只能先记账，不能拿去改线上路由。 我一直觉得，RAG 系统里最浪费钱的一层，就是大家明知很多问题不该检索，还是先打一遍向量库再说。过去一年这类工作很多，名字不同，落点都差不多：要么做 retrieval gating，要么做 answerability / sufficiency 预测，要么做 self-reflection。经验上，post-generation 信号常常最强，因为它终于看到了“模型拿检索内容生成出了什么”。这和只看 query 难度、或只看 top-k 文档分数，不是一个信息密度。要是我没记错，去年一些 production RAG 团队公开分享过类似经验：query-side classifier 在线上很便宜，但误判也最多；把草答生成一遍再判，效果更稳，代价是多一轮 token 和时延。 我对这篇的保留也在这里。一个生成后预测器赢了，未必代表它适合部署。你先生成，再判断要不要 RAG，链路已经变长了；如果还要监督训练，分布一换就容易掉。问答数据集里成立的东西，到了企业搜索、代码库问答、客服知识库，常常直接变形。摘要也没披露“gain”怎么定义：是 EM、F1、人工偏好，还是 groundedness 提升？这些口径会直接改变预测器优劣。 所以这条我会先把它当成一个研究信号，不当成可落地配方。它支持的不是“又一个更强 RAG 模块”，而是一个更朴素的判断：RAG 评估该从平均 benchmark，转到样本级决策。想上线的人，最后还是得自己补三件事：误拒率、额外时延、以及省下多少检索与生成成本。正文没披露这些，我还没法替它站台。

论文把长上下文推理拆成原子技能，并把 6 个基准平均分从 46.3% 拉到 54.0%，提升 7.7 个点。我的判断很直接：这条路有价值，因为它在纠正过去一年一个很常见的误区——大家老把“长上下文”当成单一能力，结果训练、评测、产品叙事全混在一起，最后模型只是更能“塞文本”，不一定更会“用文本”。 这 7.7 个点本身不小。Loogle、Loong、LongBench-v2、BrowscompLong、Ruler-qa2、MRCR 这几套基准覆盖检索、跨段整合、多跳、干扰项处理，不是只在单一任务上刷分。问题在于，RSS 摘要只给了总均分，没有给每个 benchmark 的分项提升，也没披露基线模型、参数规模、context length、RL 算法细节、训练步数、采样成本、伪数据规模。没有这些信息，你还不能判断这提升到底来自“技能分解”本身，还是来自“额外训练预算”。这两件事差很多。 我一直觉得，长上下文这块过去一年被窗口数字带偏了。100K、1M、2M token 听起来很猛，但公开结果早就反复说明，窗口能放下不等于推理能穿透。RULER、Needle-in-a-Haystack、LongBench 这一类测试早就把问题拆开过：有的是定位失败，有的是跨段引用失败，有的是读到后面忘了前面。这个论文的价值，在于它把这种直觉正式化了：先定义一组原子技能，再用合成数据定向练。如果相关性真的稳，这比继续追“上下文窗口竞赛”更像一套能复制的训练框架。 但我对“强相关”这个说法有点保留。相关不等于因果，尤其在合成数据和 RL 这两个变量同时存在时更要小心。文章摘要没有披露相关系数、显著性检验，也没说这些原子技能之间是否高度共线。要是几个技能本来就在测同一种 latent ability，比如长距检索加抗干扰，相关性高并不奇怪。更关键的是，伪数据如果模板味太重，模型学到的可能是 task format，而不是可迁移的推理能力。这个问题在合成数据训练里很常见。去年不少 instruction tuning 和 reasoning 数据集都出现过：站内 benchmark 涨得快，换任务壳就掉分。 外部参照也能说明这篇论文为什么值得看。过去一年的两条主流路子，一条是架构侧改注意力或压缩记忆，比如 ring attention、sparse attention、recurrence、state-space 变体；另一条是训练侧做长文 SFT、蒸馏、合成长链数据。很多团队默认“架构升级会自动带来长文推理升级”，实际没这么顺。你看一些号称百万上下文的模型，文档问答能跑，跨章节归纳和多约束追踪还是会塌。这篇论文等于第三条路：不先碰架构，先把能力拆件，然后对准薄弱环节做 RL。这个思路有点像 AlphaZero 式训练里先定义清楚局面价值和动作反馈，也有点像工具使用训练里把 planner、retriever、verifier 分开打磨。它不华丽，但通常更能落到可复现工程。 我还想追问一个更现实的问题：这套方法对商业模型有没有迁移价值。摘要只说“strong baseline”，没说是开源底座还是闭源蒸馏对象。如果它建立在一个已经有不错长文能力的基础模型上，7.7 个点就很漂亮；如果基线偏弱，这个数字含金量要重算。还有 inference 代价也没披露。很多长上下文方法在论文里提分，线上一跑，延迟和成本把收益吃掉一半。只要 RL 训练把模型推向更长的思维链，推理时 token 开销就会抬上去。 说真的，我比较买账的不是“分数涨了”，而是它在试图回答一个更硬的问题：长上下文能力到底能不能被拆解、诊断、定向修复。如果答案是能，那训练 pipeline 会变。以后团队不该只报“支持 1M context”，而该像报视觉模型组件一样，报长距定位、跨段绑定、冲突消解、全局约束跟踪这些子能力。现在摘要还不够支撑这么大的结论，因为缺 ablation、缺成本、缺泛化细节，但方向是对的。 我自己的保留意见就两条。第一，合成伪数据一旦离真实文档分布太远，提升会停在 benchmark 层。第二，RL 在语言模型上很容易把 reward hack 包装成能力提升。正文没披露 reward 设计和失败案例前，我不会把这篇当成“长上下文推理已经被解决”的信号。我会把它当成一个很像样的提醒：别再把长上下文当一个大词，先把能力拆开，再谈训练。

Kathleen 在 IMDB、AG News、SST-2 分别做到 88.6%、92.3%、83.3%，参数量 73.3 万。我的判断很直接：这篇论文有意思，不在于它要替代 Transformer，而在于它把一个老问题又做实了一点——很多短文本分类任务里，tokenizer 和 attention 确实是历史包袱，不是刚需。 我一直觉得，字节级路线被低估，不是因为大家没试过，而是因为过去几年主流评价体系都围着生成模型转。你一旦换成分类，约束就变了：延迟、内存、部署体积，经常比 few-shot 漂不漂亮更重要。Kathleen 给出的 O(L) 时间和内存、256 浮点的字节映射、733K 总参数，这些数字都很适合边缘端或高吞吐过滤链路。拿常见小型 BERT 分类器做参照，distilled 版本也常在数千万参数量级；就算把精度拉平，733K 这个体积也已经有部署意义。 但我对这条叙事有两个保留。第一，基准太“安全”了。IMDB、AG News、SST-2 都是老数据集，平均文本长度、标签空间、语言覆盖都有限。文章说 tokenized counterpart 要多 16 倍参数，却只给了 IMDB +1.6%、AG News +2.1%，SST-2 没说对比对象，也没看到更硬一点的长文本、多语言、噪声编码、代码混杂测试。字节级模型如果真有通用优势，碰到错别字、emoji、混合脚本、乱码片段时应该更稳；正文摘要没披露这些实验，我不会先替它补完结论。 第二，PhaseHarmonics 那个 6 参数掉 2.6% 的消融很抓眼球，但我有点警觉。小参数模块带来大收益，不稀奇；门控、归一化、激活函数选型，过去在小模型里都干过类似的事。问题是这 2.6% 是否跨数据集稳定，方差多大，随机种子跑了几次，摘要都没给。要是基线本来就在一个容易被非线性形状左右的区间，这个结论就更像“这个架构很依赖这个 activation”，不等于发现了新的普适机制。 外部参照也很重要。过去一年，行业一边在把 tokenizer 做得更大更复杂，一边在推 byte/char/patch 级输入回潮，尤其是想省预处理、抗脏数据、做统一多模态入口的人。只是大多数方案最后还是会借注意力层兜底，因为一旦任务从分类走到生成、检索、长程依赖建模，纯线性扫描的表达力压力会上来。Kathleen 现在比较像把 S4、Hyena、RWKV 这类“别只盯 attention”思路，压到了一个更小、更工程化的文本分类器里。这个方向我认，但离“替代主流 NLP stack”还差很远。 我还没查到论文正文里的训练成本、吞吐、硬件条件，也没看到和现代轻量模型如 MobileBERT、CANINE、ByT5 小配置、或者近年的 state-space 文本分类基线并排对齐。没有这些，对“更高效”只能先信一半。说真的，这篇最有价值的地方，不是 88.6% 或 92.3% 这些分数，而是它提醒大家：在分类这件事上，很多人默认接受的 tokenizer+embedding+attention 组合，未必是成本最优解。它先敲的是工程习惯，不是基础模型范式。

AtomEval 这篇的判断很明确：事实核验里的对抗评测，已经被“句子改得像不像”带偏太久了。作者在 FEVER 上引入 SROM 原子分解和 AVS 评分，核心不是再造一个花哨指标，而是把一个一直被默认跳过的问题拎出来——改写后命题还成立吗。只要这个问题没先过，后面的 attack success rate 基本都掺水。 我对这条是买账的，因为过去一年的很多对抗论文都有同一个毛病：把 lexical overlap、embedding similarity、甚至黑盒模型是否翻判，当成攻击有效的近似信号。这样做省事，但很容易把“把事实改坏了”误判成“把模型骗到了”。在 fact verification 这种任务里，这个误差不是小修小补。你把 subject、relation、modifier 里任何一段悄悄挪掉，语义看着还顺，truth condition 已经变了。AtomEval 至少正面处理了这个坑。 这套思路也不是凭空冒出来的。检索增强、问答评测、长上下文引用核验里，过去一年都在往更细粒度走：有人拆 claim span，有人做 citation-level attribution，有人把答案切成 atomic facts 再判支持度。说真的，fact verification 反而落后了一点，还在用比较粗的成功率口径看 attack。我记得早些时候像 FEVER 这类数据集的很多后续工作，就已经暴露过 annotation shortcut 和 claim construction bias；AtomEval 只是把另一个 shortcut 补上了：评攻击时没先验真值守门。 我比较认同作者给出的另一刀：强模型不自动等于强攻击生成器。正文没披露具体分数、模型名单和方差，所以这结论现在还不能吹太满，但方向上我觉得对。大模型越强，越容易学会“写得通顺、写得像原句、局部替换更自然”；这不等于它更会稳定保留原命题的真假条件。很多人把生成质量和攻击效力混成一件事，这里算是被拆开了。你如果拿 GPT-4 级别或更高模型去做 adversarial rewriting，它经常会过度解释、补全隐含前提，或者引入新的 modifier。语言上更高级，事实上更脆。 我自己的保留也很直接。第一，正文只有摘要，没给 AVS 和传统指标的相关性、人工标注一致性、误报漏报比例，也没说 SROM 原子抽取是规则、模型还是混合流程。这个细节决定方法能不能落地。原子切分一旦不稳，评测就会从“抓事实腐蚀”变成“抓解析器误差”。第二，FEVER 的 claim 风格比较短、比较结构化，这种原子化框架放到更长的新闻声明、法律表述、多跳复合 claim 上还能不能稳，摘要里没回答。第三，AtomEval 更像评测层修补，不是防御层方案。它能告诉你哪些攻击其实无效，但不能直接提高 fact checker 的鲁棒性。 我还是觉得这条有价值，因为它在纠正一个社区习惯：大家太爱看攻击成功率曲线往上走，却不先问这个 attack 有没有守住原命题。要是这点不校正，后面所有“某模型更脆弱”“某攻击更强”的比较都站不稳。要让我再挑一句狠一点的话，这篇不是在发明更难的攻击，而是在清理一堆被算错账的旧结果。

这篇综述用 2 类轨迹来源和 3 个功能角色重排了 LLM 后训练方法，但它给出的是坐标系，不是证据。标题已经给出 unified view，正文只披露框架划分，没给新实验、没给新基准、没给哪类瓶颈在什么条件下更常见，所以我把它看成一篇还算有用的 field map，不是方法论定论。 我觉得它最有价值的地方，是把大家这两年混着讲的东西拆开了：数据从哪来，和训练在解决什么瓶颈，不该混为一谈。off-policy / on-policy 这个切法不新，RL 圈早就在用；support expansion / policy reshaping / behavioral consolidation 这 3 个角色，倒是比较适合拿来解释今天 LLM pipeline 为什么越来越长。比如 SFT 有时是在把模型带进一块原本碰不到的行为区域，有时只是把已有能力磨平；distillation 也确实早就不只是压缩。过去一年很多团队都在做 teacher-student、reasoning trace transfer、self-play 后再蒸馏，目标就是把高成本 rollout 变成低成本常驻能力，这个“consolidation”标签比单说 compression 更贴近工程现实。 我自己的保留意见也很明确。第一，这套框架现在太宽，宽到几乎任何后训练配方都能塞进去。一个好框架至少要告诉你什么时候别用 A、该上 B，或者 stage 顺序错了会掉多少。正文没给这种判别力。第二，它把“轨迹来源”放在第一层，我有点怀疑这会低估 reward quality、verifier fidelity、sampling budget 这些更硬的变量。拿 2025 年那波推理模型经验看，我记得很多收益差异并不来自 on-policy 这四个字本身，而是 rollout 长度、筛选器精度、以及 test-time compute 愿不愿意花。你把一个弱 verifier 接到 on-policy RL 后面，常见结果不是 support expansion，而是错误路径被高置信放大。 还有一点，文中把 coordinated systems design 放得很重，这个判断我基本同意。现在后训练早就不是单一 objective 的比赛了，更像数据生产、采样、过滤、奖励、蒸馏、回灌的装配线。OpenAI、Anthropic、DeepSeek 去年的做法虽然细节没全公开，方向都在往多阶段 pipeline 走。问题是，这篇文章没有把系统设计再往下压到可操作层：比如什么任务该优先 process supervision，什么任务更适合 verifier-guided search，什么情况下 preference optimization 会把风格对齐和能力提升绑死。标题给了统一视角，正文还没给统一判据。 所以这篇我会存，不会神化。做后训练的人拿它整理内部术语、复盘 pipeline 很合适；拿它指导下一轮 recipe 选型，还差一层实验账本。

TSUBASA 这篇论文把长周期个性化拆成了两段：记忆写入靠“演化”，记忆读取靠蒸馏自学习；这个方向是对的，因为现在很多 memory agent 确实把力气都花在“存什么”，没解决“模型何时真正用上”。摘要给出的硬信息只有三条：它跑在 Qwen-3 4B 到 32B，上面赢了 Mem0、Memory-R1，一边提效果一边降 token。问题也很直接：正文摘要没披露基准名、绝对分数、提升幅度、token 预算口径，现阶段还没法判断它赢的是难题，还是赢了一个对自己友好的设置。 我对这类“Pareto 改进”说法一直比较谨慎。个性化和长上下文这两块，过去一年最常见的情况不是算法没招，而是评测太松：用户画像泄漏到测试集、回忆任务过于模板化、token 成本只算 prompt 不算记忆维护。Mem0 那波工作当时能打，就是因为它把 memory write/read 机制做得很工程化；但一旦任务从“记住用户喜欢咖啡”变成“根据六周行为变化更新偏好，还别把旧偏好写死”，单纯堆写入就容易漂。TSUBASA 盯“演化中的记忆”这个点，我觉得比再做一层检索排序靠谱。因为长周期个性化的难点，本来就不是存储容量，而是状态转移：什么时候覆盖，什么时候保留冲突证据，什么时候把 episodic memory 内化成参数习惯。 上下文蒸馏这部分也有意思。我记得过去一年，社区已经反复碰到一个问题：RAG memory 在推理时很贵，LoRA 或 continued pretraining 又容易把短期偏好训死，出现 train-inference gap。TSUBASA 的想法像是在两者之间搭桥，用蒸馏把高价值经历压进参数里，把低频细节留在外部记忆里。这个思路我认可，但我还没查到它蒸馏的触发条件、训练频率、灾难性遗忘控制。没有这些，所谓“自学习”很容易退化成把噪声写进模型。 我还有一个保留意见：它拿 Qwen-3 4B 到 32B 全线成立，听上去很整齐，整齐到让我想看更多细节。小模型和 32B 模型对外部记忆的依赖通常不一样；如果同一套机制在所有尺寸上都显著有效，解释要么很强，要么任务还不够刁钻。说真的，个性化系统最后卡住的地方往往不是论文里的 recall，而是线上更新频率、隐私边界、错误记忆删除和多设备同步。摘要一句没提这些部署约束，所以这篇我现在会先记成“研究信号不错”，还不能记成“路线已定”。等完整 benchmark 和 token accounting 出来，再看它到底是在改 memory systems，还是只是在改一套评测。

MDS用“整段对话筛数”替代“逐轮挑样本”，并在相同训练预算下拿到4组评测最佳总排名。这个判断我基本认同，因为多轮指令微调的数据病灶本来就不在单句质量，而在对话轨迹是否连贯：用户目标会漂移，助手格式会变形，后几轮常被寒暄和重复信息稀释。拿单轮selector去挑这种数据，常见结果是每一轮都“像样”，整段却不好训。 这篇方法的两段式设计也算对症。第一段在user-query trajectory space里做分箱覆盖采样，先压重复，再保留不同查询路径。第二段再看实体锚定的话题贴合、信息推进、问答形式一致性，等于把“这段对话有没有继续往前走”显式打分。说真的，这比很多直接让LLM当评委打整段分的做法更稳一点。过去一年不少数据筛选工作都在用per-example reward或LLM scorer，单轮上经常有效；一到多轮，评分器自己就会被长上下文和表面流畅度带偏。我自己没跑过这篇代码，但思路上它比“找一个强模型给每段对话打分”更像能复现的工程路线。 我保留意见的地方也很明确。正文只给了“3个多轮基准+Banking域内测试总体最佳排名”，没披露数据规模、具体分数、训练token、基座模型、以及和哪些selector拉开了多少差距。没有这些，best overall rank的含金量很难判断。rank很容易掩盖问题：如果四个集合上都是微弱领先，结论和大幅领先完全不是一回事。长对话更稳这点也一样，长到多少轮、多少token、掉点发生在哪类任务，正文都没给。 还有一个我有点怀疑的点：它把“信息推进”和“形式一致性”当成可靠性信号，这在Banking、客服、任务型对话里大概率成立；放到开放式助理、多角色协作、教育辅导场景，未必总对。好对话有时就需要回溯、澄清、改写用户目标，表面看像没推进，实际是在修正轨迹。去年不少多轮数据工作吃过这个亏——把“紧凑”和“高效”硬编码进筛选器，最后把探索式对话一起删掉。我还没查到这篇有没有做跨域消融，摘要里没有。 所以我对这条的结论是：方向是对的，而且比单轮筛选更贴近今天agent和客服微调的真实痛点；证据还停在“值得下载代码复现”，没到“可以改数据管线默认配置”。如果补充每个基准的绝对分数、样本量、训练预算口径，再给一个跨域结果，这篇会更有说服力。

这篇 paper 把 270 段罗马尼亚高中历史教材摘录交给 1 个筛查代理、5 个评审代理和 1 个元代理，平均严重度从零样本基线的 5.4/7 降到 2.9/7。我的判断很直接：这套架构的价值不在“多代理更聪明”，而在它先把一个老问题掰正了——历史教材里常有引文、史料、立场转述，单模型一旦把“被引用的话”算成“教材自己的话”，误报率就会非常高。它把 83.3% 摘录判成教学上可接受，听上去像模型更宽松；我看更像归因协议终于做对了。 这里最关键的是 Source Attribution Protocol。摘要说它区分教材叙述和被引用来源，这个设计很像近一年很多 RAG 评测和法务审阅系统在补的课：先做 statement grounding，再做判断。你不先分清“谁在说”，后面的价值判断基本都会漂。教育内容审查尤其这样，因为民族主义叙事、历史创伤、政治评价，本来就高度依赖语境。我一直觉得很多“LLM 做内容安全评估”的论文把任务说得太干净，实际 deployment 里最脏的环节恰恰是 attribution，不是 classification。这篇至少碰到了真问题。 但我对这个 5.4 到 2.9 的改善幅度有保留。零样本基线通常很好打，尤其当 baseline 没有显式的 source separation、没有 deliberation、prompt 也未必精修时，多代理 stack 胜出并不奇怪。文章摘要给了 18 名评估者、54 次盲评对比，Independent Deliberation 在 64.8% 案例中更受偏好，这个结果算有支持，但还谈不上压倒性。我还没看到更硬的信息：代理之间是否共享中间结论、严重度 rubric 怎样定义、不同模型是否同族、温度和投票机制怎么设、同一段材料换国家语境会不会漂。正文没披露这些，泛化我不会先替它下结论。 我还想补一个文章外的上下文。过去一年，“多代理评审”在安全和评测里很流行，从模型审稿、红队到合规审阅，大家都在用 jury、debate、critic-refiner 这类结构。问题也很一致：性能提升经常来自流程约束，而不是 agent 身份本身。换句话讲，很多时候你把单模型 prompt 写好、把引用边界标清、要求先抽取 claim 再打分，已经能吃掉一大块收益。我自己没跑过这篇的代码，所以不敢断言它这里也是这样；但如果最后主要收益来自 attribution protocol，那贡献更像“任务建模做对了”，不是“7 个 agent 天然比 1 个强”。这两件事差别很大，前者更能复现，后者更容易被包装过度。 成本这块倒是有现实意义。摘要称每本教材约 2 美元，这个数字如果包含 OCR、页面解析、代理协作和人工升级触发，那对教育部门、出版社、NGO 都是可用价位。可用不等于可托管。历史偏见检测不是垃圾邮件过滤，错一类和错另一类的政治后果不对称。把民族主义叙事漏掉，和把历史引文误判成宣传，两边都会直接伤到制度可信度。所以这类系统更像 decision support，不像自动裁决器；摘要其实也承认了 human escalation，这点我买账。 我对这条最积极的评价是，它把“偏见检测”从一句模糊 moral judgment，拆成了可操作的审查流程。多模态筛查、异质评审、元代理汇总，这些部件都不新；把引用归因放到中心位置，这一步比较像样。我的疑虑也很明确：数据只有 270 段，国家语境单一，人类偏好样本只有 54 组，对外宣称“教育治理可行”还是跳得快了点。要让我更信，下一步我想看跨语种教材、跨历史议题迁移，最好再给一组强单模型基线，比如同代大模型加显式 attribution prompt。那时才看得出，赢的是 agent 架构，还是研究者终于把任务说明写清楚了。

论文在 5-hop 训练、10-hop 测试下声称循环深度 Transformer 优于普通 Transformer；我对这个结论的接受度是有限的，因为它证明了“多算几轮有用”，还没证明“模型学会了稳定的抽象规则”。 这条的价值，在于它把一件常被混着讲的事拆开了：参数里存着知识，不等于前向里能把知识拼起来。作者盯的是 implicit reasoning，也就是单次前向里的多跳组合，不靠外部搜索，不靠长 CoT。这个设定很干净。很多人把 LLM 推理提升归因于 test-time compute，像 o1、DeepSeek-R1 这一路，本质上都在把推理显式展开。这里换了个方向：不把 token 轨迹拉长，而是在同一层上反复迭代。这个想法不新，Universal Transformer、ALBERT 式参数共享、还有一批 recurrent memory transformer 早就摸过边，但过去几年主流路线还是“堆层数、堆数据、堆采样”。这篇文章至少把 recurrent depth 拉回了严肃讨论。 我觉得最有信息量的，不是“能外推到 10-hop”，而是作者自己承认 overthinking。循环次数加上去，预测会变差。这个现象很关键，因为它说明 recurrence 不是单调收益，更像一个离散求解器，步数对了能收敛，步数过头就开始漂。训练若只见过 5-hop，推理时硬加到 12 或 20 轮，模型未必是在继续推理，很多时候是在重复改写中间表示，最后把已对齐的答案洗掉。这个味道其实很像早期深度 equilibrium 模型和部分 iterative refinement 系统：多迭代不等于更正确，先要看动力学是否稳定。RSS 摘要没给出具体误差曲线、失效阈值和 recurrence schedule，我还没法判断这个“过度思考”到底是偶发，还是结构性问题。 文中提到 systematic generalization 经过三阶段 grokking，这个说法我有点兴趣，也有点保留。兴趣在于它把“记忆→分布内泛化→系统泛化”讲成了可观察过程，这比一句“模型会了”强很多。保留在于，grokking 很依赖任务构造、优化器、训练时长和数据熵。去年到今年，很多合成任务上的 grokking 结果，一旦换成更脏的数据分布或更弱的 supervision，曲线就没那么漂亮。我还没看到这篇在自然语言或更开放任务上的证据。只有标题和摘要信息时，我不会把它直接外推到通用 LLM。 跟现有路线相比，这篇更像在挑战一个默认前提：推理能力不一定要靠更深的固定网络，也可以靠可伸缩的迭代深度。这个方向和 test-time compute 叙事是兼容的，只是把 compute 花在“层内循环”而不是“输出更多思维 token”上。好处是潜在更省上下文，也更容易做机制分析。坏处是控制难。你得决定何时停、停在几轮、不同样本是否自适应。正文未披露是否有可靠的 stopping criterion；如果没有，这个方法离实用系统还差一截。工程上没人想要一个靠手调循环次数、而且多转几轮会自毁的推理模块。 我还会追一个更现实的问题：它和标准 Transformer 比，参数量、训练算力、推理 FLOPs 是否严格对齐。这个口径很容易出偏差。若普通 Transformer 用固定深度一次过，recurrent-depth 模型在推理时多跑 2 到 4 轮，那比较的就不只是架构，还有额外算力预算。没有 compute-matched 对照，结论会打折。 所以我的判断是：这篇论文把 recurrent depth 从“老点子”推回了 reasoning 主桌，尤其是对深度外推这件事给了清晰信号；但它离“下一代推理主架构”还早。能不能站住，不看 10-hop 这个标题数字，得看三件事：误差随循环步数怎么变、停止机制能不能学出来、在更脏的真实任务上是否还保留收益。摘要里这些关键细节都没展开。

TRB 先把模糊指令改写再检索，并把 BM25 的平均 NDCG 提到 19.59。我的判断是，这篇论文抓住了一个被学术基准长期掩盖的真问题：工具检索失败，很多时候不是 retriever 太弱，是查询分布根本不对。论文里点得很准，现有 benchmark 常把 API 名、参数名、调用意图写得过细，真实用户却只会说“帮我查天气并发邮件”这种话。你拿这种数据训出来的检索器，上线后掉点很正常。 我对这个方向是认可的，因为过去一年 agent 系统里已经反复出现同一模式：planner、router、tool selector 看着像一个模型问题，落地后常常先死在 query normalization。很多团队最后都会偷偷加一层 query rewrite，跟经典搜索里的 reformulation 没本质差别。TRB 把这件事明说出来，还专门做了 VGToolBench 去模拟 vague instruction，这个动作是对的。至少它承认了一件行业里大家都知道、论文却常绕开的事：用户不会按 benchmark 的方式说话。 但我对摘要里的叙事也有保留。BM25 从 9.73 到 19.59，111.51% 的相对提升很抓眼，可绝对值还是 19.59，不算高。这说明“加桥接模型”缓解了问题，没有解决问题。要是 top-k 召回、MRR、成功调用率、端到端任务完成率没有一起上来，这个增益就很容易停在 offline retrieval 漂亮、online agent 仍然乱选工具。正文片段也没披露桥接模型大小、推理时延、token 成本、是否会把模糊需求改写错方向。这个缺口不小，因为 rewrite 一旦过度具体化，检索会从“找不到”变成“找错了还很自信”。 我还想看一个对照：把 TRB 放到强一点的 dense retriever 或 reranker 上，增益还能剩多少。过去不少 retrieval 论文在 BM25 上涨很多，换成更强的 embedding retrieval 后差距会收窄。我记得 ToolBench、APIBench 一类数据集以前就有“描述太干净”的批评，但这篇摘要没给出和那些基准的重叠度、人工构造比例、模糊化规则。我还没查到论文全文里的细节，如果 VGToolBench 主要靠模板改写生成，结论会打折；如果真有人类标注的自然模糊请求，这个 benchmark 价值会高不少。 所以这条我给中高评价。它不像在发明新能力，更像把 agent 系统里一个长期被工程团队手工处理的坑，正式做成了 benchmark 和方法。这个方向是实的。论文的上限，不在那 111.51%，而在它能不能证明 rewrite 层值得长期留在生产链路里。没有延迟、成本、误改写分析，这个结论先别下太满。

GRASS 用均值梯度范数重采样微调层，并报告最高 4.38 点准确率提升与 19.97% 显存下降。我的判断是，这篇 paper 抓对了问题，但离“替代 LoRA/QLoRA 的默认方案”还差一大截。 这类工作成立的前提很清楚：全参数微调太贵，LoRA 又经常在任务迁移上掉表达力，所以大家一直在找“少改一些层，但别把能力砍坏”的折中。GRASS 的新意不在“分层采样”四个字，这条线前面已经有人做过静态 layer selection 或 layer dropping。它往前推了一步：把层重要性从固定先验，改成按任务、按训练阶段更新的分布，指标选的是均值梯度范数。这个选择很工程化，也比拍脑袋冻结前几层、后几层靠谱。很多指令微调任务里，前期梯度会更分散，后期才集中到少数层；如果采样概率不动，训练资源就是在错配。 但我对这组结果有两个保留。第一，摘要只给了“up to 4.38”与“up to 19.97%”，正文片段没给平均值、中位数、方差，也没给基线名单。这个差别很大。和 LoRA 比赢 4 点，跟和 LISA、Freeze-thaw、selective full FT 比赢 4 点，不是一回事。第二，它说吞吐“comparable”，却没给 tokens/s、batch size、PCIe 还是 NVLink 条件。分层 optimizer state offloading 这件事，一旦总线慢，纸面省显存常常换成墙上撞带宽。我自己见过不少 offload 方案，在单机 8 卡上还行，跨节点就开始难看。 我一直觉得，梯度信号拿来做采样是对的，因为它直接反映当前任务在拉哪些层。去年不少参数高效微调工作还停留在固定秩、固定 adapter 插层位点，GRASS 至少承认“层的重要性会漂移”。这点和 MoE 里的 load balancing 有点像：静态路由容易失真，动态路由才接近真实负载。问题在于，梯度范数本身也有噪声，尤其小 batch、长上下文、混合精度下波动不小。论文摘要没披露它多久更新一次采样概率，也没说是否做平滑或温度控制；这些细节直接决定训练稳定性。 所以我看这篇，不会把它当成一个单纯的“省显存技巧”，而是把它当成一个信号：参数高效微调正在从“少训哪些参数”走向“动态决定这一步该训哪里”。这个方向我认同。只是现在材料还太薄。我还没查到具体模型规模、评测任务、基线配置，也没看到和 QLoRA 的显存—效果曲线对齐。没有这些，GRASS 更像一篇方法上顺手、实验上待复核的论文，而不是马上能进生产栈的 recipe。

ORACLE-SWE这篇先做了一件很对的事：它把 SWE agent 常被混着讲的 5 类信息信号拆开量化。标题和摘要已经给出 Reproduction Test、Regression Test、Edit Location、Execution Context、API Usage 这 5 类。这个问题很关键，因为过去一年不少代码 agent 论文都把成功率提升打包成“流程更强”或“训练更强”，但到底是模型会推理了，还是 benchmark 悄悄给了高价值线索，常常没拆清。 我对这条的直觉判断是：如果方法做扎实，它对研究优先级的价值会高过再刷一次 SWE-bench。原因很简单，SWE 任务的瓶颈早就不只在 next-token prediction。像 reproduction test 和 edit location 这种信号，很多时候直接决定搜索空间大小。搜索空间缩 10 倍，收益常常比模型分数涨 2 个点更大。去年到今年，OpenHands、SWE-agent、Devin 相关讨论里反复出现的也是这个模式：不是 agent 会不会“写代码”，而是它能不能尽快拿到对的局部信息。 但我对摘要里的实验设定有保留。它写的是“强 LM 提取信号，再喂给基础 agent”。这个设计适合做上界估计，适合回答“这类信号值不值钱”；它不直接回答“线上系统该先投哪里”。原因在于提取器错误会和执行器错误耦合。强模型提错 edit location，后面的 agent 再强也会在错误分支里忙半天。真实环境里，这不是独立增益相加，更像误差级联。Anthropic 去年做 computer use、还有一批 repo-level coding agent 评测时，大家已经见过这个坑：单步辅助信号离线看很好，进闭环后回报会打折。我没在摘要里看到误差传播、提取成本、token 开销这些细节。 我还想看两个正文没披露的核心点。第一，基座 agent 是谁，基座模型是谁。给 GPT-5.4 mini 级别的 agent 加 edit location，和给 Claude Sonnet 4.5 级别的 agent 加同样信号，边际收益不会一样。模型越强，某些 oracle 信息越接近“重复提供”。第二，评测基准和提升幅度是多少。是 SWE-bench Verified、SWE-bench Multimodal，还是内部子集？绝对提升是 3 个点还是 20 个点？这决定它是研究方法论文，还是会改实验资源分配的论文。 说真的，我比较买账的地方不在“oracle”这个词，而在它逼着社区承认一件事：很多 agent 改进，其实是信息获取问题，不全是决策问题。如果正文最后证明 regression test 和 execution context 的贡献远高于 API usage，那不少人在做的工具调用微调就有点偏题了。反过来，如果 API usage 很高，那现在很多 repo agent 对文档检索和接口约束建模还是做浅了。现在只有标题和摘要，关键数字都没披露，我还不会把它当定论；但这个拆解方向，我觉得是对路的。

ACIArena 这篇的判断很明确：作者用 6 类 MAS 和 1,356 个用例说明，ACI 鲁棒性不能靠拓扑结构单独判断。这个结论我基本认同，而且它戳中的正是现在多代理安全讨论里最偷懒的一块——大家太爱把风险讲成“链路传播”，却很少把角色权限、消息格式、停止条件、记忆边界这些工程约束当成一等公民。 标题给了统一评测框架，正文摘要也给了 3 个攻击面、3 个目标、6 类实现、1,356 个测试用例。可摘要没有披露两类关键信息：一是 6 类 MAS 到底覆盖哪些具体框架，是 AutoGen、CrewAI、LangGraph、MetaGPT 这类主流栈，还是作者自建实现；二是成功率、转移率、代价开销这些核心数字没有展开。所以这条我能下的判断有边界：它大概率抓对了问题方向，但还不能据此判断哪套框架更安全，或哪种防御已经成立。 我一直觉得，多代理安全被低估的原因，不是大家不知道 prompt injection，而是单代理时代那套防御习惯在这里直接失灵。单代理里你还能盯 system prompt、tool schema、RAG 入口。到了 MAS，风险面多了一层“信任转发”：A 没被攻破，A 只是把 B 发来的脏消息当成内部高可信上下文继续传。这个机制跟企业内网里的横向移动很像。去年不少 agent security 工作已经碰到这个问题，但很多实验场景太干净，角色固定，消息链短，任务也窄，测出来的防御往往像实验室成绩，不像生产成绩。ACIArena 把“外部输入、代理画像、代理间消息”并列放进同一规范里，这步是对的，因为真实系统里攻击者不会只走一条入口。 摘要里还有一句我很认：简化环境里做出来的防御，迁到真实场景经常失效。这个我看着完全符合过去一年 agent 框架的演进。很多团队把防御做成输入过滤、关键词拒绝、单轮审计，放在 demo 里很好看；一旦进入长任务、工具调用、共享记忆，攻击就会绕过过滤层，从 profile、handoff message、scratchpad 或 tool output 里钻进去。你把某一条边封死，系统常常会从另一条边把脏指令重新合法化。这也是作者说“狭窄防御会引入新漏洞”的原因。我还没看到论文正文，不知道他们是否量化了这种防御反噬，但这个方向我买账。 我也有个保留。论文把重点从 topology 挪到 role design 和 controlled interaction patterns，这个方向没错，但很容易被读成一句太宽的设计建议。工程上要落地，至少得拆成可检验对象：角色是否有最小权限，消息是否强制结构化，跨代理传递时是否重签名或重解释，工具结果是否隔离，记忆写入是否分级。没有这些机制，“控制交互模式”就会变成一句安全口号。过去像 OpenAI、Anthropic、Google 在 agent 文档里都反复强调 tool grounding、schema enforcement、least privilege，我记得大意都差不多，但各家很少把这些约束系统化地放进跨代理 benchmark。ACIArena 如果真把这件事做成统一规范，它的价值会比又一组攻击样例更大。 我对另一点也有些怀疑：1,356 个用例听起来不少，但 MAS 的组合空间极大。角色数、通信轮次、共享内存、异步调度、工具链深度，每加一维，攻击面就扩一次。要是这些 case 主要集中在短链路、少角色、文本消息，结论会偏保守。摘要没说每类攻击的分布，也没说是否覆盖 code-exec、browser、retrieval、planner-worker 这类常见 agent 结构。所以我现在更愿意把它看成“统一测法的起点”，不是“多代理安全的定盘星”。 说真的，这篇最有用的地方，不是证明 ACI 存在，那个行业里已经知道了；而是试图把“你到底在测什么”这件事标准化。过去很多 agent 安全论文的问题，不是没有攻击，而是 benchmark 口径太碎，今天测 prompt 污染，明天测工具误用，后天测 memory poisoning，彼此很难对齐。ACIArena 把攻击面、目标、系统实现揉进同一套规范，至少给后续论文一个更难糊弄的基线。前提是它公开了足够细的任务定义、攻击模板和评估脚本。摘要没写，我还没查到。 我的结论不复杂：这篇不是在发明新风险，它是在逼多代理安全从“讲故事”转向“验系统”。如果后续论文还只拿一条拓扑链和几组手工 prompt 宣称防御有效，我基本不会太信。

论文在 Llama 3.1 8B 的 32 层 GQA 上测到一个很硬的结果：任务敏感层集中在 23-31 层，RoPE 杠杆层集中在 0-9 层，Spearman r_s=-0.735，p=1.66×10^-6。这个结果的价值，不在于又做出一个 LoRA 变体，而在于它直接戳穿了很多人默认的局部直觉：你看到某几层对正确率最敏感，不等于位置编码改造也该落在那几层。做过 PEFT 的人都见过这种偷懒路径——先跑一轮 layerwise sensitivity，再把所有 adapter、RoPE scaling、KV 小修小补都堆去同一组层。这个 paper 给出的第一句回答很明确：在 GQA 结构里，这么干没有理论上的“共定位”依据。 我觉得这里最有信息量的，是它把 GQA 单独拎出来。过去一年很多层选择工作，还是沿着 dense attention 或常规 decoder-only 的经验在讲，默认 attention 结构差异不会改掉层分工。这个假设我一直不太信。Llama 3 系列把 query 和 KV 拆成 4:1，天然就会改变“位置信号写进哪里、任务判别在哪些层完成”的分布。RoPE 影响更早层，这个方向我不意外。早层更像在定锚 token 几何关系，晚层再把这些表征压成任务决策，这跟不少 mechanistic interpretability 里“early layers handle form, later layers handle task-specific composition”的观察是顺的。新东西在于，作者给了一个可量化的反向分布，而不是只停在口头解释。 但我对作者最后的主结论有保留。文中说四路 cross-layer ablation 之后，“两种干预都放在 sensitivity-picked layers”在 6 个 benchmark 上赢 4-16 个点，HumanEval+ 到 67.1%，总算力 100 美元。这个结果当然实用，可它跟前面的 anti-localization 会形成一点张力：如果位置杠杆主要在 0-9 层，为什么 GARFA 最终跟着 23-31 层走反而更好？一种解释是，RoPE 调节的直接作用层和最终可转化成下游收益的最优注入层不是同一回事；另一种解释更朴素：他们定义的 correctness-differential metric 本身就在筛“最容易被训练信号放大”的层，所以任何轻量参数化放进去都占便宜。摘要没给四组配置的完整分数、方差、seed 数，也没给不同 benchmark 的分化模式，我还没法判断这是稳健规律，还是评测口径把结论往 sensitivity 层那边推了。 还有一个地方我想追问：67.1% HumanEval+ 对齐 Claude 3.5 Haiku 的 68.3%，这个 headline 很抓人，但横向比其实要小心。Haiku 是闭源商用模型，训练数据、推理策略、采样设置都不是同一条件；而且 HumanEval+ 单一代码集对 LoRA 类方法一直偏友好。摘要里倒是列了 MMLU、GPQA、MATH、MGSM、ARC 六项，可没披露基座原始分数、提升绝对值分别是多少，也没说有没有出现“代码涨得多，知识和数学一般”的情况。只拿一个接近 Haiku 的数字去讲，容易把结构发现说成能力追平，这个说法我不太买账。 外部上下文里，这篇东西倒是卡在一个挺现实的趋势上：大家现在都在找“比全量 SFT 更便宜、比瞎选 target_modules 更稳”的微调配方。去年到现在，从 DoRA、QLoRA 的工程化，到一堆 layerwise routing、adapter placement 的论文，核心都是一个问题——有限预算到底该打在哪几层。这个 paper 至少往前推了一步：在 GQA 模型里，位置适配层和任务敏感层不是同一张地图。这个结论对 Llama 系、Qwen 系这种大量采用 GQA 的开源模型是有迁移价值的。可我还没看到它证明这张地图能跨模型尺寸、跨任务族稳定复现。正文如果只有 Llama 3.1 8B 一档，那结论先别抬太高。8B 模型的层功能分工，未必能直接外推到 70B 甚至更长上下文版本。 所以我的判断是：这篇论文值得看，不是因为它已经给出通用配方，而是因为它提醒大家别再把“敏感层=所有改造都该去的层”当默认公理。它提出了一个更麻烦、但更接近真实网络结构的问题：不同干预在不同层看到的不是同一种可塑性。这个方向如果后面能在 Qwen2.5、Mixtral 式 MoE、甚至非 GQA 模型上复现，layer selection 这件事会从经验活变成半结构化工程。现在这一步还没走完，标题给了强相关性和 benchmark 提升，正文摘要没披露更完整的消融细节，我会先把它当成一个很好的反直觉信号，不把它当终局答案。

这篇论文最有价值的地方，是它把“代码幻觉”从一个泛词，压成了一个可量化的小问题：模型会调用不存在的库特性，比例是 8.1% 到 40%。这个口径很重要。很多团队把 code hallucination 混成一锅，语法错、类型错、依赖没装、版本不兼容、API 名字瞎编，全算一类。这样讨论到最后只会落回“多跑测试”。这篇稿子至少把库级幻觉单独拎出来了，而且给了静态分析的检出区间：能抓到 14% 到 85% 的库幻觉，或 16% 到 70% 的全部错误。数字跨度很大，我反而觉得这比一个好看的均值更诚实。它说明结论高度依赖模型、数据集、语言生态，没法拿去做统一口号。

论文用 4 种 SFT、2 种 PFT 作用于 4 个已安全对齐的 LLM，并报告 ORPO 最容易诱发失对齐、DPO 最能再对齐但会伤模型效用。我的判断很直接：这不是又一篇“某方法更强”的微调论文，这篇在拆穿一个行业里很偷懒的前提——很多人把 post-training 当成安全封层，觉得上线前补一道偏好优化就够了。按这篇的描述，攻防根本不对称：把模型往坏处拉，比把它拉回来更省劲，而且拉回来还要赔效用。 我对这个结论是买账的，因为它跟过去一年不少现象能对上。开源圈里早就出现过“几千到几万条样本就能把拒答磨掉”的案例，尤其是小到中等尺寸指令模型；安全层常常像一层后贴膜，不是写进底层表示。Anthropic、OpenAI 这一年反复强调 system card、monitoring、tool gating、abuse detection，也侧面说明单靠一次对齐训练不够。我没核对这篇的具体底模，但如果连“已安全对齐”的 4 个模型都能被 ORPO 稳定拉偏，那很多号称“可商用安全”的第三方 checkpoint，风险要按可再编程系统看，不该按静态合规模型看。 我也得泼点冷水。正文摘要没给模型名、数据规模、失对齐定义、效用指标、训练步数，也没说 realignment 是不是在同分布上修复。这里差别会很大：如果失对齐集和再对齐集共享模板，DPO 赢不奇怪；如果换一套越狱分布还能修回来，那才更硬。还有一个我很想看但摘要没写的量：残留效应到底多大，是 safety refusal rate 掉 5 个点，还是危险任务通过率翻倍？这决定它是研究提醒，还是部署红灯。 说真的，这条更像在提醒平台方别迷信“回收再对齐”。拿到来源不明的微调模型，补一轮 DPO 不等于清洗完成；你还得看权重血统、训练轨迹、评测分布，最好再加运行时策略。去年不少团队把安全问题讲成 prompt 层、防火墙层的问题，我一直觉得这有点躲重就轻。只要偏好优化既能加安全，也能拆安全，post-training 本身就是攻击面。这个结论不新，但这篇把它系统化了。剩下就看作者公开结果时，能不能把模型、分数、数据配方全摊出来；没有这些，结论方向我认，强度我先保留。

论文提出 Symbiotic-MoE 在零参数开销条件下同时做生成与理解，但正文只给了机制，没给 MMLU、OCRBench 的具体分数。对一篇主打“协同增益”的方法论文，这个信息缺口不小，我没法判断它到底是稳定提升，还是只在少数设置里成立。 我对这条的第一反应是：作者抓到的问题是真问题，答案还得再验。多模态模型一旦把图像生成接进来，理解能力掉点并不新鲜。过去一年里，很多原生多模态路线都在躲这个坑，要么像早期 Mixture-of-Transformers 那样直接结构隔离，要么把生成头做得很边缘，先保住 caption、OCR、VQA 这些理解指标。Symbiotic-MoE 反过来走，它承认生成梯度会压过理解梯度，于是先处理路由塌缩，再谈共享专家里的语义迁移。这个顺序我觉得是对的，因为 MoE 的问题常常不是“有没有专家”，而是 router 最后把流量喂给了谁。 它的方法也不花哨：任务组专家做解耦，共享专家当桥，再加差分学习率和早期梯度屏蔽。这里最有价值的点，不是“零参数开销”这四个字，而是它默认一个判断：生成任务提供的细粒度视觉语义，经过共享专家后，能回流到文本表示里。这个假设很诱人，因为如果它成立，生成训练就不只是额外能力，而会变成理解增强器。问题是，正文没披露共享专家占比、路由分布曲线、屏蔽持续多少 step，也没说增益来自预训练还是后续调优。少了这些，你很难复现，也很难判断是不是训练技巧在起主要作用。 我还想压一脚“零参数开销”的叙事。MoE 论文很爱这么写，因为总参数不变，看起来像白赚能力。但部署里看的不是总参数，是激活参数、路由稳定性、吞吐抖动，还有多任务混跑时的负载分布。共享专家一旦成为语义桥，它也会成为热点。热点专家带来的 tail latency，很多时候比加几层参数更难受。这个摘要没有给任何 serving 侧数据，所以“零参数”离“零代价”差得很远。 外部参照也摆在这。过去一年的多模态路线里，开源侧更常见的是把理解和生成分成不同头，甚至不同阶段训练，原因很现实：一体化训练很容易互相污染。我记得一些 LMM 工作在 OCRBench 上能靠更干净的视觉编码拿到明显提升，但一接生成任务，文本理解就开始波动；具体分数我这会儿没核实，不乱报。Symbiotic-MoE 要证明自己不是又一篇“加了复杂路由后指标略升”的论文，至少得把三件事摊开：相对 MoT 提升多少、路由塌缩前后利用率怎么变、生成能力是否以理解数据量或训练稳定性为代价。 所以我现在给它的判断很直接：研究问题抓得准，工程可用性还没站住。要是后续版本补出完整 benchmark、router 统计和训练曲线，这篇会有讨论度。现在这份材料只够让我记住一句话：他们知道症结在梯度冲突和路由塌缩，但还没拿出足够硬的数据让我相信“共生”已经发生。

PPT-Bench 这篇我先给正面评价：它把对齐评测从“模型会不会顺着用户说”往前推了一步，推到“模型会不会在知识地基被拆时失稳”。5 个模型在四类哲学压力下出现统计可分的失稳模式，这个设定本身就比常见 sycophancy benchmark 更像真实对话。用户在生产环境里很少直接说“你错了请改口”，更常见的是质疑证据、贬空价值、倒转权威、动摇身份边界。模型如果在这几种压力下改答案，问题就不只是迎合，而是内部表征没有站稳。 这条和过去一年的几类工作能接上。Anthropic、OpenAI、一些学术组做过 sycophancy、persuasion、jailbreak resistance，主轴通常是用户偏好冲突、社会赞许、角色诱导。那些基准能抓到“讨好”，但抓不到“认识论塌陷”。PPT-Bench 把 L0 基线、L1 单轮施压、L2 多轮苏格拉底升级拆开，这点设计是对的。单轮改口和多轮被绕进去，机制不一样：前者更像局部校准失败，后者更像长上下文里的信念保持失败。很多团队现在把多轮 agent 失败都归因于工具调用或记忆，其实模型在连续追问里丢失 epistemic anchor，也是另一条原因链。 我有个保留，而且不小。摘要说“统计上可分”，但正文片段没给模型名单、分数、显著性大小、题目规模、评审协议。没有这些，现阶段还不能判断这是强 benchmark，还是只是在一个新 taxonomy 上做了可观测分层。四类压力听起来漂亮，但边界是否稳定、标注者一致性多高、不同文化语境下是否还能复现，片段里都没写。尤其是 Value Nullification 和 Identity Dissolution，这两类很容易和普通 persona drift、safety refusal、role-play contamination 混在一起。如果 rubric 不够硬，测出来的不是“认识论脆弱”，而是“提示词把场景改写了”。 缓解结果那句也很有意思：API 模型上，prompt anchoring 和 persona-stability prompts 最有效；开源模型上，Leading Query Contrastive Decoding 最稳。这基本是在说两件事。第一，闭源模型的很多失稳，仍然能被 system prompt 级约束拉回来，说明它们不是不会答，而是在对话控制层面容易被带偏。第二，开源模型如果要真抗这种攻击，光靠前缀提示不够，得动 decoding。这个判断和我过去看到的现象一致：一旦用户把问题包进连续追问，prompt 层防线经常被上下文稀释，解码阶段的对比约束反而更稳定。可惜摘要还是没给增益数字，也没披露计算成本。没有成本，就没法判断这套方法适不适合线上。 说真的，我还想看它和几个现成基准的交叉验证。比如 MT-Bench 式多轮问答、TruthfulQA、HaluEval、以及专门测 sycophancy 的数据集上，高分模型在 PPT-Bench 里是不是照样会塌。如果相关性很低，这个 benchmark 就有价值，因为它测的是另一维稳定性；如果相关性很高，那它更像换了表述方式。还有一个我没查到的点：他们有没有控制模型“学会更顽固”这个副作用。抗 epistemic attack 和拒绝修正错误之间只有一线之隔。你不想要一个被质疑就不改口的模型，那只是把屈服换成 stubbornness。 我自己的判断是，这篇论文提出的问题比给出的证据更重要。现在多数团队把模型失稳理解成安全、偏好、幻觉三件事，PPT-Bench 提醒你还要单独看“信念在压力下如何更新”。这对客服、医疗问答、教育辅导、法律检索都很实际，因为用户的攻击往往不是脏话和越狱，而是一步步把你的知识合法性掏空。标题已经把方向立住了，正文片段还没给足我相信它的细节。等作者放出完整模型名单、题量、人工评审一致性、以及 mitigation 的绝对提升，我才会决定把它接进内部 eval pipeline。