全部

这篇论文直接把“安全”落到参数删除上，而且条件写得很清楚：事后对齐、无梯度归因、资源开销适中、还能兼容量化模型。这个判断比很多安全论文硬，因为它不再假设拒答风格等于风险下降，而是声称预训练模型里存在可定位、可切除的“unsafe tickets”。如果这个命题成立，SFT 和 RLHF 在一部分场景里就更像表层约束，剪枝才是结构性修补。 我对这个方向有兴趣，不只是因为它省资源。过去一年，安全对齐大多还是两条路：一条是继续做数据和偏好优化，比如 constitution、DPO、RLAIF 这类；另一条是做推理时防护，比如 classifier、router、system prompt、tool permission。两条路都有效，但都绕不开一个老问题：模型内部那套会产出危险续写的电路还在，只是被压住了。Anthropic 过去讲过 jailbreak robustness 退化，很多开源模型一换模板就掉线，原因就在这。你把输出风格教会了，不等于把危险回路拆掉了。这个工作想做的，就是后者。 但我先泼点冷水。摘要里最关键的数字几乎都没给：不安全生成降了多少，越狱成功率从多少降到多少，utility loss 用什么任务量化，剪了多少参数，按层还是按模块剪，剪枝后是否需要再校准，正文摘要都没披露。没有这些，现阶段还不能判断它是“少量剪枝带来稳定收益”，还是“靠明显损伤能力换安全曲线好看”。安全论文里，这个坑太常见了。很多方法在 harmful set 上能赢 20 个点，转头就在 MMLU、GSM8K、MT-Bench 或视觉问答上掉得很难看。这里标题和摘要只说 minimal utility loss，我不接受这个表述当结论，除非作者把任务面、统计显著性和对照模型一起摆出来。 我还想追问“gradient-free attribution”到底怎么做。无梯度听起来讨喜，因为它规避了全量反传的算力压力，也更适合量化权重和黑盒近似场景。但这类方法有个老毛病：归因稳定性不一定够，尤其在大模型里，参数间冗余和补偿很强。你今天识别到一组“危险参数”，明天换个提示模板、换个采样温度、换个语言，触发路径就可能漂。Lottery Ticket Hypothesis 拿来解释这件事很顺手，可我对它在 LLM 安全里的外推一直保留意见。LTH 在小模型和训练可重现性上有启发，放到跨任务、跨语言、跨模态的大模型里，常常会被过度讲故事。这里如果没有跨提示、跨语种、跨攻击模板的一致性结果，“unsafe tickets”更像一个有吸引力的比喻，不足以算被证明的机制。 文章点了 Mistral 和 LLaVA，这里反而让我更在意泛化边界。文本模型和多模态模型的危险回路未必是同一种东西。LLaVA 这类 VLM 的风险，很多时候来自视觉编码器和语言头之间的接口错配，或者来自指令跟图像证据之间的竞争。你在纯文本 Mistral 上找到的可剪参数，未必能平移到图文联合表示上。摘要说 generalizes across architectures and quantized variants，这话很大；但正文没给具体架构、量化位宽、量化后回退幅度，我只能先当成作者声明，不当成已经坐实的工程结论。 我寻思了一下，这条线如果成立，最现实的落点不是替代 RLHF，而是补它的短板。开源部署方一直有个痛点：拿到一个基础模型或指令模型后，没有预算重训，也没有高质量偏好数据，只能做 LoRA、rule-based guardrail、再加一个审核器。剪枝式 post-hoc alignment 如果真能在一两张卡上完成，而且对 4-bit、8-bit 量化版本还管用，那它对中小团队的价值很直接。这个位置有点像去年一些 representation engineering 工作想做的事：不碰大训练流程，直接改模型内部表征或局部参数，让安全性在部署端落地。差别在于，剪枝比加 steering vector 更“不可逆”，这既是优点，也是风险。优点是越狱者更难用提示把它绕回来；风险是你一旦剪错，能力损失也更难补。 我自己的疑虑还有一层：很多有害行为并不是孤立能力，而是通用能力的坏用法。生化、网络攻击、社工诈骗，背后都吃推理、检索、计划、代码、长上下文整合这些通用电路。你若真把这些电路相关参数剪掉，安全会上去，但能力也容易一起掉。作者声称存在“safety tickets”能保住性能，这当然是最想看到的结果；可在我看来，这个命题比“有 unsafe tickets”更难成立。因为前者要求危险行为和有用能力在参数空间里可分，现实里它们往往纠缠得很深。Anthropic 和 OpenAI 这两年一直偏好 policy-layer + system-layer + monitoring-layer 的组合，而不是直接大规模删能力参数，我猜不是没想到，而是分离难度太高。 说真的，这篇东西我会继续看全文，但现在只凭摘要，我把它放在“机制上有意思，证据还不够硬”的档位。它最有价值的地方，不是立刻提供一个通用安全补丁，而是逼安全研究正面回答一个老问题：我们到底是在训练模型学会礼貌地拒绝，还是在真正削弱有害行为的内部实现。标题已经给出方向，正文摘要没给关键数字。要让我相信这不是又一个 benchmark-safe、deployment-fragile 的方案，我至少要看到三组结果：一是明确的越狱攻击集和成功率前后对比；二是跨语言、跨模板、跨采样设置的稳定性；三是能力损失不只看一个基准，而是看推理、代码、多模态和长上下文。缺任何一组，这条都还停在好想法，不是可依赖的方法。

摘要声称 1D 粗到细 token 让图像自回归搜索变强，还在无 AR 训练条件下做了文生图。这个点如果成立，打到的不是一两个搜索技巧，而是“中间状态能不能被 verifier 稳定评分”这件事。2D 网格 token 的老问题一直在这：前几十步往往只是局部纹理或空间碎片，CLIP 这类图文打分器很难在半成品上给出稳定梯度。粗到细序列把低分辨率语义先排出来，beam search 或 lookahead 才有东西可挑。 这条和过去一年不少工作能对上。我印象里，图像 AR 这波重新热起来，靠的就是 token 语义密度上升，而不是搜索算法突然变聪明。像 coarse-to-fine、semantic-first、patch reorder 这一类设计，目的都差不多：让前缀别太像噪声。语言模型的 test-time search 这些年反复证明过，前缀一旦可判别，best-of-N 和 verifier rerank 才能吃到收益；前缀如果不可判别，搜索只是在放大采样成本。这个逻辑搬到图像上，我觉得是顺的。 但我对摘要里的两句大话有保留。第一，正文没披露提升幅度，也没给搜索预算。best-of-N 从 N=4 到 N=64，结论会完全不同；beam search 的宽度、lookahead 的深度、verifier 调用次数，也直接决定“效果提升”是不是拿十倍算力换来的。第二，“纯搜索、无需训练 AR 模型也能文生图”听着很猛，我有点怀疑这里更像在一个强 tokenizer 加强 verifier 的空间里做组合优化，而不是接近可用的生成范式。要是生成质量只在少数 prompt 成立，或者多样性很差，这个卖点就要打折。 我还想看一个关键对照：它和 diffusion/rectified flow 上那套 test-time guidance 比，到底赢在哪里。图像生成过去几年主战场一直是扩散模型，classifier-free guidance、reward guidance、后验重采样都很成熟。AR 路线如果要靠 search 把局面扳回来，至少得说明在同等 verifier 调用预算下，画质、一致性、吞吐谁更好。摘要没给这些。 所以我现在的判断很简单：这篇 paper 的价值，先看成“token 顺序决定搜索可用性”的证据，不要急着看成 AR 文生图的路线翻盘。要让我信，需要三个数：同预算下相对 2D grid 的提升幅度、verifier 调用成本、training-free 生成的失败率。摘要把方向讲清了，硬度还没给出来。

作者在摘要里把最重的一枪直接打出来了：Qwen2.5-7B 的后层隐藏态，只用一个谱指标 alpha，就能在答案生成前预测正确性，AUC=1.000。要是这结果站得住，它碰到的不是普通 interpretability 结论，而是推理系统的一条部署接口：你可以先判断这次解题大概率会不会错，再决定要不要继续采样、切换工具、拉长思维链，甚至直接中止。这比“解释模型在想什么”实用得多。 但说实话，我对这组数很警觉。AUC=1.000 在这类工作里几乎等于“数据边界被完全切开”，这通常只会出现在三种情况：任务分布很窄；标签泄漏进了表征；或者评测切分让模型家族、题型长度、prompt 格式这些混杂因素替代了“正确性”本身。摘要只给了 11 个模型、5 个架构族、6 个模型平均 AUC=0.893、Qwen 基座 4 个点的拟合式 alpha_reasoning∝-0.074 ln N，R²=0.46。关键东西都没给：correctness 是按最终答案精确匹配、过程评分，还是 verifier 标注；预测发生在生成前多少 token；训练测试怎么切；是否跨数据集；是否跨 prompt 模板；late layers 是哪几层；alpha 的估计窗口多大。标题已经给出一个很大的理论框架，正文目前只有摘要，这些复现条件没披露，我不会把它当成“完美预测器”看。 我自己更愿意先把它放进一个更熟的上下文里。过去一年，围绕“内部状态能否预判答案是否会错”，已经有不少近亲路线：logit-based confidence、hidden-state probes、entropy / margin 预警、process reward models、step-level verifier。它们常见的问题不是完全没信号，而是信号一旦跨任务、跨模型、跨 prompt，就掉得很快。尤其是 reasoning 题，长度、分支数、拒答格式、模板词都会污染 hidden states。这个 paper 说 spectral alpha 单独就能拿到 1.000，我第一反应不是“理论统一了”，而是“你先把长度控制和模板扰动实验拿出来”。因为谱斜率这类量，天然就会吃到激活能量分布、token 位置、归一化层行为的影响。只要 reasoning 样本平均更长、步骤边界更密、或者 instruction 数据把输出格式训得更规整，alpha 就未必只是在读“推理强度”。 摘要里另一处我觉得有意思，是“instruction tuning 反转关系”：基座模型表现为 reasoning alpha 低于 factual alpha，指令微调后反过来。这条如果稳，价值其实不比 correctness prediction 小。它暗示 SFT 不只是把模型对齐到更听话，它连内部几何的统计方向都改了。这个现象和近两年的一些经验是贴的：同一家族 base 与 instruct 的行为差，很多时候不是能力线性叠加，而是路由方式、拒答阈值、格式先验一起变。我还没看到他们怎么排除“聊天模板”这个变量。像 Qwen、Llama、Phi 这些 instruct 模型，system/user/assistant 标记、思维链触发词、答题框架都不一样。要是没做 template-matched 对照，所谓 reversal 里有多少来自 tuning，本身是个问号。 再看 scaling law，我会更保守。4 个 Qwen 基座模型，alpha_reasoning 对 ln N 的斜率是 -0.074，R²=0.46。这个更像“有趋势”，还谈不上硬规律。4 个点本来就很难支撑 scaling law 这种词，R²=0.46 也不高。你当然可以说方向稳定，但别急着把它写成 universality。过去几年 AI 圈吃过太多这类亏：样本点很少，曲线先拟出来，后面一换 tokenizer、一换训练配方、一加 MoE，规律就散。DeepSeek-R1 这种带强化学习痕迹的推理模型，如果和密集基座放在同一条谱尺度上比较，我会格外小心，因为它的生成策略和中间状态分布本来就不太像普通 base LM。 我反而觉得他们摘要里最像真东西的，是 token-level spectral cascade 和 reasoning step punctuation。不是因为它更炸，而是因为它更符合我们现在对长链推理的直觉：局部步骤边界附近会出现状态重组，层间同步会衰减，而且 reasoning 比 factual recall 更松散。这种现象就算最后没法升格成“思维几何理论”，也很可能留下可用工具，比如找 step boundary、做中途校验、定位哪几层最适合接 verifier。很多工程团队已经在靠 token entropy、draft disagreement、self-consistency 做 early exit；如果谱量真的更稳，它有机会变成一个更便宜的 stopping signal。 我还是得泼一点冷水：摘要把“geometry of thought is universal”说得太大了。11 个模型、5 个家族，在 arXiv 首发里算认真，但离“普适”差得远。Gemma、Mistral、MoE 变体、多模态 LLM、长上下文特化模型都没看到。更关键的是，任务边界也没披露。数学、逻辑、多跳 QA、事实问答，这几类对激活谱的影响不一定能放在一个桶里。你只要把 GSM8K 和 TriviaQA 混着看，就已经可能把“推理 vs 回忆”变成“长输出 vs 短输出”。 所以我现在的判断很简单：这篇值得看，不是因为它已经证明“Transformer 的思维几何”，而是它扔出了一个很容易被打脸、也很值得被复现的硬主张——生成前 correctness probe 能不能在严格控制长度、模板、数据集后还维持高 AUC。要是复现后还能在跨模型、跨任务上站住 0.8 以上，这就是部署层面的新旋钮。要是 1.000 最后缩到 0.6-0.7，那它仍然可能是一篇不错的 activation analysis paper，只是离“完美预测”差得很远。现在先别被标题带跑，摘要给出的信号够强，证据链还不够。

FineSteer 这篇先做对了一件事：它把推理时引导拆成“先判断要不要动，再决定怎么动”两步。这个结构比很多一把梭的 activation steering 更像能进生产。SCS 负责少动，MoSE 负责按 query 合成向量，思路上是在补老方法最常见的两个坑：泛化差，和副作用大。 我一直觉得，inference-time steering 过去一年卡住，不是大家不会找 steering vector，而是太爱默认“每个问题都该推一把”。从早期的 activation addition、contrastive activation engineering，到安全场景里的 refusal vector，问题都很像：对危险输入有效，对普通输入也顺手改了分布，最后 utility 掉得很难看。FineSteer 把 gating 显式化，这点是有判断力的。你如果真做过线上系统，就知道“少触发”常常比“触发更猛”更值钱。 但这篇现在还不能吹。摘要只说了 safety 和 truthfulness 更好，正文片段没给基座模型、层位、注入方式、benchmark 分数、utility loss 数字，也没说训练成本。没有这些，所谓 training-efficient 只是一个标签。MoSE 这个名字也让我有点警觉：混合专家听着漂亮，参数量、路由开销、推理延迟要是上去，很多团队还不如直接多打一轮 classifier 或小 reranker。我还没查代码，暂时没法确认它到底轻不轻。 放到研究脉络里看，这条更像“representation engineering 开始长出控制逻辑”，不是单纯再发一个新向量法。去年到今年，很多工作都在做更细粒度的 steering：按 token、按层、按任务、按隐空间子集控制。FineSteer 用 subspace + query-specific synthesis 去拼这件事，方向是对的。问题在于，它能不能跨模型站住。很多 steering 论文在 Llama 系列上好看，换到 Qwen、Mistral、Gemma 就掉，安全和真实性一起做时更容易互相打架。摘要没披露跨基座结果，我对“统一框架”这四个字先保留意见。 代码已经放出，这是加分项。说真的，这类方法最后有没有价值，不看 abstract 里的 overall performance，得看三件更硬的东西：一是触发率到底降了多少；二是正常问答的困惑度或任务分数掉了多少；三是换模型、换 benchmark、换语言后还能不能复现。要是这三项站得住，FineSteer 会比又一个 safety patch 更有用。要是站不住，它就是把 steering 做复杂了一层。

KMMMU拿3466道韩语原生题，把多语多模态评测里一个经常被英语基准掩盖的问题直接量化了。最强开源模型全量只有42.05%。最佳闭源模型在627题hard子集是52.42%。这个成绩不算“差一点就能用”，而是离专家场景还很远。我对这条的判断很直接：韩语这里暴露的不是单一语言问题，而是当模型进入考试、医疗、工程图表、制度文本这些高密度环境后，训练语料里那层默认的英语规范开始失效了。模型会看图，也会读字，但它不知道本地标签体系怎么对齐。它知道“推理”，却不熟悉制度化表达的入口。 这和过去一年不少多语 benchmark 给人的感觉不太一样。很多基准测出来的是翻译损失，或者文化常识缺口，最后容易被解释成“再补点语料就行”。KMMMU的说法更硬一些：瓶颈在 convention-to-label mapping、few-shot symbolic induction、localized knowledge recall、domain-specific standards understanding。这个拆法我比较买账。因为它指向的不是更长的 chain-of-thought，也不是再堆一点 test-time compute，而是监督信号本身不对版。你让一个主要吃英文互联网和通用图文对的模型，去读韩国考试里的图示、法规措辞、学科习惯符号，它当然会把“看懂”误当成“会做”。 我想到的对照物，一类是 MMMU、MMMU-Pro 这批综合多模态基准，另一类是去年到今年几组区域语言评测，比如日语、阿拉伯语、印地语那类本地考试或专业任务集。我没逐条核过最新分数，但大方向很一致：一旦题目不是从英文翻过去，而是原生长在本地制度里，领先模型的掉分通常比厂商海报上那条总榜大得多。尤其是图表、表格、示意图、医学影像说明这类“视觉+术语+规范”三件套，模型经常不是逻辑断掉，而是第一步标签映射就错了。KMMMU把这件事在韩语上讲得更清楚，因为韩语本身就有敬语、缩写、考试文体、官方术语体系这些额外摩擦。 我也想给这篇泼一点冷水。现在公开信息只有摘要，没有看到完整的题目分布、模型名单、闭源和开源各自的版本、提示词设置、是否允许OCR增强、图像分辨率、是否做了多轮采样、人工复核一致性这些关键细节。52.42%是在hard子集，不是全量。42.05%是最强开源在全量，不是同一口径。两组数字不能直接横比。标题和摘要已经给出一个很强的方向，但正文未披露足够实验条件前，我不会把“推理不是瓶颈”理解成定论。很多时候所谓 mapping 失败，部分也来自视觉编码器分辨率不够、OCR管线丢字、或者 instruction tuning 把本地学科表达抹平了。这几个因素如果不拆，结论会有点混。 不过即便保守一点，这个基准还是很有信号。它提醒做模型的人，区域语言能力不是把 tokenizer 支持好、把翻译做强就结束。多模态更麻烦，因为你面对的是一整套社会约定：图例颜色、试卷格式、表头习惯、单位写法、法规简称、学科里默认不解释的符号。训练集如果没有足够原生实例，模型就会在“最后一厘米”持续摔跤。过去很多团队把多语问题当成 pretraining coverage 问题，把多模态问题当成 OCR 或视觉 backbone 问题。KMMMU更像在说，两边都对，但还少了一层“制度语境对齐”。这层东西不像 caption 数据那样容易抓，也不像通用指令那样容易蒸馏。 落到产品上，这件事会直接影响教育、政务、医疗、制造这些高合规场景。你做一个韩语 multimodal copilot，Demo 能答对生活类图片题没有太大意义。只要它在官方表单、工程图、医学说明图、考试题型上持续犯标签映射错误，用户就不会给它高风险权限。我一直觉得，区域市场里最难啃的不是聊天体验，而是本地专业格式。KMMMU只是把这个现实用3466题摆在桌面上。 所以我会把这篇看成一个基准发布，也看成对现有训练路线的提醒：下一轮拉开差距的，未必是更强通用推理，而是谁先系统性收集原生专业题、原生视觉格式、原生制度术语，并把这些东西做进对齐和评测闭环。摘要里这个判断我基本认同，但我还想看完整论文里各学科瓶颈到底集中在哪几类视觉模态。要是瓶颈高度集中在少数格式，那就是数据工程问题。要是九个学科都普遍低，那就说明主流多模态模型的语言中心架构，对本地制度知识的吸收方式本来就不太对。

CadLLM 声称把扩散式 LLM 吞吐提升到 1.1 至 2.28 倍。我的判断是，这更像把 dLLM 里早就存在的推理浪费系统化回收了一遍，不是方法学上的大跨步。摘要给出的核心机制很直接：按未掩码 token 的平均置信度，动态调 block size、step size、阈值，再缩小 softmax 词表。这个思路我基本买账，因为扩散式生成天生就有“不同位置、不同步数难度不均”的问题，固定调度本来就在浪费算力。 我更在意的是它点名兼容 KV-cache。这个点如果落实，价值会比“训练免费”四个字大。过去一年，很多 dLLM 加速工作都卡在一个尴尬位置：论文里能加速，工程上却要改采样器、改缓存、改训练目标，结果很难进现有 serving 栈。CadLLM 走的是后处理式调度，这条路更像 speculative decoding 在自回归模型里的早期价值——先把现有系统的空转砍掉，再谈新架构。说真的，dLLM 现在最大的问题不是没人写 paper，而是没人把 latency、吞吐、显存占用一起打到能上生产。 但我对这组数字有保留。摘要只给了 4 个任务、1.1 到 2.28 倍、competitive accuracy。没披露基线名字，没披露模型规模，没披露 batch size，没披露是 tokens/sec、samples/sec，还是 wall-clock end-to-end。这里差别很大。很多推理优化在小 batch 下很好看，一上真实并发，瓶颈就从 softmax 变成内存带宽、kernel launch、通信开销。动态缩词表这招也一样，如果实现靠频繁 gather/scatter，GPU 上未必总赚。我还没看到正文，所以不能替它下结论。 还有个背景得补一句。自回归 LLM 这边，speculative decoding、early exit、vocab pruning、Medusa 一类路线，过去已经把“训练免费”这套叙事卷得很凶。dLLM 想追上，不能只证明自己比某个 SOTA baseline 快 2 倍，还得说明在同等质量下，和主流 AR serving 相比到底差多少。我没查到这篇有没有做这种跨范式对比；如果没有，那它更像 dLLM 社区内部优化，不是“扩散式 LLM 已经准备好抢主流推理市场”的证据。 所以这篇我会看正文里的三样东西：第一，基线到底是谁；第二，KV-cache 兼容后显存曲线怎么走；第三，4 个任务里有没有代码、长文本这类置信度分布更尖的场景。要是这些都站得住，CadLLM 会是很实用的一层系统补丁。要是没有，这就是一篇把 benchmark 调度做漂亮了的论文，离生产还差一截。

SOAR 用单次 stop-gradient rollout 构造偏轨状态，并在 SD3.5-Medium 上把 GenEval 从 0.70 拉到 0.78、OCR 从 0.64 拉到 0.67。我的判断很直接：这篇论文抓对了扩散后训练里一个一直被轻描淡写的问题——训练时全在理想 forward-noise 状态上学，推理时一旦采样链条早期走偏，后面很多步都在拿 OOD 状态硬扛。这个问题跟自回归模型的 exposure bias 是一回事，只是错误沿去噪轨迹累积，不沿 token 序列累积。把它单列成一个 post-training 阶段，我觉得是对的。 我比较认同的是机制，不是它那句“可以直接替换 SFT”的大话。SOAR 的核心很朴素：先让当前模型自己滚一次，拿到偏离真实轨迹的状态，再重加噪，监督它回到原始干净目标。这里有两个点挺实在。第一，它是 on-policy 的，训练分布终于开始接近采样时会遇到的状态。第二，它给的是逐时间步稠密监督，不像奖励模型那样把责任全压到终点分数上。这两点放在一起，确实比“先做干净 SFT，后面再拿稀疏 reward 补锅”更顺。 但我对摘要里的叙事有保留。0.70 到 0.78 的 GenEval 提升不小，绝对值是 0.08；OCR 只涨了 0.03。正文没披露训练算力、数据规模、采样步数、推理 scheduler 是否改动，也没给不同 prompt bucket 的拆分。没有这些信息，我不会把它读成“新默认范式已经确定”。扩散论文里，benchmark 的提升经常对 sampler、CFG、分辨率、caption 清洗强依赖；只报两个任务和“all model-based preference scores”还不够，尤其 model-based preference 这类指标本来就容易跟 judge 偏好绑死。 我自己更在意它赢 Flow-GRPO 这件事，但这里也得泼点冷水。摘要说在 aesthetic 和 text-image alignment 两类 reward-specific 实验里，SOAR 最终指标超过 Flow-GRPO，前提是它根本没用 reward model。这个结果很吸引人，因为过去一年图像生成后训练里，很多 RL 工作都卡在两个老问题：信用分配太稀、reward 过拟合太快。文生图社区从 DPO 类偏好学习，到 GRPO、REINFORCE 变种，一直在找一个既稳又不太贵的办法。SOAR 现在的卖点是，它拿“可恢复性”替代“奖励引导”，在训练稳定性上天然占优。我觉得这方向靠谱。但如果任务本身就是 reward-defined 的，比如强审美偏好、品牌风格一致性、复杂安全拒答，纯自校正不一定够，因为目标函数本来就不在数据里。你没有显式偏好信号，只能学会回到原样，不一定学会“人更喜欢哪一种原样”。 这里可以拿语言模型做个外部对比。LLM 这边过去一年已经很清楚了：只靠 teacher forcing 的 SFT，到了 agentic 或长轨迹任务就会暴露 rollout mismatch，所以大家才会做 DAgger 式数据收集、rejection sampling、process supervision、online RL。SOAR 其实像把这套思路翻译到 diffusion：别只在老师给的理想状态上学，要在模型自己会掉进去的坑里学怎么爬出来。这个迁移我觉得很有价值。说实话，我甚至觉得很多图像后训练工作以前太沉迷“奖励能统一一切”了，忽略了状态分布错位这个更基础的问题。 还有一个我想追问但摘要没给的点：single rollout 到底够不够。单次 rollout 成本低，工程上很友好；问题也在这儿，偏轨分布会不会太窄，只覆盖当前策略最常见的错误，而不是那些低频但毁图严重的失稳模式？如果后续实验显示多次 rollout 收益很有限，那 SOAR 会更有说服力；如果多 rollout 才明显更强，那当前结果就要重新看成本账。 我还没看到完整正文里的消融，所以先不把它吹成“扩散版 RLHF 替代者”。我更愿意把它看成一个缺失已久的中间层：比纯 SFT 更接近真实采样，比 reward RL 更稳、更便宜。这个定位就已经很强了。它要真想坐上默认第一阶段，接下来至少得补三类证据：一是跨 backbone，不只 SD3.5-Medium；二是跨任务，不只 GenEval、OCR、审美偏好；三是训练与推理成本账，看看这 0.08 的 GenEval 提升到底花了多少额外 rollout 和重加噪。没有这几样，我不会跟着“直接替换 SFT”一起喊。

论文把长度惩罚从“所有 token 一视同仁”改成“只打冗余 token”，还加了一个随训练阶段切换的动态奖励。这个方向我基本认同，因为很多长度优化工作失败，不是因为模型不会变短，而是因为它们把推理链里有用的中间 token 和废话 token 一起罚掉了。标题给了方法名，摘要给了机制；基准名称、模型规模、压缩比例、训练开销，正文摘要都没披露，所以现在还不能把它当成一个已验证的效率结论。 我一直觉得，推理压缩这条线过去一年被讲得有点粗糙。很多做法默认“短 = 高效”，然后直接上统一长度奖励、response budget、或者 hard truncate。问题是，CoT 不是平均信息密度的文本。前 30 个 token 可能在搭骨架，后 80 个 token 才在绕圈子；也可能反过来，前面全是模板句，最后几步才是关键变量替换。你不区分贡献度，只按总长度扣分，训练很容易学成两种坏习惯：一是过早收敛到短答模板，二是把关键的中间验证步骤省掉。这个论文的切点就在这：别优化“长度”这个表层指标，先估计 token 对最终答案到底有没有用。 这套想法有外部参照。OpenAI o1、DeepSeek-R1、以及后面一批 reasoning model，把“多想几步”重新拉回主流后，业内一个很实际的问题就是推理 token 成本失控。很多团队这半年做 test-time scaling，最后都撞到同一堵墙：准确率涨了，吞吐掉得厉害，线上账单更难看。另一边，也有人做过 concise reasoning 或 outcome-based RL，想把答案压短，但常见副作用就是 pass@1 掉点，尤其在数学和代码任务上更明显。我没核对这篇正文，但如果它真能在多个 benchmark 上做到“更短且不降准”，那价值不在又发明一种奖励函数，而在它碰到了一个更像部署问题的核心：哪些思维 token 是必要算力，哪些只是语言表演。 我对这里最大的保留有两点。第一，token significance 怎么定义、怎么估。如果它是用某种启发式、attention proxy、梯度归因，或者答对后回看式标注来近似，那稳定性很成问题。归因方法在生成模型里一直不算牢，换个任务、换个采样温度、换个 tokenizer，显著性分布都可能变。你今天识别出的“冗余 token”，明天在另一个题型里可能就是承上启下的关键 token。第二，动态长度奖励听起来顺，但也很像 curriculum learning 的一个变体：前期鼓励展开，后期鼓励收缩。这个思路本身不怪，我甚至觉得合理；但如果增益主要来自 curriculum，而不是 significance-aware penalty，那论文标题就把功劳分配得太满了。摘要没给 ablation，我现在没法判断两部分各占多少贡献。 还有一个实践层面的刺。很多 CoT 压缩论文默认训练时看得到完整推理，再去学会删减它。可真实部署里，你往往没有高质量、细粒度、可对齐的“重要 token”监督。要是这套方法严重依赖高质量 teacher traces，门槛就不低了。去年不少蒸馏工作已经说明，teacher CoT 的风格偏差会直接传给 student：老师爱啰嗦，学生学会啰嗦；老师爱跳步，学生学会蒙对。这个框架如果要落地，关键不是 abstract 里那句“standard policy optimization”，而是它对 trace 质量、奖励噪声、任务迁移的鲁棒性。摘要没写，我只能先打问号。 说真的，这篇论文让我感兴趣，不是因为“压缩 token”四个字，而是它把优化对象从序列长度，往“推理中哪部分在做功”挪了一步。这个方向和最近一批 latent reasoning、selective deliberation、early exit 的直觉是通的：便宜不是少说话，便宜是少做无效计算。问题在于，这篇还停留在输出 token 层。要是模型内部已经花完算力，最后只把话说短一点，线上收益不会像论文里那么好看。推理成本的大头，到底在可见 CoT，还是在隐藏状态和采样路径，这件事不同架构差别很大。 我的结论很简单：方法论有价值，证据还不够硬。只看摘要，我愿意把它当成“长度奖励终于开始长脑子了”的一篇，而不是已经证明“短链推理优于长链推理”的结果。等正文里把 benchmark、模型尺寸、平均 token 降幅、准确率变化、ablation、以及训练额外成本放出来，这条才有资格进入可复现讨论。现在先别急着拿去改线上 RL 配方。

论文把溯因、演绎、归纳拆成显式协议，并用 5 个代数不变量约束推理链。这个方向我基本支持，因为它至少承认了一个常被产品演示跳过的事实：LLM 现在最差的地方，不是不会续写推理文本，而是不会稳定地区分“猜想”“验证过的结论”“由弱前提拖累的中间态”。Weakest Link 这条边界尤其关键，结论置信度不能高于最弱前提，这比再堆一层 chain-of-thought 模板实在得多。 我对这条有好感，还有一个行业背景。过去一年，推理增强大致分成两派：一派继续赌更长的 CoT、更强的 verifier、更大的 test-time compute；另一派开始把推理拆回程序结构，比如 DSL、proof objects、tool traces、typed intermediate states。OpenAI、Anthropic、Google 这几家在公开材料里都谈过 verifier 或 self-critique，但多数工作还是“模型先说，再让另一个模块挑错”。这篇论文反过来做，先把允许什么推理关系写成代数约束，再让模型进场。我一直觉得这条路更像正经工程，因为它给了失败可定位性：到底是 abductive 假设越权，还是 deductive 传递失真，还是 inductive 泛化抬高了置信度，协议上能拆出来。 但我不会把它吹成 reasoning breakthrough。文章现在只有摘要，正文没披露 5 个不变量的完整形式、置信度代数如何定义、LLM 在协议里的具体接口，也没给主流基准上的增益数字。100 个性质测试、16 个模糊测试、10^5+ 生成样例，能证明参考实现自洽，不能证明它一接到真实世界任务就有效。性质测试擅长抓实现 bug，不擅长回答“这个形式系统选得对不对”。说实话我有点怀疑，很多这类工作最后会变成：协议内部非常干净，一碰到自然语言歧义、检索噪声、工具返回脏数据，保证就开始缩水。 还有个更硬的问题：Weakest Link 适合控制错误传播，却天然保守。多步代理系统里，保守往往等于低召回。你把每一步都压到最弱前提，复杂探索任务会不会被过早截断？我还没查到正文里有没有这类 trade-off 实验。如果没有，这篇更像“安全护栏的形式化草案”，不是“推理能力明显提升的证据”。 我寻思了一下，这篇论文的价值不在于它单独能赢多少 benchmark，而在于它提供了一种可复核的中间层。过去很多 reasoning 论文最大的问题，是失败时你不知道该怪模型、prompt、采样温度，还是 evaluator。这种代数不变量如果能接到 agent traces、tool calls、proof states 上，至少能把“哪里出了错”从玄学拉回工程。要是后续有人拿它去跑 GSM8K、MATH、SWE-bench 这一类带外部工具的任务，并且公开违反不变量的错误分布，这条线就站住了。现在我给它的评价是：框架意识比大多数 CoT 论文成熟，能力结论先别下太满。

Aletheia 这篇先给了 LoRA 一个不太体面的结论：全层都挂适配器，很多时候就是偷懒。摘要声称它在 14 个模型、81 组实验里，把训练速度拉快 15% 到 28%，均值 23.1%。这个数字不小。要是成立，它打的不是 LoRA 精度天花板，而是团队里最常见的默认配置习惯。 我对这个方向基本认同。LoRA 这些年能成默认选项，核心不是它最优，而是它足够稳、足够省心。问题也一直很明显：不同任务改动的层根本不一样，分类、推理、代码、对话，不会把梯度压力压在同一批层上。AdaLoRA 之类方法早就在动 rank 分配这件事，QLoRA 解决的是显存账，不是“哪些层该训”的账。Aletheia 把问题收束成两步：先用梯度探针找任务相关层，再做非对称 rank 分配。这个组合看着顺，因为它终于把“参数高效”往“计算高效”推了一步。 但我对摘要里的胜率表述有点警觉。它写 Campaign 1 是 100% per-model speed win rate，Campaign 2 说下游表现 broadly matched，还给了 p<0.001。问题是，正文没在这里，关键条件也没披露：梯度探针跑几步、用多少样本、是否需要全模型反传、选层阈值怎么定、非对称 rank 的总预算是否和 LoRA baseline 严格对齐。这些条件一缺，23.1% 的均值就很难直接拿去做工程判断。一个常见情况是，前处理多花 5% 到 10% 的训练算力，论文里会把它淡化成“lightweight”；但对短周期微调任务，那部分成本会直接吞掉纸面收益。 摘要还提到覆盖 0.5B 到 72B，含 dense 和 MoE，这个口径很讨巧，也很容易让人高估泛化。MoE 的层选择和 dense 不是一回事。你只在共享层上挂 LoRA，和你碰专家层，训练动力学差很多。不同家族的 attention、MLP、router、embedding 是否都进候选集合，摘要没说。那句“one additional documented failed Pythia/GPT-NeoX attempt”反而让我更想看正文。至少作者没把失败样本藏起来，这点我买账；但失败发生在什么设置上，决定了方法边界到底是窄还是宽。 我还想补一个文章外的背景。过去一年，很多团队已经默认不再迷信“全参数微调一定更好”，但也没有大规模转向“结构化选层”。原因很现实：工程系统喜欢固定模板。你给所有线性层统一挂 LoRA，配置简单，复现容易，和 PEFT 栈兼容。你要先探针、再筛层、再按层分 rank，实验管理会立刻变复杂。训练提速 23.1% 听着不错，可只要 workflow 成本上升一截，很多团队宁可继续烧一点算力，换更稳的运维。所以这篇如果想从论文走到工具链，关键不是再刷几个 MMLU、GSM8K、HumanEval，而是把“选层成本 + 配置复杂度 + 失败率”讲透。 还有一个我不太买账的点：摘要说 bounded extra forgetting，但没给绝对幅度。遗忘这件事很容易被统计显著性包装。p<0.001 只能说明差异稳定，不说明差异小。要是旧任务掉 1 分还是 8 分，工程含义完全不同。尤其在指令微调和持续学习场景里，层选得太激进，常见副作用不是 benchmark 立刻塌，而是风格漂移、工具调用稳定性变差、长尾任务先掉。摘要没覆盖这些，我不会把“遗忘受控”直接当成可部署结论。 所以我现在的判断很简单：这条路对，证据还不够硬。Aletheia 至少抓到了一个经常被忽略的事实——LoRA 的浪费不只在 rank，也在层。可在正文没披露探针成本、各模型配置、选层比例、以及失败案例细节前，它更像一个值得复现的 research heuristic，不是立刻该进生产默认值的 recipe。要是后续代码放出后，探针成本能压到单次训练预算的 3% 以内，且在 Llama、Qwen、Mixtral 这几类主流底座上都能稳定复现，我会很快改口。现在先别把它吹成 LoRA 新标准。

Disco-RAG 这篇论文把话说得很满：它在零微调条件下拿到问答和长文摘要 SOTA。问题也很直接：摘要没有给出基准名称、具体分数、模型规模、检索器配置，连对比对象都没列。这种信息缺口下，我不会先认“新 state of the art”，但我认可它押的方向，因为它打的不是“再加一层 reranker”，而是把检索结果的组织方式从平铺文本改成显式结构。 我一直觉得，RAG 这条线过去一年有个很明显的误区：大家把主要精力放在“找得更准”，放得没那么多在“拼得更对”。Dense retrieval、hybrid search、rerank、query rewrite 都在提高召回率，可一旦证据分散在多个段落、多个文档，生成端还是常常按顺序吃上下文，谁靠前谁占便宜。Disco-RAG 提的两层结构，块内话语树加块间修辞图，目标就是把“证据之间是什么关系”喂给生成器。这个思路我买账，因为很多 QA 和长文摘要失真，不是缺证据，是模型不知道哪段是主张、哪段是解释、哪段是让步、哪段只是背景。 这条线其实不是凭空冒出来的。过去一段时间，GraphRAG、RAPTOR、各种 hierarchical RAG 都在做一件相近的事：承认“文档不是一袋段落”。GraphRAG 更偏实体关系和知识图谱式遍历，RAPTOR 更偏递归摘要树，Disco-RAG 现在把焦点放到 discourse，也就是修辞和篇章结构。我觉得这比单纯做实体图更贴近真实文档，尤其是报告、论文、政策文本这类材料。实体图能告诉你“谁和谁有关”，但常常说不清“哪句是结论，哪句是限定条件”。篇章关系在这类任务里经常更关键。 但我对它的 SOTA 说法有保留，而且保留还不小。第一，摘要只说“question answering and long-document summarization benchmarks”，没说是 HotpotQA、MuSiQue、GovReport、QMSum，还是别的数据集。不同基准的难度差很多。第二，没说底座模型是闭源还是开源，参数量多少，上下文窗口多大。现在很多“RAG 提升”其实吃的是底模升级，尤其是 2025 年后长上下文模型更稳了，平铺检索的下限已经抬高。第三，没说检索 top-k、多跳设置、chunk 大小、图构建成本和延迟。如果结构注入让离线预处理成本涨 10 倍，线上价值就不是同一回事。论文摘要把“无需微调”摆在前面，我能理解，这是想强调方法通用；但工程侧更关心的是吞吐、延迟、索引维护和失败模式，这些正文外的信息现在全缺。 还有一个我比较在意的问题：篇章结构标注本身不便宜，也不总是稳定。RST 这类 discourse parsing 我记得一直不算彻底解决，跨领域迁移也不轻松，我没核实这篇具体用的是哪种 parser。如果训练语料偏新闻、百科、学术文，到了客服工单、论坛串帖、企业 wiki、代码文档，树和图的质量会不会掉得很厉害？这不是小问题。很多结构化 RAG 论文在标准基准上很好看，一进脏数据环境就开始回到“图是图，答案还是靠底模猜”。我对任何“先解析结构、再规划生成”的方案都会先问一句：解析错了以后，系统是优雅降级，还是整条链一起塌。 说真的，这篇最有价值的地方，可能不是它最后那个 SOTA 标签，而是它在提醒一件被长上下文叙事盖过去的事：上下文变长，不等于信息组织问题消失。很多团队这两年迷上“把 top-20 全塞进去”，好像窗口够大，规划就不重要了。我一直不太买这个说法。窗口只是容量，结构才决定注意力怎么分配。把 30 段证据直接堆给模型，和按修辞关系排成可执行蓝图，是两种完全不同的输入条件。Disco-RAG 至少是在认真处理后者。 我会怎么判断这篇到底硬不硬？很简单。先看正文有没有公开基准名、分数、显著性和消融。没有这些，SOTA 先打折。再看它和 GraphRAG、RAPTOR、vanilla RAG 加 reranker、long-context direct prompting 的对比是不是同底模、同检索器、同 token 预算。最后看成本：如果它只多出 5% 到 15% 延迟，换来跨文档合成稳定提升，这就很有工程价值；如果需要重型 discourse parser 和复杂图构建，收益只是一点点 benchmark 优势，那它更像论文答案，不是产品答案。眼下我给它的判断是：方向靠谱，证据不足，别急着把它写进生产路线图。

摘要声称 π₀.₇ 可零样本跨具身泛化，还能直接操作意式咖啡机；在没看到成功率、数据规模、对照基线前，我不买“通用机器人基础模型”这个结论。眼下更像一篇把“提示工程”往机器人策略层推进的论文：不是只给语言指令，还把任务表现元数据、子目标图像、策略偏好一起塞进上下文，逼模型学会“怎么做”而不只是“做什么”。这条路我觉得是对的，因为机器人里最难迁移的常常不是目标定义，而是动作风格、容错路径、速度约束和失败恢复。单靠一句“make coffee”，模型学不到这些细粒度约束。把这些约束显式条件化，至少在方法上比堆更多示教更像正路。 我想到的直接参照物，是 RT-1/RT-2、Open X-Embodiment、Octo、OpenVLA 这一串工作。它们都在证明一件事：多任务、多机器人、多模态预训练能把“开箱可用”往前推一点，但一到长尾接触、精细操控、硬件差异大、相机位姿变了，成功率就掉得很快。RT-2 当年最抓眼球的是语义泛化，不是装配精度。Octo 和 OpenVLA 把开放数据和跨平台迁移讲得很完整，但大家后来实际跑下来，还是会被夹爪几何、控制频率、延迟、相机标定这些脏问题卡住。π₀.₇ 现在把“上下文条件化”抬到核心位置，确实比“统一一个大 action model”更务实，因为它默认承认不同平台、不同任务策略没法被一个干净标签抹平。 我有个明显疑虑。摘要拿“首次折叠衣物”和“意式咖啡机匹配专用 RL 微调模型”做例子，这两个 demo 选得很聪明，也很容易误导。折衣服很吃布料种类、初始摆放、抓取点容错。咖啡机很吃机型、按钮阻尼、把手行程、杯位误差。只要场景布置收得够窄，开箱成功并不罕见。问题在于分布到底有多宽，失败率怎么分布，重复 20 次还是 200 次，换 3 台机器还是 30 台机器。摘要一项都没给。标题已经给出“emergent capabilities”，正文片段没披露 emergence 的定义、统计口径和对照实验。我对这种措辞天然会压低一档信任。 还有一点我比较在意：他们强调可以吃进“潜在次优的自主数据、失败数据、非机器人数据”。这个方向很有吸引力，因为机器人数据贵，失败轨迹又通常被丢掉。问题是失败数据怎么标注可用性，非机器人数据怎么映射到动作先验，摘要也没说。过去一年不少工作都在讲用视频、语言、世界模型给策略补先验，但一落到真实闭环控制，能稳定兑现的并不多。原因很简单：视觉语义能迁移，接触动力学迁移不了那么多。你能从视频学会“咖啡机把手要往下压”，不等于你知道这个把手需要多大扭矩、在这台机械臂的腕部极限里怎么走最稳。 说真的，这篇如果后文拿出了扎实表格，我会认真看两组数字。第一组是跨具身设置下的严格对照：同一任务、同一成功定义、不同机器人本体的零样本成功率，外加去掉 task metadata、去掉 subgoal image 之后各掉多少。第二组是“匹配 RL 微调模型”的口径：是均值相当、最佳次相当，还是样本效率相当；评测轮次多少；是否有人类重置偏差。没有这些，标题里的“generalist”更像研究叙事，不像已经站住的能力边界。 我还是给这条较高关注度，因为它碰到一个很核心的方向：机器人基础模型未必先靠更大的 backbone 破局，先把上下文做厚、把策略意图写进 prompt，也许更快见效。只是这条路离“通用”还差一大截。论文现在证明的是一种接口设计很有前途，不是机器人版 GPT 时刻已经到了。

作者提出 Neural Computers，并用视频模型在 CLI、GUI 里滚动生成屏幕帧。这个设定的野心很大：它不再把模型当“调用工具的代理”，而是想让模型自己吸收界面、状态转移、短期记忆和交互逻辑。摘要给出的最关键事实也很克制：它只说学到了 I/O 对齐和短时控制，routine reuse、受控更新、符号稳定性还没解决，正文片段没给 benchmark、任务成功率、上下文长度、回滚机制，也没说训练轨迹规模。按这份材料，我不会把它看成“超越 agent 的新范式”已经成立，我会把它看成一篇把问题提对了、但离可验证系统还很远的路线图。 我对这条的兴趣点，其实在它选的监督信号。只用 I/O 轨迹训练，不看 instrumented program state，这一步很像把传统软件执行的“隐藏变量”全部丢掉，只保留屏幕和操作序列，让模型自己内化状态机。这个方向不是凭空冒出来的。过去一年，从 GUI agent、computer-use 模型到视频世界模型，大家都在逼近同一个问题：能不能从感知流里学出可操作状态。Anthropic 去年把 computer use 做成产品后，外界就看到了一个很硬的瓶颈：模型会点、会打字，不等于它真的维护了稳定的内部状态。再往研究侧看，Dreamer、Genie、各类 world model 一直在证明“可预测下一帧”不等于“可复用程序结构”。这篇摘要自己承认 routine reuse 和 symbolic stability 还难，反而让我更信它不是在写 PR。 但我对“新计算范式”这个提法有点保留。理由很简单：只要没有 durable capability reuse，没有 explicit reprogramming，你得到的就还是一个会模仿交互轨迹的连续系统，不是能稳定承载程序的机器。GUI 和 CLI 天然给了很多捷径。界面布局、光标位置、常见菜单路径，都能被视频模型用局部相关性吃掉。短时控制做出来，我不惊讶；能不能跨任务复用 routine，能不能在 100 步以后还守住符号对象的一致性，这才是门槛。摘要已经承认这两项没过，所以标题里的 “Computers” 现在得打折看。 还有个现实问题，摘要没碰：训练和推理成本。把桌面交互当视频来建模，信息密度其实很低，像素 token 很贵，错误又会积累。去年不少 UI agent 工作最后都回到混合式架构：视觉负责读屏，符号模块负责状态，外部工具负责执行。原因不玄，纯端到端滚动生成一旦步数拉长，漂移会很快。我还没看到这篇文里如何处理长期 credit assignment、错误恢复、状态压缩。如果这些没有新机制，只靠更大模型和更多轨迹，扩展性会很差。 所以我对这篇的判断是：问题定义有分量，完成度还远不够。它点到了 agent 体系最难受的一根刺——现在很多“会用电脑”的模型，本质上还是把界面当网页在刷，离“可编程、可复用、可稳定执行”的机器差很远。要让我认真抬高预期，至少得看到三类数据：一是长程任务成功率，比如 50 到 200 步后的保持率；二是 routine reuse，换界面或换任务后还能不能迁移；三是符号稳定性，变量、文件名、窗口对象在滚动生成里能不能持续不漂。标题已经给了雄心，正文片段没给这些数字，我先不给它范式级信用。

InfoChess 把吃子机制拿掉，并把对敌方国王位置的概率推断设成得分目标，这一步很关键。它不是在做“更花的国际象棋变体”，而是在离散环境里硬切出一个更干净的问题：智能体到底是在赢棋，还是在管理信息。很多部分可观测博弈都把这两件事缠在一起，结果是你很难判断模型赢，是因为搜索深、策略强，还是因为它真的学会了在对抗条件下更新信念。这里作者至少在机制上把混杂项拆掉了一层。对做 agent 评测的人，这个方向比再堆一个任务集更有用。 我觉得它最有价值的地方，不是“RL agent 打赢了启发式基线”。这句在 2026 年已经不够说明问题，尤其摘要没披露胜率、训练步数、样本效率、算力预算、随机种子数，也没说基线有没有同等调参。标题和摘要给出的更硬信息，是它把 belief entropy、oracle cross entropy、predictive log score 接进了博弈过程。这个设计像把 calibration、epistemic uncertainty、对手动作带来的观测噪声，放进同一个可重复环境里量。说真的，这比很多“推理 benchmark”靠谱，因为后者常常只给 final accuracy，几乎不告诉你模型是知道、猜到、还是瞎蒙到。 这条和过去一年不少工作能接上。我第一反应是它更像 Hanabi、扑克、部分可观测 gridworld 那条线的简化重做，但把“信息获取”从辅助目标抬成主目标。另一边，它也和大模型 agent 近来的评测痛点对上了：很多系统在 WebArena、GAIA、Minecraft 这类环境里失败，不是不会规划，而是不知道自己不知道；或者更常见，belief state 根本没被显式评估。我没核对作者是否引用这些工作，但 InfoChess 至少提供了一个低维、离散、能算清楚 score decomposition 的场。这个优点很实际：你可以追踪策略升级后，到底是 entropy 降了，还是 calibration 变差了，只是靠激进行动骗到分数。 但我也有两个保留。第一，摘要里“outperforms these baselines”信息量有限。基线是一串启发式 agent，不是 CFR、搜索型 belief planner，或更强的 POMDP 方法。RL 打赢手工启发式，本身不稀奇；如果作者想把它推成多智能体推理试验台，后面得补更硬的对手池，不然容易变成“为环境定制的 RL 很强”，而不是“对抗推理被测得更准”。第二，InfoChess 毕竟是高度抽象环境。取消吃子让因果更干净，也顺手删掉了真实对抗里很重要的一类激励：信息和资源、风险、不可逆损失之间的交换。现实里的 agent 很少只为认知评分行动，它们还要为 token、工具调用、延迟、任务失败率付代价。这个外推边界，摘要里没展开。 我还是倾向于把它看成一件好工具，而不是一个“大而全 benchmark”。如果后续社区真拿它做文章，最该补的不是再训一个更强策略网络，而是三类实验：一类看不同训练法在 calibration 上的差异，像 policy gradient、MCTS、world model 谁更稳；一类看 deception，允许智能体为误导对手牺牲短期得分后，指标会不会失真；一类看 transfer，InfoChess 上学到的 belief management 能不能迁到更脏的环境。代码和公开界面已经放出，这点加分很实在。很多论文爱谈 uncertainty，最后连可复现实验台都不给；这篇至少先把台子搭出来了。

论文用 5 个模型、24 组二元概念验证了 LAP，并给出两组很硬的相关系数：峰值 A_lin 对干预效果是 +0.86 到 +0.91，对层选择是 +0.63 到 +0.92。这个事实很关键。它不是又加一种 steering 算法，而是先回答一个更省钱的问题：这层到底有没有线性可达性，值不值得打向量进去。 我对这条的判断偏正面，因为它切中了过去一年 steering 工作里最烦的盲点。很多论文默认“中间层最稳”，再去比较 difference-of-means、ActAdd、contrastive activation 这些手法。结果一旦失败，讨论就会滑到“概念太抽象”或“模型不服从”。这篇的意思更直接：别先怪方法，先看 hidden state 到 unembedding 这条线性通道通不通。通道窄，你在错层上怎么调都像打空气。Gemma-2-2B 和 OLMo-2-1B-Instruct 的 demo 里，LAP 选中层能改写补全，中间层启发式没效果，这个对实务很有说服力。 这条也接上了 logit lens 这几年那条解释学脉络。nostalgebraist、Belrose 那批工作之后，大家早就知道很多中间表征能被 unembedding 提前“读出来”，tuned lens 还专门修正了残差流分布漂移。LAP 把这个观察从“能不能读”推进到“能不能 steer”。我觉得这一步是对的，因为 steering 从来不是凭空写入概念，它更像放大模型内部已经接近可解码的方向。若某层对目标概念在线性投影下几乎不可见，你指望一个均值差向量把行为拽过去，本来就悬。说真的，这比再堆一个新 steering benchmark 更有用。 我也有保留。第一，正文只有摘要，没披露 24 组 binary concept families 的具体构造、样本数、prompt 模板控制法，也没说相关系数是在单模型内算，还是跨模型汇总后算。这个差别不小。若概念多半是高频、低歧义标签，A_lin 高相关不奇怪；换成多跳语义、长程规划、人格风格这类目标，线性可达性往往会塌。第二，作者提出三种 regime，说清了“线性可做、需非线性、完全不可做”，这个框架我买一半。问题在于“无方法可做”这个结论很强，摘要没给判据。你只能说“对当前表征与当前读出方式不可做”，很难直接升格成概念层面的不可 steer。 跟近一年的实践放一起看，这篇还有个现实价值。现在很多团队在 agent safety、persona control、数据集去偏上用 steering vector，当成便宜替代品，先做离线 patch，再决定要不要微调。麻烦在于扫描层位的成本并不低，尤其模型一大、概念一多，实验矩阵很快爆掉。LAP 若真像摘要说的那样“无需训练”，只用 unembedding 就能预判，至少能把搜索空间先砍一轮。我还没看到推理时延和工程开销数据，但从机制上看，它比重新训练 probe 或做整层 sweep 轻得多。 还有一点我比较在意：LAP 成功依赖原始 unembedding，这个选择很优雅，也很脆弱。优雅在于零训练、跨模型容易复用。脆弱在于 instruction tuning、RLHF、聊天模板会扭曲“隐状态可读出”和“最终采样行为可改写”之间的对应关系。OLMo-2-1B-Instruct 和 Gemma-2-2B 里它奏效，Llama-8B 摘要里只说参与了相关性评估，没给 end-to-end steering 例子。我自己会先等更大 chat 模型、更多非二元概念、再加一组多 token 行为目标，才把它当成普适诊断。 我还是觉得这篇值得记一笔，因为它把 steering 讨论从“怎么推”往前挪到了“先看推不推得动”。这一步很像 interpretability 工具开始服务干预，而不是只做可视化。要是后续复现能稳住，这类线性可达性剖面会变成 steering pipeline 的默认前置检查。若复现掉得厉害，问题多半不在相关系数本身，而在研究社区老把可读出性和可控制性混成一回事。

RAGognizer把轻量检测头接入LLM联合训练，并在“多个基准”上声称同时提升检测与生成；标题给了方向，摘要没给模型规模、基座名称、绝对降幅、训练算力。我的判断是，这条思路是对的，而且比事后打补丁的 hallucination checker 更像正路，但摘要里的“既降幻觉、又不伤语言质量”我不会直接买账。 我一直觉得，RAG 幻觉里最难处理的一类，不是开放域胡编，而是闭域检索明明给了材料，模型还是顺手补一句没证据的话。很多团队过去一年都在做 post-hoc 检测：要么拿外部 verifier 复核，要么对 frozen hidden states 打 probe。那条路的问题很实际：检测器看到了错，但生成器的参数没被迫重排内部表征，所以部署时常见的结果是“能报错，改不掉”。RAGognizer把检测头直接并进训练目标，至少在机制上解决了这件事——它逼模型把“有依据”和“没依据”的 token 状态拉开。这不是新世界发明，比较像把 toxicity / reward modeling 里常见的 auxiliary head 迁到 RAG factuality 上，只是这里把粒度压到了 token 级。 有意思的地方在数据集。RAGognize给的是闭域幻觉 token 级标注，这比只给 answer-level 对错标签有用得多。做过 RAG 的人都知道，answer-level supervision 很粗：一句话里前半句 grounded，后半句漂了，最后训练信号全糊在一起。token 级标注至少让模型知道错从哪里开始。问题也在这里：标注标准如果不硬，数据集会把“合理改写”“省略推断”“检索片段未显式出现但由上下文可推出”全混成 hallucination。我还没查到他们的 annotation guideline，摘要也没说 inter-annotator agreement。如果这两项没有，SOTA 检测分数的说服力会打折。 文章外的参照并不缺。过去一年大家更常见的做法，是把 RAG 质量问题拆给 reranker、citation model、self-checker，或者让生成后再做 attribution。那套工程容易落地，但链路更长，时延更差，错了也常常只是在后面拦。另一条更接近这篇论文的路，是直接用 hidden states 做 uncertainty 或 factuality probing。我记得去年已经有几篇工作表明，中后层表征里能分出 unsupported span，只是大多停在“能测到”，没把它写回生成目标。RAGognizer如果实验扎实，它的价值就在这里：把 probe 从分析工具变成训练信号。 但我对“without degrading language quality or relevance”这句有点警觉。这个领域最常见的 trade-off 就是：你把 unsupported token 压下去，模型会更保守，答案更短，拒答率更高，表面 hallucination rate 下降，用户体验却未必更好。摘要没有给长度控制、refusal rate、citation density，也没说 benchmark 是 NQ、ASQA、HotpotQA 这类问答集，还是企业闭域文档场景。没有这些条件，所谓“不降质量”很难复现。还有一个部署层面的疑问：检测头是训练时辅助，还是推理时也要跑？如果推理时要用，延迟和显存会怎么变；如果不用，那它更像一种 regularizer，迁移到分布外检索噪声时还能不能稳住，正文也没披露。 所以我现在的态度很简单：这篇论文的方向我认可，甚至觉得比再堆一个 verifier 更实用；但证据还不够。等我看到四样东西再决定要不要高看一眼：基座模型具体是谁，参数规模多大；幻觉率绝对下降了多少；token-level 标注的一致性指标；以及在不同检索召回率下，这个检测头是不是还成立。没有这些，这篇更像一篇“机制顺、摘要漂亮”的 arXiv，而不是已经能进生产的方案。

这次“2 家来源覆盖”其实是 1 篇 arXiv 论文同时挂在 cs.CL 和 cs.LG，不是 2 家媒体各自追踪。两条标题完全一致，表述也完全一致，说明这里没有独立采访、没有二次核实，信息源就是论文作者自己提交的摘要。这个覆盖广度信号偏弱，别把它读成社区已经形成共识。 论文给出的核心动作很直接：作者把非形式证明拆成 3 层，核心技巧、proof sketch、最终 proof，然后用名为 DeepInsightTheorem 的分层数据集，加一套 Progressive Multi-Stage SFT 去教模型先写证明，再学会先抓“该用什么技巧”。这个方向我基本买账。过去一年里，数学推理很多工作都在堆更长 test-time compute、更多 self-consistency、更多 verifier，结果常常是模型会“展开”，但不会“抓主意”。定理证明里这点更明显：形式证明系统像 Lean、Isabelle 约束强，搜索空间可控；非形式证明给 LLM 更大语言自由度，也更容易把胡扯写得很像回事。作者把瓶颈定义成 lack of insight，我觉得至少抓到了一个真问题。 我对这条的保留也很明确。摘要说“在 challenging mathematical benchmarks 上显著优于 baseline”，但正文页面没给任何数字，没给 benchmark 名称，没给基座模型，没给参数规模，没给数据集大小，没给提取“core techniques”的标注流程，也没说 insight 这一层是人工标还是模型蒸出来的。少了这些，你很难判断提升来自“教会了方法选择”，还是只是多了一层中间步骤监督，等价于常见的 chain-of-thought / rationale distillation 收益。标题已给出“insight-aware generation strategy”，正文未披露最关键的 ablation，这里我不会替作者脑补。 还有一个点我自己比较在意：他们研究的是 informal theorem proving，而这和现在主流可验证数学路线不是一回事。AlphaProof、DeepSeek-Prover、Lean 方向吃香，靠的是 formal verifier 能判真伪，训练和评测闭环更稳。非形式证明更接近 Olympiad 风格解答，也更贴近 LLM 的自然语言长处，但评估噪声一直大。你让模型先产出“核心技巧”，表面上更像人类解题；问题是，这层标签如果本身不稳定，模型学到的就可能是解释风格，不是可迁移的求解能力。说实话，我对“insight”这个词天生有点怀疑，因为它很容易变成一个漂亮但难测的桶，什么中间推理都能往里装。 要是这篇论文后面拿出 3 组东西，我会更认真看。第一，明确 benchmark 和绝对分数，不只是“显著优于”。第二，和普通 CoT SFT、process supervision、tool-augmented proving 做干净 ablation，证明收益确实来自“先识别技巧”。第三，给出跨题型迁移，尤其是训练里没见过的证明范式。如果只是在同分布题上把 proof skeleton 写得更像标准答案，这类提升价值会小很多。 我一直觉得，数学推理这条线接下来会分成两股：一股继续往 formal verification 走，拿确定性；一股往 informal reasoning 走，追求更像研究生写草稿时的启发式搜索。这篇论文显然站在后者，而且抓的是“先找招，再落笔”。方向不俗，问题也真；现在卡住它的不是叙事，而是证据密度。摘要已经把故事讲顺了，实验部分还没让我信服。

论文提出 Functional Majority Voting，用测试输入上的运行时执行签名，从多份代码采样里选代表解；按摘要说，它在 LiveCodeBench 提升表现，计算开销还不大。我的判断很直接：这条先该被当成“便宜一点的 reranking/selection 技巧”，别急着当成代码模型能力上台阶。摘要自己已经暴露了边界——它能把多样本里的功能共识抽出来，也能抬高 holdout 任务的 pass@1，但没证明能越过基座模型的性能天花板。这个约束其实很关键。 我一直觉得，代码生成这类任务里，多样本采样加执行反馈，本来就比单发答案诚实。OpenAI 早年做 Codex 时，pass@k 相比 pass@1 的差距就很大；后面很多工作，不管叫 self-consistency、best-of-N，还是 execution-guided selection，吃的都是同一份红利：模型脑子里有可行解，只是第一发不稳定。FMV 的新意在“功能一致性”而不是“表面相似”。这点我认可。两段代码 token 完全不同，只要在测试输入上打出同样的执行签名，就能被归到一类，比按 logprob 或 AST 近邻选答案更接近代码任务本身。 但我对这条的保留也很明确。第一，正文摘录没给提升幅度，没给 sample 数，也没给具体模型。少了这三样，几乎没法判断方法价值。若要拿 32 或 64 个样本换一点 pass@1，所谓“开销不大”就得重算。代码任务里，生成成本之外还有沙箱执行、超时控制、I/O 隔离，这些在实际系统里都不是零。第二，摘要只说用了 test inputs。这里我很想看细节：测试输入是谁提供的，覆盖率怎样，遇到欠规范题目怎么办，运行签名是否容易被投机程序污染。只要测试点稀疏，功能共识就可能变成“对同一组样例过拟合的多数投票”。 把这套东西拿去做无标签 test-time RL，我反而觉得作者比不少论文诚实。摘要直接承认：能涨 holdout pass@1，但没有证据表明超过基座模型上限。这句话很重要。过去一年，围绕 test-time training、self-rewarding、verifier-guided improvement 的叙事经常把“更会筛选已有候选”讲成“模型自己变强了”。这篇至少没把筛选收益硬包装成自我进化。我比较认同这个分寸。 我还没查到全文实验表，所以现在最想看的不是标题里的“substantially boosting”，而是三组数字：LiveCodeBench 到底涨了多少；N 取 4、8、16 还是更高；和简单的 best-of-N、execution-based voting、或 public test reranking 比，FMV 多出来多少净收益。要是这些对比没拉开，这篇的定位就该收窄：它是一个对代码任务很自然的集成器，不是新的训练范式。要是它在小样本、弱模型上也稳定成立，那才有部署意义，尤其对不能承担大规模 reranking 的团队。现在只有摘要，我的结论先放在这：思路靠谱，叙事得降温，关键价值全在实验细节。

西门子CEO明确把AI投资去向挂到欧盟改规这个条件上。只有一句话也够说明问题：欧洲的监管讨论，已经从合规成本，走到资本流向。 我先说判断：这类表态以前多见于美国平台公司，现在从西门子这种工业集团嘴里出来，分量更重。平台公司抱怨监管，外界还会当成常规游说。西门子不一样，它的AI投入通常绑着工业软件、自动化、数字孪生、制造现场改造，周期长，落地重，钱往哪边投，后面跟着的是研发岗位、客户项目、数据基础设施，甚至供应链协同。标题给了地区和触发条件，正文没披露投资金额、时间表、业务线、具体条款，这些关键信息现在都缺。 我想到的外部参照有两个。一个是去年到今年，Meta、OpenAI、Anthropic 这类公司批评欧洲规则，大家已经听麻了；但它们本来就更偏模型和云，天然容易把资源往美国集中。另一个参照是 SAP、ASML、Mistral 周边那批欧洲公司，过去一年都在用不同方式表达同一层焦虑：欧洲想要AI主权，却总先把限制条件写在前面。我没查到西门子这次点名的是 AI Act 哪一段，可能是高风险分类、责任链，或者数据治理要求；没原文别乱猜。 但我对这条也有一点保留。CEO 公开说“我就去美国和中国投”，一半是判断，一半也是谈判话术。跨国集团常用资本开支做政策杠杆，这不稀奇。问题在于，西门子真能把多少AI核心投资从欧洲抽走？它的工业客户、工程团队、既有软件资产，本来就深扎欧洲，迁移不会像新建云区域那样干脆。所以我不太买“欧洲会被直接跳过”这种字面叙事，我更信的是边际增量会先去美国和中国：新模型合作、新算力采购、新试点工厂，先放监管更清楚、商业回报更快的地方。 说真的，这对欧洲最难受的地方，不是被一家企业批评，而是这种话开始变得可执行。工业AI的竞争，拼的不是口头上的创新友好，而是谁能让一家大集团在18个月预算里少做法务解释，多做部署决策。欧盟如果还停在原则表述，最后失去的不会只是几笔AI预算，而是工业场景里最值钱的那批一手反馈。

KV Packet 这篇我先给一个判断：方向是对的，宣传有点满。它抓住了 RAG 和长上下文推理里一个很具体的痛点——同一份文档换了上文，传统 KV 不能直接拿来复用，于是 CacheBlend、EPIC、SAM-KV 这一路都要补一段重算。KV Packet 的做法更激进：文档缓存直接当不可变 packet，外面套轻量 soft-token 适配器，用蒸馏去补上下文断点。这个思路如果真稳，价值不在 paper benchmark，本质是把“缓存复用”从运行时技巧推向了可分发资产，预处理一次，后面很多请求直接吃包。 我觉得它有意思，不是因为“免重算”这四个字，而是它在偷偷改 KV cache 的边界条件。过去一年业内大多默认，KV 只能在同上下文或近似上下文里省算力，所以系统优化都围着 prefix sharing、paged attention、chunked prefill 打转。Anthropic、OpenAI、各家 serving stack 也基本沿这条线做工程。我没看到大厂公开把“上下文无关 KV 包”做成正式产品形态，至少公开材料里没有。KV Packet 要是成立，文档预填充就更像 embedding：先离线生产，再按请求拼接。这个想法挺值钱。 但我对摘要里的核心表述有两个怀疑。第一，“接近零 FLOPs”听着很猛，实际口径没给。soft-token 适配器要不要前向？蒸馏后的桥接 token 有多少个？不同层都插还是只插一段？这些都会直接改 FLOPs 和显存读写。很多 inference paper 会把“相对重算文档本体几乎为零”讲成“接近零 FLOPs”，工程上不是一回事。第二，摘要只说 F1 接近 full recomputation，却没给任务类型、长文长度、检索命中率、跨文档拼接条件。只要测试集偏抽取式问答，F1 很容易好看；一旦问题更依赖细粒度位置关系，断点补偿就可能掉得很快。标题已经给出大方向，正文没披露这些关键数。 外部参照也得摆一下。过去这类工作经常在 TTFT 上赢得很漂亮，因为它们减少的是 prefill 计算；但到端到端时延未必同步下降，瓶颈常常转到 KV 搬运、batching、调度碎片，尤其在 vLLM 一类 paged KV 系统里更明显。我自己没跑过这篇，所以不下结论，但经验上“paper 级 TTFT 改善”落到线上，能保住一半就不错。另一边，像 SGLang、vLLM、TensorRT-LLM 这几代系统过去一年都在吃 prefix cache 和 prefill disaggregation 的红利。KV Packet 若想真的有影响，光在单机 benchmark 赢不够，得证明它能塞进这些 serving 栈，而且不会把 cache 管理复杂度抬到不可维护。 还有一个现实问题：训练成本和泛化。摘要说在 Llama-3.1 与 Qwen2.5 上有效，这说明方法至少不是单模型玩具。但它没说适配器是按模型训练、按领域训练，还是按文档类型训练。如果每个基座模型都要单独蒸馏一套，部署价值会被打折；如果换 tokenizer、换 rope scaling、换 attention 变体就得重训，迁移成本也不低。说真的，我更想看的是跨模型、跨长度、跨任务的退化曲线，而不是一句“F1 comparable”。 所以这条我会先记成一个值得继续追的研究点，不会急着当成线上系统答案。它给出的叙事很诱人：把上下文相关的 KV 变成上下文独立的可复用包。问题在于，摘要还没拿出足够数字证明这个包在复杂请求里不会漏信息，也没说明工程接入代价。要我现在下注，我会说它比“再做一点 selective recompute”更有想象力，但离 production-ready 还差 benchmark 细节、系统实现和失效案例三块证据。

论文评测 4 个 LLM 在 3 种语言、6 类数学题上的表现，结论很硬：基础算术还能迁移，复杂推理到了 Sinhala 和 Tamil 就明显退化。我的判断是，这不是“低资源语言暂时落后”这么轻的事，而是很多数学能力宣称从一开始就把语言理解、文化表述、题面习惯全折叠进了英文分数里。你在英文 benchmark 上看到的 reasoning，上课时未必存在。 这篇工作的设计我挺认可，关键动作不是多测两种语言，而是让母语者独立写平行数据，而不是先写英文再翻译。这个区别很大。翻译题库很容易把错误来源混在一起：模型到底是不会做题，还是被翻译腔、单位表达、句法歧义绊倒，你分不清。独立成题至少把一个常见借口拿掉了。很多多语评测嘴上在测能力，实际测的是机器翻译鲁棒性；这篇在方法上更干净。 我一直觉得，AI 圈对“数学推理”有个偷换。GSM8K、MATH 这类数据集把英语题面当默认接口，模型学到的是英语数学题的统计结构，不是脱离语言的抽象求解。去年到今年，不少模型在英文数学 benchmark 上刷高分，连带把 tutoring、作业辅导、课堂助教的叙事一起抬上去了。但只要题面换成训练语料稀薄、教育语体不同的语言，能力就会分层：算术还能靠模式匹配和数字操作撑住，多步约束、单位冲突、优化题先掉。这和很多人以为的“数学最语言无关”正好相反。数学符号是共通的，题目理解不是。 我对这类部署叙事一直有点警觉，尤其是“先上通用模型，再靠 prompt 补齐本地化”。这篇结果基本在打这个脸。复杂推理失败模式还会随模型和题型变化，说明问题不只是 tokenizer 或词表覆盖率低，也不只是少几个术语翻译。更像是训练分布里，本地语言的学校数学表达、常见叙述套路、单位写法、约束组合，根本没有被充分看见。标题和摘要没给具体模型名，也没给各题型的准确率、方差、温度设置、是否 CoT、是否多次采样，所以我没法判断到底是谁掉得最厉害，也没法判断差距是 5 个点还是 30 个点。这些缺口很关键。 文章外的上下文也很清楚：过去一年多语能力的公开叙事，大多围着大语种打转，西语、法语、德语、日语经常被拿出来当“全球化能力”的证明。南亚低资源语言通常只在翻译或 ASR 任务里被顺手带到，数学教育这种高风险场景反而没人认真测。Meta 的 Massively Multilingual NLU、后来的一些多语 LLM 报告，常见做法也是拿通用理解任务铺开语言覆盖；可一到教育、法律、医疗这种场景，语言不只是表层载体，而是任务定义的一部分。这篇论文至少把这个账摊开了。 我还有一个保留意见：作者强调“非英语课堂部署前要做语言特定评测”，这当然对，但还不够。课堂里真正麻烦的不是单轮做题准确率，而是错误解释会不会带偏学生。模型答错一道优化题，和模型一本正经地给出错解步骤，是两种风险。摘要没披露他们是否分析了错误解释质量、置信表达、或教师可审阅性。如果没有，这篇更像在测“会不会做”，还没完全碰到“会不会误导”。 所以这条在我看来，不是在补一块边角料 benchmark，而是在拆一个默认前提：英文数学强分数，不能外推成多语教育可用性。谁还在拿英文 reasoning 榜单给低资源语言课堂背书，谁就该先把本地题库、母语教师评审、错误类型分布拿出来。不然就是把学生当红队。

论文定义了 1SC 的 2 个任务，并在 3 个数据集上给出一个不太讨喜、但我觉得很有用的结论：单边转录做摘要，不一定要先把缺失说话人补出来。这个判断比“能重建多少轮”更重要，因为它直接挑战了很多 agent 和 contact-center 流程里的默认设定——先补全上下文，再做理解、质检、记录。 我对这条结论基本买账。原因很现实：摘要任务要的是决策充分统计量，不是对话逐字复原。只要单边发言里已经暴露了意图、状态变化、行动项，硬补另一侧很容易把系统拖进幻觉区。文中提到 placeholder prompting 能降幻觉，这很合理；先承认缺口，比让模型自信补词更像生产系统。我一直觉得这和 RAG 里的“宁可留空，不要编造”是同一类工程纪律。 但这篇现在也有明显缺口。RSS 只有摘要，正文没给 reconstruction 和 summarization 的核心分数、模型名、成本、时延、A/B 规模，也没说“高质量”具体高到什么程度。LLM-as-a-judge 也要小心，尤其是补全缺失轮次这种任务，judge 很容易奖励流畅，未必奖励真实。我还没查到论文里是否做了事实一致性或 downstream utility 的硬指标；如果没有，这个结论离部署还差一截。 外部看，这条线其实接近过去一年语音会议和客服总结产品的经验：很多系统在 ASR 很脏、说话人分离不稳时，直接抽 action items 反而比先做完美 transcript 更稳。我记得一些 call-center summarization 工作也是这个路子，但具体论文名我没核实。1SC 的价值，在于把“信息不完整时先做什么”单独立题了。这个方向我觉得是对的，只是目前看到的还是 benchmark 起步，不是现成的产品答案。

论文把 Synthetic Discussion Generation 用在在线引导场景，并报告 7B-8B 量化模型的成本比 OpenAI GPT 系列低 44 倍以上。我的判断很直接：这篇的价值不在“又一个合成数据框架”，而在它把一个学界和产品团队都常犯的懒习惯挑明了——很多人拿闭源大模型做社会实验，并不是因为任务需要那个能力上限，只是因为省事。 摘要里给了两个硬信息。第一，作者不只讲概念，还放了 Python 框架、公开数据集、成本比较方法。第二，放到 online facilitation 这个具体任务里，LLM 引导师的问题不是不会说，而是不会判断何时介入，结果是介入过频，讨论跑偏。这点我挺认同。过去一年不少 agent 论文都在拼“怎么做动作”，很少认真建模“何时不做动作”。在讨论引导、客服升级、代码 review 这类任务里，trigger policy 往往比生成质量更决定成败。模型多说一句，系统就可能从辅助变成干扰。 我对这篇也有保留。44 倍这个数字听着很猛，但摘要没披露比较口径：输入输出 token 是否一致、上下文长度多少、量化部署跑在什么硬件上、OpenAI 用的是哪一档模型，正文片段里都没有。没有这些条件，成本优势只能先当方向性结论，不能直接拿去做预算。说真的，学术论文里“比 GPT 便宜很多”常常成立，但一旦把工程时间、推理吞吐、故障恢复算进去，落地优势没标题那么夸张。 外部对比也很清楚。2024 到 2025 年，很多合成数据和评测流水线已经从闭源 API 往开源 7B、8B、70B 分层迁移，尤其是把高价值样本留给强模型，批量扩展交给小模型。这篇顺着的是这条线，不是新范式。我自己更关心它在“社会互动仿真”上能不能站住。讨论不是单轮问答，身份、情绪、互相误读会累积放大。摘要说模拟能揭示局限，再去找真人讨论者，我买账；如果有人把这种 synthetic discussion 当成人类讨论的可靠替身，我不买账。标题已经给出框架和成本，正文片段没披露外部效度、人工评审一致性、跨任务泛化幅度，这些才决定它是研究工具，还是只是便宜的讨论生成器。

JumpLoRA 在摘要里声称兼容 IncLoRA，并且超过 ELLA。这里最先给我的判断是：这是一篇典型的“把参数隔离做得更细”论文，不是持续学习范式的翻新。它瞄准的老问题很明确，任务按序到来时，LoRA 适配器之间会互相踩踏，最后出现遗忘。作者给出的解法也很直接：在 LoRA block 上加 JumpReLU gating，让一部分低秩更新按任务稀疏激活，靠动态参数隔离减少干扰。 这次所谓“多源覆盖”，其实只有 arXiv 条目被重复收录了 2 次，标题也完全一致。这个信号很弱，不能按媒体交叉验证来算。两条表述高度一致，不是因为外部媒体形成共识，而是因为它们本来就是同一个官方摘要出口。说白点，这里没有第二视角，也没有独立复核。我自己最在意的几个判断依据，当前正文材料都没给：提升了多少、在几个顺序任务上测、基座模型多大、稀疏率怎么设、任务数增加后参数占用是否线性增长，这些都还没看到。 从研究脉络看，这条路并不新。过去一批 LLM continual learning 工作，核心都在处理 adapter interference：有的管子空间正交，有的管坐标冲突，有的直接给每个任务单开 adapter。JumpLoRA 的位置很清楚，它不是抛弃 LoRA，而是在 LoRA 里面再做一层门控，把“哪些 rank 真被这个任务用到”显式稀疏化。这个方向我觉得是合理的，因为很多 LoRA-CL 方法嘴上说参数高效，实际到了十几个任务以后，adapter 仓库照样越堆越大，推理时还得处理路由、选择或合并问题。稀疏门控至少提供了一个更可控的隔离机制。 但我对这类结果一直有个保留。摘要写“significantly boosts” 和 “outperforms SOTA”，正文片段却没带任何数字。没有平均准确率、平均遗忘率、backward transfer、每任务新增参数比例，这个结论只能先打问号。持续学习论文最容易好看的地方，是任务序列短、任务相近、评测只看最终均值，不看长序列稳定性。要是任务数从 5 拉到 20，或者领域跨度从分类扩到指令跟随、信息抽取、代码生成，JumpReLU 这种门控会不会开始过拟合某些路径，摘要没有回答。 还有一个我没法跳过的问题：稀疏带来的到底是“少干扰”，还是“少共享”。持续学习里隔离做太狠，遗忘会下降，但正迁移也会一起掉。ELLA、IncLoRA 这类方法至少都在试图平衡旧任务保护和新任务复用。JumpLoRA 如果只是把 adapter 切得更碎，它在异质任务序列里未必占优。这个得看 ablation：不同 sparsity budget 下，forward transfer 和 forgetting 怎么一起变化。当前材料没披露。 我还会盯实现代价。JumpReLU gating 听起来轻，但门控训练一般会引入额外超参，阈值、稀疏正则、初始化都会影响结果。很多“兼容现有 LoRA 方法”的说法，落地后其实是训练脚本复杂一截，稳定性差一截。摘要说它 highly modular，这个我先不完全买账，除非作者给出跨模型、跨任务、跨种子的稳定复现。 所以我的结论不复杂：这篇论文的问题选得对，方法也顺着过去一年 adapter-based CL 的主线在推进，属于认真补 LoRA 持续学习短板的一类工作。可在看到完整实验前，我不会把它当成 ELLA 之后的明确接班人。标题给出了方法名和对比对象，正文片段没披露关键数字，这时候最稳妥的态度就是先把它记成“有潜力的局部改良”，别急着记成新的基线。

这篇综述提出 5 类内生可解释性范式，目标是把透明性直接写进 LLM 的结构与计算里，而不是靠训练后的外部解释器补一层。我的判断先摆前面：这篇 paper 的价值在于帮大家把一个分散议题整理成可讨论的坐标系，不在于它已经证明这条路线能替代 post-hoc interpretability。标题和摘要给了分类，正文页信息显示 14 页、4 张图、1 张表、ACL 2026 主会接收；但没有在这里披露每一类对应的量化收益、计算代价、适用模型规模，这几个缺口很关键。\n\n先说“多源”。这次事件写着 2 个来源，实际 member list 是同一个 arXiv 条目重复出现，标题完全一致。所以这里没有媒体角度差异，也谈不上交叉验证。表述高度一致，不是因为市场形成共识，而是因为这里只有一个官方学术源。这个信号要看轻一点：它说明学界开始系统化命名“intrinsic interpretability”，不说明产业已经接受这套方法。\n\n我对这篇综述本身是认可的，因为它至少把过去一年经常混在一起的几条线拆开了：functional transparency、concept alignment、representational decomposability、explicit modularization、latent sparsity induction。这个拆法是有用的。过去很多讨论把“能画 attention 图”“能做 probe”“能抽取 feature”都塞进 interpretability，结果把训练前设计、训练中约束、训练后解释混成一锅。这里把“内生”单独拎出来，等于先划边界：你要的是模型本体可读，不是旁边再挂一个解释器。对做 safety、debugging、compliance 的团队，这个边界很重要。\n\n但我对“内生可解释性正在成为替代方案”这个大叙事有保留。原因很简单：大模型过去 18 个月的主旋律一直是 scale、inference efficiency、tool use、long context、reasoning scaffolds。凡是会明显伤到 token 吞吐、预训练稳定性、蒸馏路径、GPU 利用率的方法，最后都很难进主线系统。Mixture-of-Experts 能被大规模采用，不是因为它可解释，而是因为它在计算预算上划算。稀疏自编码器、feature dictionary、circuit analysis 这些工作让我们更懂模型了一点，但“更懂”离“训练时就内生透明”还有很长一段工程距离。我自己没在正文里看到这篇综述给出统一 benchmark，也没看到“解释性增益 / 性能损失 / 训练开销”三者的并列表。如果没有这张表，分类再漂亮，也还停留在 research agenda。\n\n五类范式里，我更看重两类。第一类是 explicit modularization，因为它最接近工程接口：模块边界、路由规则、职责拆分，至少能和 agent pipeline、MoE、program-of-thought 这些现成系统接上。第二类是 latent sparsity induction，因为它和 mechanistic interpretability 社区这两年的主线更连。稀疏表示、可分解 feature、dictionary learning 这套东西虽然离产品还远，但至少能落到可测对象上。相对地，concept alignment 听起来很好，可一旦概念空间靠人工定义，马上会碰到 coverage 和 ontology 漂移：你对齐的是“人类想看的概念”，不是模型实际在用的计算基元。这个说法我不太买账，除非正文给了跨任务、跨模型规模、跨语言的稳健证据；摘要没给。\n\n还有一个我会 push back 的点：内生可解释性常被包装成 trustworthiness 的捷径，这有点过。透明结构不自动带来真实可控。你可以把模块命名得很清楚，把 latent 做得很稀疏，模型照样会学出代理变量、捷径特征、分布外脆弱性。过去在 vision 和 tabular 里，这类“看起来更可解释”的模型也没有天然免疫 Goodhart 式失败。LLM 这里同理。解释性最好被当成 debugging interface 和 audit surface，而不是安全证明。\n\n跟外部脉络放一起看，这篇综述踩中的点是对的。2024 到 2026，大家已经越来越不满足于 saliency、attention rollout、post-hoc rationales 这类结果导向解释，因为它们太容易生成“像解释的东西”。OpenAI、Anthropic、Google DeepMind 过去一年在公开叙事里都更强调 monitoring、evals、policy training、tool governance，而不是宣称模型已经“可解释”。这恰好说明：业内知道 post-hoc 不够，但也没谁拿出一套公认的 intrinsic recipe。这个空档，正是综述能发挥作用的地方。\n\n所以我会把它当成一张研究路线图，不当成落地宣言。它帮人统一术语，方便后续论文少绕弯；可如果你是做产品或平台的，现在还不能据此下注“内生可解释性会进入主流基座模型架构”。我更想看到的是三类补充信息：一，至少 7B、30B、70B 级别上的实验对比；二，解释单元在任务迁移后还能不能保持语义稳定；三，训练和推理成本到底多出多少。标题已经给出 ambition，正文摘录没有披露这些核心数字。我会先把这篇记为“框架整理得不错”，离“方法成立”还差证据。

C-MET 这篇我先给一个偏正面的判断：它挑的不是“再把嘴型做顺一点”这种边角问题，而是在动 talking face 里最难拆的一层——情绪到底来自语音内容、声学韵律，还是面部运动先验。论文给出的核心数字是，在 MEAD 和 CREMA-D 上情绪准确率提升 14%，并且声称能做未见过的扩展情绪编辑。这个方向我买账，因为过去两年不少方法卡在离散情绪标签，最后做出来还是 anger/happy/sad 那几档，离真实表演差得很远。 它的方法也有点意思：用预训练音频编码器，加一个解耦的表情编码器，在语音和视觉特征空间之间学“情绪语义向量”。这比直接拿情绪语音去驱动表情要干净一些。后者常见的问题很明确：prosody 里既有情绪，也有语义、说话习惯、语速和停顿。模型没拆开，就很容易把“激动”学成“大声快说”，把“讽刺”学成某种固定口型。C-MET 至少在方法设计上是冲着这个结来的。 我想到的外部参照，是 2024 到 2025 年那波 audio-driven portrait 论文和产品 demo。很多系统在标准情绪集上看着都不错，但一到细粒度情绪，尤其 sarcasm、contempt、mixed affect 这种扩展标签，就会退回模板化眉眼动作。原因很简单：数据集本来就稀，标签口径也不统一。MEAD 和 CREMA-D 算常用基准，但它们的表演范式比较“演出来”，离真实对话视频还有距离。所以这个 14% 我不会直接当成“可落地提升 14%”。如果评测器本身依赖情绪分类器，那增益里有多少来自更贴近分类器偏好的表情分布，正文目前没披露。 我还有两个保留。第一，标题和摘要都说“未见过的扩展情绪”，但没交代扩展情绪的定义、数量、构造方式，也没说 zero-shot 的边界条件。是训练里没有这个标签，但有相近情绪样本？还是语义上完全新组合？差别很大。第二，摘要强调代码、checkpoint、demo 已公开，这点很好，可复现门槛低；但抽象里没有给出身份保持、时序稳定性、lip-sync 误差这些 talking face 的老问题指标。情绪做强了，身份漂移或口型崩一点，产品侧一样很难用。 所以我对这条的看法是：研究问题选得对，机制也比“加更多情绪标签”高明，值得看代码；但只靠 abstract 里的 14%，还不够证明它已经跨过了泛化那道坎。我自己更想查的是，作者有没有做跨数据集测试、不同语言测试，或者让同一句文本在不同目标情绪下保持语义与口型一致。那几项如果站得住，这篇才不只是学术数据集上的漂亮分数。

这篇论文给了一个很关键的结论：作者用两项 conjoint 实证把数据与成本节省做到 24.9% 至 79.8%，前提不是让 LLM 代替人填问卷，而是把 LLM 数据塞进一个有一致性、渐近正态性和有限样本误差界的估计框架里。这个前提比节省比例本身更重要。市场研究圈这两年一直有人卖“合成受访者”叙事，我一直觉得那套说法有点过，因为你只要真的跑过 survey，就知道偏差不是噪声，而是结构性的：抽样框偏、题目措辞偏、社会赞许偏，LLM 还会再叠一层训练语料偏差。直接拿模型回答去顶真人样本，通常只会把误差包装得更像真相。 这篇文章的价值，在于它没有继续吹“LLM 已经理解消费者”。它承认了 LLM 数据和人类数据之间有 gap，还明确说 naive substitution 会放大偏差。这个态度是对的。说真的，很多“AI 做 market research”的 demo 最大的问题，不是模型写得不像人，而是它写得太像一个平均化、可解释、受过良好教育的互联网用户。conjoint analysis 对这种偏差很敏感，因为你估的不是一句自然语言，而是 part-worth utilities、属性权重和 choice trade-off。这里一旦偏，后面的产品定价、feature bundling、细分策略会一起偏。 我对这篇论文的第一反应是：它更接近小样本统计增广，不接近“模拟消费者社会”。这个区别很大。过去一年里，行业里有不少公司在卖 persona simulation、synthetic panels、AI focus group。我没核过每家的技术细节，但大多数公开材料都把重点放在“像不像人”，很少认真处理识别条件、估计量偏差、外推边界。这个方向里，反而是 econometrics 味更重的工作更可信，因为它至少在问一个老问题：当辅助数据有系统偏差时，怎么把它用成 variance reduction，而不是 bias amplifier。作者这次给出一致性和有限样本误差界，至少说明他们知道自己在跟什么问题打交道。 但我还是有几个保留。第一，正文只有摘要，关键机制没展开。标题和摘要给了 savings、理论性质、两个案例；可它没有披露具体用了哪个 LLM、prompt 怎么设、生成样本量多少、和真人样本的配比怎么选、误差界在什么假设下成立。这些都很要命。你只要换一个模型，偏差形状就会变。GPT 系、Claude 系、Qwen 系在风险偏好、礼貌性、品牌熟悉度上的回答分布，我自己见过就不太一样。没有模型细节，这个方法更像“存在性证明”，离可复现工作流还差一截。 第二，两个实证场景都偏窄。COVID-19 vaccine preference 和 sports car choice 都是典型 conjoint 题，但它们有一个共同点：属性能被相对清楚地结构化。很多商业问卷没这么干净。你真到 B2B 软件采购、医疗支付、跨国家庭金融决策这类场景，受访者的 latent constraints 更重，组织流程也更复杂，LLM 生成数据会不会开始把“合理解释”误当“真实偏好”，我有点怀疑。摘要没告诉我们泛化边界。 第三，这篇论文强调“省数据、省成本”，这个方向没错，但市场研究里最贵的部分往往不是问卷点击本身，而是抽样、配额、清洗、欺诈检测和后续建模。LLM 能替你补一部分 choice data，不等于它替你解决样本代表性。这个账很多团队会故意算混。比如你把 40% 的 profile choice 用 LLM 补了，fieldwork invoice 确实降了；可如果核心人群抽不到，最后做出的产品决策还是会错，省下来的只是收集成本，不是决策成本。 我倒是愿意把这篇文章和另一条线放在一起看：去年到今年，越来越多团队开始把 LLM 当作 noisy instrument、teacher model 或 proposal distribution，而不是 oracle。RAG 是这样，评测代理是这样，survey augmentation 也是这样。这个转向很成熟，因为它默认模型会偏，所以系统设计要围着偏差做校正。比起“模型能不能替人”，我更认这种思路。 如果后续论文正文给出完整实验，我最想看三件事：不同模型之间的稳健性；真实样本占比降到什么阈值后估计开始崩；以及对少数群体偏好的误差是否显著放大。少数群体一旦被平均化，这套方法在商业上就会很好看，在研究上就会很危险。现在这篇摘要已经足够说明一个判断：LLM 在 market research 里有用，但用途更像带偏差的辅助样本，不像新的受访者来源。把这点讲清楚，比任何“节省 79.8%”都诚实。

论文把 GRPO 训练目标改成信息一致性，并在投资与职位推荐两类任务上报告了更低波动；但摘要没有披露降幅、基座模型、样本规模、评测口径。先把结论说在前面：这个方向我认同，证据我还不认。企业场景里，用户最烦的往往不是模型答错一次，而是同一句话换个说法，答案边界就漂了。把“语义等价输入应返回等价信息”直接写进奖励函数，这比单纯降 temperature 更接近生产要求。 我觉得这条有意思，是因为它戳中了过去一年不少团队绕不过去的坑。很多人先上 system prompt，再补 RAG，再锁低 temperature，最后发现合规口径还是会飘。原因不复杂：RAG 解决的是“拿什么材料答”，不是“同义改写后答到哪一层细节”；低 temperature 压的是采样噪声，不是语义边界。我自己见过的客服、HR、投顾 demo，大多都卡在这里。同一政策问法略变，模型就会在免责声明、推荐排序、风险措辞上轻微偏移。对消费级聊天，这不一定是 bug。对金融、招聘、医疗前台，这就是上线阻碍。 但我对论文当前披露的说法有保留。摘要只说“reduces variability compared to the baseline LLM model”，没说 reduction 是 5% 还是 50%，也没说 baseline 是 instruction-tuned 小模型，还是已经做过 SFT/RL 的强基座。这个差别非常大。要是基座本来就不稳，任何按组训练都会显著好看。要是基座已经是 GPT-4 级别的稳态模型，提升空间通常很窄。正文没给模型名，我没法判断结果处在什么量级。 还有一个关键点，摘要把“resetting conversational context”写成方法的一部分。这个设置在论文里合理，在真实产品里没那么干净。很多企业对话恰恰依赖历史上下文，像客服升级、投顾追问、招聘筛选都会把前文状态带进去。你把上下文清空后测出来的一致性，更像“单轮 phrasing robustness”，不等于“多轮业务一致性”。这不是吹毛求疵，是部署时会直接撞上的问题。只要对话状态参与决策，稳定性目标就会和个性化、记忆、澄清提问发生拉扯。 GRPO 本身也值得多问一句。它这两年主要被拿去做推理、代码、偏好优化，我记得 DeepSeek 那波把 GRPO 讲得很热，核心卖点是省掉 value model，按组做相对优势估计。把它搬到一致性任务上，思路通顺：同义 prompt 天然就是“组”。但这里的难点不是优化器，而是奖励定义。摘要提到 entropy-based helpfulness 与 stability rewards。这个设计听着顺，可我有点怀疑它会不会把模型推向“安全但更空”的回答。稳定最容易拿分的办法，不是更懂用户意图，而是收缩表达空间，少给细节，少做排序，少下判断。尤其在投资和职位推荐这种任务里，回答一旦变得更保守，波动会下降，效用也可能一起下降。摘要没有给 helpfulness 与 stability 的权重，也没给人工偏好或业务 KPI，我现在看不出它有没有用“更平”换“更稳”。 外部参照也说明这事没那么简单。OpenAI、Anthropic 过去一年都在强调 instruction-following 和 policy adherence，但公开材料里很少直接承诺“同义问法信息完全等价”。原因不是他们没想到，而是这个目标会碰到表达多样性、澄清策略、上下文记忆三件事。很多团队内部会做 paraphrase robustness eval，但很少把它单独拉成训练主目标。因为一旦拉得太高，模型容易变成模板机。论文如果能证明在不明显伤害帮助度的前提下，把 paraphrase variance 压下去，那是有工程价值的。问题是摘要还没给出这个证明。 所以我现在的判断很直接：这是一个对 enterprise AI 很实用的训练目标提案，不是已经站稳的结果。我要看四个东西才会提高评价。第一，信息一致性的度量到底怎么定义，是 embedding 相似度、关键信息槽位重合，还是人工标注。第二，helpfulness 有没有同步提升，或者至少没掉。第三，多轮对话下是否成立，不是只在 reset context 的单轮里成立。第四，基座模型与数据规模。标题给了方向，摘要给了方法，决定这篇论文分量的数字还没给。现在先把它当成一个值得复现的想法，不当成已验证的解法。

论文摘要称，贪心线性模型在超 90% 数据集进入第一梯队。这个结果我并不意外，我反而觉得它很像离线 bandit 评测把“探索价值”系统性压扁了。 原因很直接。离线日志只覆盖当年被展示过的动作，没被打到的臂，回报通常接近不可见。你拿这种数据去评 UCB、Thompson Sampling、LinPHE 这类靠主动试错吃饭的方法，等于先砍掉它们最贵也最关键的那部分收益，再让它们和贪心比点击率。结果常常就是贪心更稳，超参搜索也会一路把 exploration 系数往 0 推。这不是“不要探索”，这是评测环境在奖励保守策略。 这件事在推荐里不是新发现。Yahoo! Front Page 那批 contextual bandit 工作，后来到 IPS、SNIPS、DR 这一串 OPE 方法，核心都在补同一个洞：日志策略如果覆盖太窄，反事实评估就会高方差，甚至直接失真。我还记得很多工业数据集都带强位置偏置、候选集裁剪、延迟反馈，这些条件一叠上去，离线结论对在线几乎没有裁决力。 我对这篇论文先保留一截。摘要没给数据集数量、日志采样机制、奖励定义、评测指标，也没说比较了哪些线性 bandit。少了这些，没法判断“90%”到底是跨域稳定现象，还是若干常见数据集上的同向偏差。要是日志本身接近确定性策略，那贪心赢面大，本来就是可预期结果。论文的价值，不在证明贪心更强，而在提醒大家：很多 bandit 论文先输在评测台，不是输在算法。

Softpick 用 rectified softmax 替掉注意力里的 softmax，并在 340M 与 1.8B 模型上报出 0% sink rate。我的判断是，这篇东西如果复现成立，价值不在“又一个注意力变体”，而在它把三个老问题绑到了一起：attention sink、激活异常值、低比特量化脆弱性。过去一年大家对这三件事常常分开修，像是给 KV cache、给 RoPE、给 outlier channel、给激活裁剪各上各的补丁。Softpick 这条路更像从归一化机制本身下手，试图一次性改掉“概率必须和为 1”带来的副作用。这个方向我买账，至少问题定义是对的。 我对摘要里最感兴趣的词，不是 0% sink rate，而是 not sum-to-one。标准 softmax 把每个 query 的注意力质量强行分完，这件事在训练稳定性上很好用，但也容易把无意义的残余概率灌到某些 token 上，attention sink 就常从这里长出来。很多人把 sink 当成长上下文工程 bug，我一直觉得没这么简单，它和 softmax 的几何性质本来就有关。Softpick 如果真靠 rectification 让一部分质量直接归零，而不是被迫分配出去，那它做出的稀疏图就不只是“更好看”，而是给量化和剪枝腾空间。因为低比特最怕 heavy-tail activation，摘要也明确提了 hidden-state kurtosis 降低，这条链路在机制上是顺的。 这里有个文章外的参照系。过去一波 low-bit 工作，不管是 SmoothQuant、AWQ，还是后面的 activation-aware 路线，核心都在处理异常值通道，不是去碰注意力归一化本身。也有一些人做 sparsemax、entmax 这类替代，但大多卡在训练习惯、速度、或者和现有 kernel 兼容性上。我没细查 Softpick 的实现细节，但如果它真是 drop-in，而且不要求大改 kernel，这比论文里多涨 1-2 个 benchmark 点更重要。推理栈现在最缺的不是“理论上更优”的函数，而是能在 FlashAttention、paged attention、量化 kernel 这套工业栈里活下来的函数。 但我对这篇也有几处保留。第一，摘要没给 benchmark 名称，也没给量化位宽。4-bit、6-bit、8-bit 是完全不同的故事；per-channel 还是 per-token，也会改写结论。第二，0% sink rate 这个表述很抓眼球，但 sink rate 的定义、阈值、统计层位都没在摘要里给出。是按 head 统计，按 token 统计，还是按层统计？长上下文长度是 8K、32K 还是更高？这些条件不说，0% 只能算一个信号，不能算结论。第三，340M 和 1.8B 还在“中小模型可验证区间”，离 7B、34B 甚至 MoE 生产模型很远。注意力分布在规模上去后会不会出现新的训练不稳，我现在没法替它背书。 还有一点我会比较警觉：摘要把 interpretability、pruning、sparsity optimization、low-precision training 一口气全挂上了。这种写法在 arXiv 很常见，但通常里面只有一到两条是硬结果，剩下的是可延展方向。现在正文片段只给了抽象结论，没有训练曲线，没有吞吐开销，也没有和现有 sparse attention kernel 的端到端延迟对比。我自己没跑过代码，所以不会直接接受“机制改动很小，收益很多”这套叙事。很多 attention 替代最后都输在常数项，paper gain 在真实 serving 里被 kernel 成本吃掉。 我还是觉得这条值得看后续。原因很简单：如果 Softpick 把 attention sink 和 activation outlier 一起压下去，它影响的不是一个 benchmark，而是整条低比特推理链。现在 4-bit 甚至更低位宽部署越来越普遍，大家都在和激活尖峰、校准数据敏感性、长上下文退化打架。一个能从源头上让分布更“薄”、更稀疏的归一化函数，哪怕 perplexity 只小赢一点，工程价值也可能很大。前提是作者得把三件事补齐：具体 benchmark、具体 bit width、具体训练与推理开销。没有这三项，我会把它放进“方向对，但还没过工业门槛”的篮子里。

论文提出 SDFT 恢复压缩与遗忘损伤，并用 CKA 解释恢复机制；可正文只给了摘要级信息，模型、数据集、量化位宽、剪枝比例、恢复点数都没披露。先别急着把它当成“蒸馏为什么有效”的定论，我更愿意把它看成一个还没做完证据链的表示几何假说。 我对这条有兴趣，不是因为“自蒸馏能救模型”这句话新鲜。这个方向早就不新了。蒸馏、再训练、量化后校准、prune-recover，这几年都有不少工作。LLM 侧更接近工程常识：你把模型做了 SFT、低比特量化、结构化剪枝，掉点以后再喂教师信号，很多时候确实能回一点。新意在它试图把恢复效果落到一个可测指标上，也就是 student 和 teacher 的激活轨迹 CKA 对齐。这个思路至少比“蒸馏有用，因为 soft targets 更丰富”更往前走了一步。 但我有两个保留。第一，CKA 和性能相关，不等于 CKA 抓到了因果机制。表征学习这块过去几年反复出现这个问题：线性 probe、SVCCA、CKA、logit lens，常常能解释一部分现象，但相关性一高，大家就容易把它讲成机制本身。这里也一样。摘要只说 strong correlation，没给相关系数，没给层级分布，没给不同任务上的稳健性。要是只在少数层、少数任务、少数损伤强度下成立，那它更像诊断工具，不是统一理论。 第二，作者把“高维流形对齐”放得很核心，我自己有点怀疑这套说法是不是过度几何化了。LLM 在量化和剪枝后的退化，很多时候不只是表示空间歪了，还牵涉注意力头失活、KV 近似误差放大、logit calibration 变差、甚至某些长尾能力被局部抹掉。你用一个全局对齐指标去解释所有恢复来源，风险是把不同故障模式揉成一个故事。尤其是 SFT 灾难性遗忘和 4-bit quantization，本来就不是一种损伤。前者偏任务分布迁移，后者偏数值精度约束。一个指标若同时解释两者，我会先问：它是不是太粗了。 外部参照其实不少。我记得 2024 到 2025 年，量化圈对“少量校准 + 蒸馏回补”的结论已经很常见，像 AWQ、GPTQ 后面的很多 follow-up 都在做类似修复，只是未必用 CKA 讲故事。另一条线是 representation similarity：CV 和 NLP 里早就有人用 CKA 看层间对齐，但把它直接拿来解释 LLM 能力恢复，这一步确实更贴近模型调优现场。还有一条更现实的对照是 LoRA/QLoRA 微调后的遗忘问题。很多团队实际遇到的不是 benchmark 平均分掉多少，而是某几个能力面突然塌，比如数学、代码、长上下文服从性。要是 SDFT 只能把平均分拉回，不能定位哪类能力回来，那工程价值会打折。 我还想看几个关键实验，摘要里都没有。第一，教师是谁。是损伤前同一模型，还是更大模型，还是 EMA teacher？这三种结论完全不同。第二，恢复发生在什么 regime。8-bit 到 4-bit 的恢复，和 4-bit 到 2-bit 的恢复，不是一个难度。第三，恢复代价是多少。多跑 1 个 epoch 换回 1 个点，和多跑 20% token 换回 8 个点，部署上是两回事。第四，CKA 是全层平均，还是某些中后层最关键。要是关键层很集中，这条线会直接影响蒸馏时该盯哪些模块。 说真的，我比较买账的是它把“蒸馏是经验活”往“蒸馏有可观测内部指标”推了一步；我不买账的是摘要里那种接近统一解释的口气。没有模型名，没有基线，没有恢复幅度，连最基本的实验设置都没给，现阶段还谈不上改写大家对压缩恢复的理解。 如果后续正文里能拿出几组硬结果，这篇会有存在感：同一模型在 SFT 遗忘、量化、剪枝三种损伤下，SDFT 恢复幅度可复现；CKA 变化能提前预测恢复上限；不同层的对齐和不同能力项一一对应。要是做不到，它更像一篇把常见工程现象包装成几何叙事的论文。我现在倾向后者一点，但保留判断，毕竟全文细节还没看到。

AdaVFM 用云端多模态 LLM 调度边缘 VFM 子网，报告 IN1K 零样本最高 +7.9% acc@1、ADE20K 开放词汇分割最高 +5.2% mIoU、同精度平均 FLOPs 最多再降 77.9%。我的判断很直接：这篇论文抓到了一个一直被静态压缩方法回避的事实——视觉任务的算力需求本来就是按样本波动的，拿一把固定剪刀去裁所有输入，长期看就是浪费。但它离“可部署的边缘方案”还差几块最硬的证据，尤其是控制链路成本、端云时延和失联退化策略。 这篇的价值不在“又做了个 NAS”。NAS 往 VFM 里塞，论文里年年有，很多最后都死在离线搜索和线上行为脱节。AdaVFM 稍微像样一点的地方，在于它把自适应决策放到运行时，而且把场景上下文和任务复杂度一起纳入。这个方向我一直觉得比单纯蒸馏、剪枝、量化更接近真实部署，因为摄像头流不是 benchmark 图片集。门店、车载、AR 眼镜、工业相机，输入分布和风险阈值都在跳。你要的是“困难帧多算，简单帧少算”，不是“所有帧一视同仁地降配”。从这个角度看，AdaVFM 至少是在解决真问题。 但我对它的叙事有个明显保留：论文把“云端多模态 LLM 控制边缘执行”讲得很顺，正文摘要却没披露几个部署里最致命的数。第一，控制频率没给。是每帧决策、每段视频决策，还是按事件触发？这个差很多。第二，网络开销没给。边缘端如果要把上下文送到云上，再拿回子网选择，几十毫秒往返在手机、摄像头、机器人上都不便宜。第三，功耗没给。FLOPs 降 77.9% 不等于系统能耗也降这么多，DVFS、内存搬运、ISP、编码传输都可能把账吃回去。第四，失联怎么办没给。云控一断，模型是退到最大子网、最小子网，还是本地规则兜底？这些不写，离“edge intelligence”还隔着一层工程现实。 这里有个行业上下文，文章里没有。过去一年端侧视觉优化里，能真正落地的，多半都在尽量减少远端依赖。比如苹果那套设备上视觉与多模态推理，思路一直是把关键路径收在本地；高通、联发科、英伟达 Jetson 这类边缘平台卖点也都是 NPU 上本地跑通，云只做非实时重任务。我没核实到这篇作者是不是明确瞄准 always-connected 场景，但如果它面向的是弱网、移动、电池敏感设备，那“云上 LLM 当调度器”先天就要背额外系统复杂度。反过来，如果目标是工厂、零售门店、固定摄像头这类稳定联网环境，这个设计就合理得多。问题是摘要没有把适用边界说清。 另一个我比较在意的点，是这 7.9% 和 5.2% 到底是赢在“自适应”，还是赢在“你给了控制器额外语义先验”。语言对齐 VFM 本来就吃 prompt 和上下文，云端多模态 LLM 如果看到了更丰富的场景描述，它不只是路由器，已经像个外接教师。那比较对象就没那么干净了：你比的不是同一个模型是否会动态切子网，而是“单机 VFM”对“端云协同系统”。这个差别很大。摘要只说 over comparable VFM sizes，没有把 controller 本身的参数规模、调用成本、上下文来源写出来。我自己会把这视为一个需要拆账的地方。 再说方法论。样本级动态计算在视觉里不是新鲜事，早些年的 early exit、dynamic ViT、token pruning、mixture-of-experts routing，都在做“把算力花在难样本上”。AdaVFM 的新意，是把这件事从分类网络扩展到语言对齐的 VFM，并且引入云端 agent 决策。这个拼法有意思，但也带来一个老问题：路由器是否稳。只要控制器有偏差，系统就会出现一种很难查的错误——简单场景被误判为困难，多跑了，成本上升；困难场景被误判为简单，精度突然塌。论文摘要没有给 calibration、最坏分位延迟、或长尾场景结果。我会特别想看夜间、遮挡、域外样本、镜头抖动时，路由策略是不是还靠谱。 如果你把它当研究信号看，我觉得信号是对的：边缘视觉接下来比参数压缩更关键的一步，是把“固定模型”做成“条件执行系统”。这和大模型推理那边的 speculative decoding、prefix caching、MoE 稀疏激活，本质上是一类优化哲学，都是按请求分配计算，不再迷信单一静态路径。说真的，这条线迟早会进产品。 但如果你把它当成一篇已经证明可商用的 edge 论文，我不太买账。摘要没有披露端到端时延、网络依赖、功耗、控制器成本、失联回退、硬件平台细节。没有这些，FLOPs 再漂亮，也还是算法层面的胜利，不是系统层面的胜利。我的结论是：方向对，包装有点超前，离真实边缘部署还差一轮很硬的系统实验。

论文把 SVG 评估从“渲染像不像”往前推了一步。作者对每个元素各做 2 次渲染，再从同一套差分流程里拿出 4 个结构指标，外加伪影检测和概念归因。就摘要给出的信息看，这套方法至少抓住了一个老问题：很多 SVG 生成模型把图画对了，代码却烂得没法接着编辑。 我一直觉得，SVG 这条线被图像指标带偏了。拿 CLIP、LPIPS、像素差去打分，适合看“结果像不像参考图”，不适合看“代码是不是一个像样的程序”。SVG 跟 raster image 的差别，本来就在可组合、可局部编辑、可复用。你画一个自行车，轮子、车架、阴影、文字标注是不是分得开，这比最后渲染图多 1 分 SSIM 重要得多。Figma、Illustrator、网页前端、图标系统，关心的都不是一张静态图，而是后续还能不能改。这个判断不新，但学界这两年确实补得慢。 这篇论文比较聪明的地方，是它没再发明一套特别重的评估管线。它只做 element-level leave-one-out：删掉一个元素，再渲染一次，看差分落在哪里。然后把这个信号复用到 purity、coverage、compactness、locality 4 个指标上。摘要里没给公式细节，我还没法判断这 4 个指标彼此是否高度相关，或者会不会被简单的分层策略刷分。比如把一个大形状硬拆成很多小 path，coverage 和 locality 可能变好，compactness 反而变差；不同生成器会不会通过“多切几刀”拿到更好的结构分，这个风险是存在的。标题和摘要给了方向，正文没披露各指标的鲁棒性边界。 外部对比一下，这个思路更像程序分析，不像传统视觉评测。过去一年多，代码生成、agent tool use、甚至 UI 生成，都在从 outcome metric 转向 process metric：不只看任务做完没，还看中间结构是不是可维护。SVG 其实同理。去年我看到不少 text-to-SVG 工作，benchmark 还是停在渲染相似度和少量人工偏好。那类评估有用，但很容易奖励“把所有东西糊成一个 path”的投机做法。你最后得到的是一张像样的图，不是可编辑资产。站在生产侧，这两者差得很远。 我对文里的 VLM 概念归因有一点保留。摘要说它把 LOO footprint 和 VLM-grounded concept heatmap 交叉，用来做 element-concept attribution。这个设想挺顺，但 VLM 热图本身就不稳定。不同模型、不同 prompt、不同分辨率，热区都能漂。要是归因基线不稳，后面的 purity 或 coverage 解释就会跟着晃。作者如果正文里做了跨 VLM 一致性检验，那这块会硬很多；摘要没写，我目前不能替它补。 还有一个现实问题：LOO 的算力成本不低。每个元素要多 1 次去除渲染，加上原始渲染，复杂 SVG 一上百个元素，评估开销就线性涨。论文说它覆盖了 5 类编辑、1.9 万多次修改、5 个系统、3 个复杂度层级，这说明方法至少能跑通实验规模。但工程上能不能进在线评估，取决于渲染速度、缓存策略、以及元素数量分布。摘要没给 wall-clock，也没给复杂度上限。 说真的，这条我觉得是对路的研究，不是因为它又造了 4 个指标，而是它把问题定义纠正了：SVG 不是“图像的另一种存储格式”，而是带结构的图形代码。只要任务目标里含有编辑、重组、模板化复用，结构评估就该和视觉评估并列。我的保留也很明确：指标是否容易被刷，VLM 归因是否稳，LOO 成本是否能进真实工作流，这 3 个点正文如果答不扎实，方法就会停在论文里。

论文用 70 亿参数把 Olmo 3 7B 的滑动窗口层换成 Gated DeltaNet 层，并声称预训练与 mid-training 评测都更好。我的判断很直接：这条有研究价值，但离“架构路线改判”还差一大截。摘要把最该交代的东西都留空了：具体分数没给，训练配方没给，增益幅度没给，额外训练稳定性成本也没给。只看这段文字，我没法判断它赢在架构，还是赢在某些配方细节。\n\n我对这类论文一直有个固定警惕：理论可表达性很容易写得很漂亮，落到大规模语言建模时，经常跟最终 loss 曲线不是一回事。标题里把“code execution”抬得很高，我不反对这个方向，但 formal task 的可表达性证明，离真实代码生成、长上下文检索、工具调用鲁棒性，中间隔着不少工程层。文章自己其实也承认这个裂缝，然后再回到理论解释 scaling efficiency。说真的，这一段我愿意看完整论文，但我不会先把它当成已证事实。因为摘要没有披露 compute-optimal 对比条件，也没说是在相同 token、相同数据、相同 optimizer、相同 batch 下赢了多少。少一个条件，结论力度就掉一截。\n\n外部背景也得补上。过去一年，大家对非 Transformer 路线的兴趣确实回来了，Mamba、RWKV、RetNet、DeltaNet 一路都在试，很多工作在吞吐、KV cache、长序列成本上有亮点。问题在于，一到 7B 以上、公开可复现、训练到足够 token 的阶段，能稳定压过强基线的并不多。我记得 Mamba 当时在某些序列建模任务很亮眼，但社区后面反复碰到“局部赢、全面替代难”的现实。Olmo 这次如果真在 controlled setting 下压过 Olmo 3，分量就比小模型 demo 大很多。\n\n我还有个疑虑：它把滑窗层替成 Gated DeltaNet 层，这不是纯粹“新架构挑战 Transformer”，更像在一个已经工程化过的配方里做局部替换。这个设计我其实挺认同，因为更接近生产可迁移路径；但叙事上也该收敛一点。它证明的首先是“混合层在这个骨架里值得试”，不是“注意力范式要退位”。要让我更买账，我需要看到三组东西：同 token 预算下的 loss 曲线、长上下文与代码基准的明确分数、训练稳定性和吞吐成本。摘要目前只给了方向，没给判案证据。

论文提出 CoLabScience，并用 PULI 在流式生物医学讨论里决定何时插话。摘要声称它优于现有基线，但正文摘录没给数据集规模、基线名单、分数幅度，也没交代真实专家参与比例。 我对这条的判断是：问题抓得很准，证据还不够硬。科研协作里的大坑，本来就不是“模型会不会回答”，而是“模型该不该在这个时刻打断人”。大多数 agent paper 还停在 task completion、tool use、long-context recall，默认人会持续发指令。实验室讨论不是这个结构。组会、文献讨论、课题推进，很多关键价值都来自未被点名的提醒：补一篇相反证据、指出实验变量没控住、把机制假说往前推半步。谁能把“主动但不烦人”做对，谁才更接近科研搭子，而不是聊天补全器。 但我对作者的叙事有两个保留。第一，BSDD 是由 PubMed 文章构造的 simulated dialogues。这个设定很方便做标注，也方便训练 RL，但离真实科研讨论差得不止一点。真实对话有口误、跳话题、上下级关系、领域黑话、半成形假设，还有大量“这句说出来会不会误导团队”的社交约束。PubMed 倒出来的对话，天然更干净，也更像把论文结构口语化。模型如果在这种环境里学会“及时插话”，未必等于它能在 PI、博士后、湿实验同台的讨论里插得对。BioMedGPT、Med-PaLM 一类系统，过去一年反复碰到的就是这个问题：离 benchmark 越近，离临床或科研现场越远。这个老坑，在这里一样存在。 第二，PULI 这个名字里有 Positive-Unlabeled Learning，再叠 reinforcement learning，听着很顺，我还是想先看标注和奖励设计。主动介入任务最难的不是生成内容，而是负样本定义。一次“没插话”到底算谨慎，还是错过？一次“插了但没被采纳”到底算低质量，还是团队本身保守？如果奖励主要来自人工构造的 intervention points，那模型学到的很可能是“像标注员一样插话”，不是“像合格合作者一样判断时机”。这两件事差很大。去年不少 agentic memory 工作都遇到类似问题：离线评测里检索命中率上去，真实用户只觉得系统更爱打断、更爱重复。 我还想补一个文章外的参照。Google DeepMind 的 AlphaFold、Isomorphic 的药研叙事，核心都不是让模型多说，而是把模型放进高价值决策环节，缩短 hypothesis-to-test 的链路。OpenAI、Anthropic 近一年做的 computer use 和 deep research，也是在抢“什么时候主动执行下一步”这个位置。CoLabScience 如果成立，它踩中的不是生物医学专属小点，而是更大的接口：LLM 从问答工具变成协作过程里的时机控制器。这个位置很值钱，因为它直接决定人类注意力被谁调度。 问题是，摘要没有给出足够证据让我相信它已经摸到这个点。基线是谁？是普通 RAG、带 memory 的 chat model，还是已有的 intervention policy？precision 提高了几个点？collaborative utility 怎么定义？是任务完成率、专家偏好，还是 downstream proposal quality？这些一个都没披露。标题已经给出“主动协作助手”这层野心，正文摘录没披露“主动到什么程度会惹人烦”“错误介入的代价怎么计”“跨子领域是否稳住”这些关键事实。 说真的，这类工作后面最容易被忽略的一点，是主动系统的失败模式比被动系统更贵。被动模型答错，你可以不问。主动模型在错误时刻强插一句，会直接改写团队讨论路径。生物医学场景里，这种代价不是 token 浪费，而是实验周期开销，甚至是错误优先级带来的资源错配。所以我会把这篇先看成一个值得跟进的 research direction，不把它当已验证产品形态。等完整论文出来，我最想看三件事：真实专家而非模拟对话的评测占比；错误介入率和用户容忍阈值；跨项目长期记忆会不会把早期错误假设越记越牢。没有这些，这篇更像“把 proactive agent 放进科研语境”的起点，不是结论。

论文给出 DRO-REBEL，并把 Wasserstein、KL、χ² 三类 DRO 更新化成相对奖励回归。我的判断很直接：这更像一篇在纠正 RLHF 训练接口的论文，不是在定义新的对齐范式。它有价值，因为它绕开了 PPO 式裁剪和价值网络这套高噪声工程栈；如果这个化简在大模型上站得住，很多“鲁棒对齐太贵、太脆”的老借口会少一半。 我比较在意的是它抓的问题是对的。DPO 这一路方法，过去一年一直有个尴尬点：离线偏好数据一旦带噪、目标一旦漂，训练就会把错误偏好学得很硬。REBEL 这类相对奖励回归，本来就比 PPO/RM/value head 那套轻，DRO-REBEL 等于再往前走一步，把“分布偏移下别过拟合”直接写进目标里。这跟很多团队这两年在线收集偏好、再做小步更新的实际流程是贴的。说真的，这比再发一个更花的 preference optimizer 更有工程意义。 但我对它的叙事有两个保留。第一，摘要同时写了平方参数误差 \u007eO(√(d/n))，又写“首个参数型 \u007eO(d/n) rate”。这两个表述不矛盾，但条件边界很重要：线性奖励、log-linear policy、coverage condition 都是理论里很干净的设定，离 token 级 LLM policy 还有距离。正文没在这里展开常数、失配项和 model misspecification，我不会把这个收敛率直接读成“大模型对齐终于有统计保证了”。第二，实验集还是 Emotion Alignment、ArmoRM、HH-Alignment 这类可控基准。它们能测偏好混合，能测分布偏移；它们测不到长时程 agent 任务里那种信用分配错误，也测不到真实产品流量里的 adversarial feedback。 文章外的上下文也得补一句。过去一年，很多所谓“稳健对齐”工作最后都卡在两件事：一是 importance weighting 方差爆，二是鲁棒目标一上来就把 utility 吃掉。这里作者把 KL 写成重要性加权，把 Wasserstein 写成梯度正则，把 χ² 压成一维对偶求解，至少从接口上是在正面处理这两个老问题。我还没跑过代码，但这个设计方向比“给 DPO 再加一个 heuristic penalty”靠谱得多。尤其 χ² 的 1-D dual solve，很像作者在刻意追求可部署性，而不是只追一页 theorem。 我还是要泼点冷水。摘要说它在 unseen preference mixtures、模型规模、数据规模上都赢了 robust 和 non-robust baseline，可正文没披露胜幅、方差、代价，也没说 baseline 调参是否同强度。鲁棒方法最容易出现的情况，就是平均分涨 1-2 个点，训练成本涨一截，最后只有论文受益。还有一个更大的疑问：这里的“在线”到底有多在线？如果只是 round-based preference refresh，不是 bandit feedback 下的持续部署更新，那和工业里真正的 online alignment 还隔着一层。 所以这篇我会认真看，但不会急着抬成“RLHF 下一站”。它更像一个很像样的中间件：把 robust optimization 接到 REBEL 这条轻量训练线上。如果后续正文或代码能给出更大模型、更多真实偏好漂移、以及 utility-robustness tradeoff 曲线，这条就会从“理论干净”变成“训练栈要改”。现在只看摘要，我给它高于平均 arXiv paper 的重视，低于“范式落地”的评级。

ACSESS 在 23 种策略、5 个 ICL 模型、14 个数据集上做组合，并报告少 shot 时稳定优于单一策略。我的判断很直接：这更像一篇把老问题认真做完的工程论文，不是 few-shot 学习里突然冒出来的新范式。样本选择本来就常常比提示词雕花更稳，论文只是把“别押单一启发式”这件事系统化了。 我买账的地方有两个。第一，作者没把结论锁死在 ICL，上来就把 meta-learning、few-shot fine-tuning 也放进同一框架。这个设计是对的。过去两年不少工作把示例选择讲成 ICL 专属技巧，像基于 embedding 相似度、uncertainty、diversity 的检索，换个训练范式就断了。ACSESS 如果真能跨 ICL、微调、元学习都成立，那它的价值在于把 sample selection 从“prompt hack”拉回“通用数据决策”。第二，摘要明确说收益在极低 shot 最大，shot 变多后优势变小。这个走势符合经验，我反而更信。因为 few-shot 里最稀缺的不是模型容量，是你那 4 个、8 个、16 个例子的位置。 我也有保留。摘要没给绝对提升值，没给方差，没给组合开销。持续优于单策略，可能只是平均多 0.x 到 1 个点；对论文成立，对产品未必成立。要是每次推理前先跑 23 个策略再做组合，线上延迟和实现复杂度会立刻吃掉收益。正文也没在摘要里说明 ACSESS 的组合机制是学习权重、排序聚合，还是元选择器；少了这个，复现难度和迁移成本都没法判断。 还有一层上下文要补。2024 到 2025 年，业界对 few-shot 的兴趣已经明显从“选哪几个例子”转向“能不能直接合成、检索、或用 agent 试错”，比如 DSPy 一类自动编排方法、训练时数据筛选、测试时 RAG 检索。放在这个背景里，ACSESS 的位置不是替代这些路线，而是给它们补一个很朴素但经常被忽略的部件：当你只能放少量样本进上下文时，单一相似度指标常常太粗。说真的，这条更适合做成 evaluation default 或 data pipeline 模块，而不是单独卖成方法学飞跃。 还有个现实问题。摘要说它在 6 个文本和 8 个图像数据集上有效，但没披露任务类型分布、上下文长度约束、也没说 5 个 ICL 模型里有没有今天主流的长上下文闭源模型。arXiv 编号还是 2402，说明这工作最早是 2024 年 2 月的论文，不是今天刚冒出来的前沿突破。我要是看落地价值，会先问三件事：低 shot 下到底提升几个点；组合阶段要不要额外训练；换到现役大模型和长上下文后，收益还剩多少。没这三组数，这篇更像“结论方向大概率对”，还没到“应该立刻改你的生产栈”。

TriagerX 这篇的有效信息很集中：作者在 5 个数据集上，拿双 Transformer 加交互历史重排，打过了 9 个 Transformer 基线，Top-1 和 Top-3 常见提升超过 10%。如果只看论文包装，最容易被带偏到“双模型更强”。我不太这么看。双 Transformer 从工程上是个稳妥做法，不是新范式。把相似已修复缺陷里的开发者交互历史拉进精排，这一步才更接近 bug triage 真问题。很多分派系统不是读不懂 report，而是读懂以后，还是不知道现在谁在维护、谁最近处理过邻近模块、团队是不是已经换人了。 这也是我对文中 54% 提升的第一反应：数字很猛，但大概率吃的是任务定义和数据分布，不是模型架构本身突然跨代。摘要写得很清楚，工业伙伴同时要 developer recommendation 和 component recommendation，component 还被当成 team proxy。这个设定很关键。开发者流动大、团队经常重组时，直接猜“谁来修”本来就比猜“该到哪个组件/团队”更脆弱。只要历史交互图谱补上了这些组织结构信号，developer recommendation 出现 54% 的相对提升并不离谱。问题是，正文片段没披露绝对准确率、类别数、长尾开发者占比，也没说 54% 是相对提升还是百分点提升。少了这些，外界很难判断这组结果到底是“从 11% 到 17%”，还是“从 35% 到 54%”。两者含金量差很多。 我一直觉得 bug triage 这类任务，过去几年被纯文本建模带偏过。早期很多工作从 TF-IDF、BM25、传统分类器一路换到 BERT、CodeBERT、RoBERTa 变体，paper 指标会涨，但上线以后常撞到同一个墙：组织知识不在 ticket 文本里。谁最近 review 过这个仓库，谁修过相邻 crash，谁虽然还在 org chart 里但已经不碰这块代码，这些信号比句向量细节更值钱。TriagerX 至少方向是对的，它承认“content ranking 只是第一层，interaction ranking 才决定派单像不像人”。这点让我想到很多 issue routing 系统最后都走向混合检索：文本召回负责广度，历史行为负责最后一跳。说实话，这比再堆一个更大的 encoder 诚实得多。 但我对“两个 Transformer 各取最后三层做推荐”的必要性有点怀疑。摘要没有解释两个模型是否异构，也没披露消融：单模型 + 交互重排，和双模型 + 交互重排，差了多少？如果双模型只比强单模型再多 1 到 2 个点，工业上未必愿意买这份复杂度。bug triage 不是离线 leaderboard 游戏，线上关心的是训练频率、冷启动、标签漂移、开发者离职后的重映射，还有推荐解释性。你让 triage lead 接受一个系统，往往不是因为它多出几个点，而是因为它能说明“这张单子为什么给 A 组，不给 B 组”。交互历史天然更容易解释；双 Transformer 的 layer ensemble，解释价值就弱很多。 还有个信息缺口不能跳过：文章只给了“large industry partner”，没给行业、代码库规模、缺陷票量、时间切分方式。这个缺口会直接影响结果可信度。bug triage 特别怕时间穿越和近重复泄漏。相似 fixed bug 做 rerank，本身就很吃检索库构建方式；如果 train/test 切分不严格，模型会在相似票据上拿到不真实的优势。我不是说作者一定做错了，我是说摘要没给，外界就没法替它背书。 拿行业对比看，这条更像“经典 SE+ML 任务继续回归结构化信号”，不是生成式 AI 又攻下一城。过去一年大家把太多注意力放在 SWE-bench、agentic coding、自动修复上，好像软件工程里的所有任务都该被大模型端到端吃掉。我一直不太买这个叙事。分派、去重、路由、组件归因，这些环节长期都更适合检索、图信号、历史行为和轻量文本模型混搭。TriagerX 的价值在这里：它提醒人，企业软件流程里很多高 ROI 场景，核心不是生成，而是排序。 所以我的结论很直接。这个工作如果后续正文证明时间切分严格、消融完整、绝对指标够高，它会是一篇很实用的工业研究。要是这些都没有，那它更像一个“把历史行为特征重新包装进 Transformer 时代”的 paper。方向我认，叙事我先保留。

AtManRL把可微注意力操控接进GRPO，并在Llama-3.2-3B-Instruct上训练CoT显著性奖励。这个设定抓得很准：现在“会写推理”和“推理真的驱动答案”常被混在一起，很多工作只是把可读的解释贴在正确答案旁边。它至少在目标函数里正面处理这件事，而不是继续拿 outcome reward 糊过去。 我对这条的初步判断是：研究问题成立，技术路线也有意思，但证据还远远不够。摘要只说在 GSM8K 和 MMLU 上做了实验，只说“能识别关键 token”，没有给具体提升，没有给训练步数，没有给额外算力，也没有给 mask 学出来以后对最终答案的因果强度。标题里用了 faithful reasoning，这个词我不会轻易接受。推理忠实性不是“看起来像关键 token 被高亮了”就算数，至少要看到删掉这些 token 后答案如何退化，保留这些 token 时性能如何恢复，和随机 mask、梯度显著性、attention rollout 这类基线相比多出多少。正文目前没披露。 这类工作还有一个老问题：attention saliency 很容易被说成解释，但社区这几年已经反复吵过，attention 不天然等于因果。早些年 Jain & Wallace 那类结果就已经提醒过，注意力能对齐人类直觉，不代表它就是决策依据。后面很多“faithful CoT”论文也在补这条裂缝，比如用 intervention、rationale ablation、answer flip rate 去测。AtManRL比单纯后验解释更前一步，因为它把 saliency 直接放进 RL 奖励里。我承认这点是有价值的。问题在于，一旦奖励里加了“显著性长得像解释”的偏好，模型也可能学会迎合这个指标，生成更容易被 mask 选中的 token，而不是真的形成更稳的推理路径。这个担心不小。 我还想补一层文章外的背景。过去一年，围绕推理忠实性的路线大概分三类：一类继续做 outcome-only 的 RL，比如 GRPO、RLOO 那套，先把正确率拉上去；一类做 process supervision，让中间步骤更像标注答案；还有一类做 mechanistic 或 causal probing，试图证明中间文本和内部计算真挂上钩。AtManRL明显是把第二类和第三类往一起拧。这个方向我一直觉得比“再堆一个更长 CoT”靠谱，因为长推理文本本身已经越来越会骗 benchmark 了。可它也更难做实证，尤其在 3B 规模上。Llama-3.2-3B-Instruct 适合做方法验证，不适合直接外推到前沿推理模型。3B 上有效，到了 32B、70B 甚至闭源推理模型是否还成立，我现在没法下结论。 我对 benchmark 选择也有点保留。GSM8K 和 MMLU 是标准起点，但它们对“推理忠实性”的压力不够大。GSM8K 很容易把答案正确和模板化数学 CoT 绑在一起，MMLU 又掺了很多知识回忆题。要真想证明方法抓到了影响答案的关键 reasoning token，我更想看 StrategyQA、ProofWriter，或者专门带 counterfactual rationale 的集合。摘要没提这些。 所以，这篇我会先记成一个值得跟进的方法信号，不会记成“忠实推理已被解决”。后面如果正文补出三样东西，我会更认真看：第一，和纯 GRPO 相比的绝对分数与方差；第二，显著性奖励带来的额外训练成本；第三，干预实验里 answer flip rate 的幅度。如果这三项站得住，AtManRL就不是解释层的小修补，而是在把 RL from correctness 往 RL from causal usefulness 推。现在只有摘要，我还不准备把票投满。

论文把熵正则拆成 3 个自适应部件。摘要声称它在多个数学基准上同时提准确率和探索，但分数、模型规模、训练步数、采样温度、算力成本都没披露，所以眼下我不会把它当成“推理突破”，只能先当成一篇在 RLVR 稳定性上动刀的训练论文。 我对这条的基本判断是：作者抓到的问题是真的，结论还远没立住。RLVR 里策略熵坍缩不是新鲜事，尤其在可验证奖励很稀、答案空间又窄的数学题上，policy 很容易过早收敛到几种格式化轨迹，后面看着 reward 还行，实际搜索已经死掉了。熵正则以前一直不好用，也不是因为概念错，而是固定系数太看任务、看模型、看训练阶段。AER 把“一个常数”改成“按难度、按目标熵、按全局状态联动”的控制器，这个方向我买账，它至少符合 RL 里常见的经验：探索强度本来就不该全程恒定。 但我对摘要里的叙事有保留。第一，所谓 difficulty-aware allocation，难点不在“知道难题要更多探索”，难点在训练时怎么判难度。是按 reward 方差、pass rate、长度，还是某种 teacher signal？正文这里没给。判错了，系数分配就会把简单题搅乱，把难题继续卡死。第二，initial-anchored target entropy 这个设定听着顺，可它隐含一个前提：初始策略的熵结构是健康的。我一直觉得这点要小心。很多指令微调后的底模，初始分布本身就带很重的格式偏置，把目标熵锚在“低于初始但别太低”的区间，不一定是在保探索，也可能是在保住原有坏偏置。 这篇让我想到去年不少 GRPO、DAPO、PPO 变体在数学推理上的共同走势：论文最后经常证明的不是“更会想”，而是“更不容易训崩”。两者差很大。OpenAI、DeepSeek、Qwen 这一波把 RL 用在推理上之后，社区已经反复见过一个现象：只要 reward 设计和采样预算没跟上，很多所谓 reasoning gain 最后都收敛成 search policy 的改良，而不是 base model 认知能力的明显抬升。AER 如果有效，我更愿意把它放在这个框里看——它可能提高的是 rollout 的多样性和 credit assignment 的稳定性，不等于模型突然学会了新的数学技能。 还有一个我自己比较在意的 pushback：摘要把“探索能力提升”和“准确率提升”绑在一起讲，但没说探索是怎么量化的。是 token entropy、trajectory diversity、unique solution paths，还是 self-consistency 的方差？这几种指标差很多。Nvidia、Google、学界这两年都很爱讲 exploration improved，可一旦只用表层多样性指标，模型常常只是把同一路径换几种表述，搜索空间并没有真的打开。 所以这条我先给中等偏正面的评价。方向对，问题真，工程上也有现实价值；证据还不够硬。要让我信，至少得补 4 个东西：具体增益数字、对比的 baseline 名单、不同模型规模上的稳定性、额外训练成本。如果这些没有，AER 更像一套“把熵系数从手调改成半自动”的 recipe。这个 recipe 可能很好用，但离“unlocks its potential”这句标题党话术，还有距离。

这篇 arXiv 论文把 LLM 遗忘扩到 4 项目标，我的判断是问题定义比方法名更有价值。现在多数遗忘工作，还是盯“忘掉多少”和“能力掉多少”这两个轴。边界不过拒、对抗探测鲁棒，这两项常被放到 appendix，或者干脆不测。它把这两项拉进主目标，至少说明作者知道部署里的痛点在哪。 我对“统一域表示 + 双向 logit 蒸馏”这套说法，态度是先保留。原因很直接：摘要只给了机制名，没给基座模型，没给遗忘数据规模，没给评测指标，也没给对抗探测的具体协议。标题已经给出 4 项目标，正文摘录没披露这 4 项怎么量化、怎么加权、冲突时谁优先。没有这些信息，“harmonize” 很容易只是 loss engineering 写得漂亮。 说真的，LLM unlearning 这块过去一年最大的问题，不是没人会做遗忘，而是很多方法只把表层行为调成“拒答更像拒答”。你用蒸馏去压 student 的不期望输出，这听起来顺，但我有点怀疑它到底是在删知识，还是在学更稳的 refusal boundary。两者差很多。前者要经得住改写提问、跨语言、工具调用、长上下文绕行。后者往往在固定 benchmark 上很好看，一旦 probe 方式变了，就重新漏出来。摘要里提到 adversarial probing robustness，但没说攻击模板数量、白盒还是黑盒、单轮还是多轮，这块不展开，我很难把它当硬结果。 外部对比也挺明确。像 TOFU 这类常见遗忘设定，核心还是 forget quality 和 retain utility。很多后续论文再加一个 harmlessness，就已经算“多目标”。这篇直接把 neighboring concepts 的不过拒和对抗鲁棒也并进来，方向上比常规做法更像真实产品约束。问题是，目标一多，最容易发生的就是 trade-off 被平均掉：遗忘分数上去一点，保留分数掉一点，拒答安全一点，邻近概念也更保守一点，最后每项都能讲故事，但没有一项真的过线。摘要说“cooperative optimization”，我自己还没看到证据。 还有一个我会盯的点：它说用 context-instructed teacher 注入期望行为。这个设计默认 teacher 的边界比 student 更干净。可如果 teacher 本身也是同代指令模型，那 teacher 常带着很强的 refusals prior，蒸馏后 student 容易学到风格化拒答，不一定学到可迁移的遗忘。去年不少安全微调工作都踩过这个坑：表面更安全，实测任务覆盖一拉宽，过拒和漏拒一起上来。我没查到这篇有没有 teacher ablation；摘要没写。 所以我现在给它的评价是：题目抓得准，叙事也完整，证据还不够。要让我认真买账，至少得看到三组东西。第一，基座模型和参数规模，7B、13B、70B 的遗忘难度不是一回事。第二，攻击协议和邻近概念测试集，最好能公开。第三，和现有 unlearning baselines 的统一评测，不只报自家组合指标。没这些，这篇更像是在告诉大家“遗忘评测该补哪两块”，而不是已经把多目标遗忘做成了。

MMAudioSep 把预训练视频转音频模型改成了声音分离器，查询条件有 2 类：视频或文本。我的第一反应是，这比从零做一个 separation model 更像正路。音频多模态这两年一直有个老问题：生成模型学到跨模态对齐后，能不能顺手迁到检索、分离、编辑这类下游任务。它这篇给出的答案是能，而且只靠微调。 这条我愿意认真看，不是因为摘要里那句“优于基线”，而是因为它押中了一个更实际的方向：把 foundation audio model 当通用声学表征，再往下接任务头。图像侧这件事早就发生了，CLIP、latent diffusion、视频 backbone 都走过这条路。音频侧一直慢半拍，原因很简单，公开数据少，任务定义碎，评测口径也乱。要是视频到音频模型真能同时保住生成能力，还拿到 separation 能力，训练成本和标注依赖都会下降一截。 但我对摘要里的胜出说法有保留。正文片段没给 SI-SDR、SDR、F1、主观听感分数，也没说 benchmark 是哪几个数据集。没有这些，所谓“superior”基本没法复现。生成式分离模型很容易在感知质量上听着顺，客观分离指标却不一定高。反过来也成立，确定性模型在 SI-SDR 上常常更稳。这个领域以前就吃过这种亏：论文把样例视频放得很好听，一到完整评测表，优势只剩几个点，条件一变就没了。 我还在意另一件事：它说微调后保留了原始 video-to-audio generation 能力。这个命题比“分离做得更好”更重要，因为它碰的是灾难性遗忘。问题是摘要没写 retention 怎么测。是零样本生成还能用，还是在原 benchmark 上只掉了 1 到 2 分？这差很多。多任务微调里，“还能生成”常常只是 demo 级结论，不等于分布外场景也稳。我自己没看到论文细节前，不会直接接受这个说法。 外部参照也很明确。过去一年，音频方向一批工作都在把生成模型往编辑和条件控制上拉，比如 text-guided audio editing、foley generation、audio inpainting。MMAudioSep 如果成立，说明 video-conditioned audio generation 学到的不只是“配音”，而是可切分的声源结构。这点很有价值。Sony 做这条也合理，他们在音频生成、分离、音乐信息检索上一直有积累。只是现在材料太薄，我还没法判断它是方法学推进，还是把已有 backbone 换个训练头后拿到一组体面结果。 代码已经放 GitHub，这比 abstract 里的自夸更有意义。说真的，这类工作最后看两件事就够了：第一，是否公布完整评测表，尤其是与确定性分离器和生成式分离器在同一数据集上的对比；第二，保留生成能力有没有独立实验，而不是只给几个听感样例。两项都站住，这篇才算从“思路顺”走到“结果硬”。现在我给它的判断是：方向对，证据还不够。

作者证明了 softmax 注意力在指定触发任务上必须形成汇点。这个结论比“又一篇解释 attention sink”要硬，因为它把汇点从训练副产物，推到了函数实现约束。若任务要求“默认输出 0，触发后再汇总前文均值”，softmax 的归一化就得把一部分质量停在稳定锚点上。否则默认态很难维持。这个判断我基本认同。 我一直觉得，attention sink 这事过去一年被讲得太经验了。大家常拿首 token、BOS、空白位当现象描述。像 StreamingLLM 那类工作，就观察到很多长上下文模型会把注意力黏在开头几个 token 上，用它稳住窗口外推理。那时更像工程经验：sink 在，模型就稳；把它切掉，困惑度和长程保持会掉。这篇有意思的地方，是往前走了一步：它说你别把 sink 只当训练瑕疵，至少在一类需要“默认不响应”的任务里，softmax 的概率单纯形约束会逼出这个结构。这个解释和很多人对 sink 的直觉是对上的。 但我对外推范围有保留。论文给的是一个很干净的 trigger-conditional 任务：见到指定 trigger，输出前序 token 表征均值；没见到就输出 0。这个任务确实抓住了“默认态”和“条件激活”两件事，也贴近一些 induction-like 头和检索头的功能。问题是，真实 LLM 里的 sink 不只服务默认输出。它还牵涉位置编码、残差流尺度、KV cache 复用、层归一化配合，甚至 tokenizer 把首位 token 做成了天然锚点。标题和摘要给了定理方向，正文没披露实验规模、训练配方、序列长度上限，也没披露在预训练语料任务上能否复现同样强度。这个缺口很关键。 ReLU attention 那半边，我觉得更该冷静看。论文说非归一化 ReLU attention 能解同一任务且不需要汇点，这在理论上很漂亮，因为它把矛头精准对准 softmax 归一化，而不是“注意力机制”四个字。但工程上，非归一化注意力从来不是白拿。输出尺度怎么控，梯度怎么稳，深层堆叠后会不会炸，校准怎么做，摘要里都没有。过去几波 linear 或 kernel attention 的故事都差不多：省掉 softmax 的一部分包袱，换来新的数值稳定问题。我没看到这篇在真实语言建模上给出吞吐、困惑度、长上下文保持这些对照，所以我不会因为这条定理，就直接站到“softmax 该退场”那边。 还有一个我比较买账的点：它其实帮解释了，为什么很多模型里 sink 会显得又烦人又有用。你做可解释性时，会觉得那一大坨质量压在固定位置很碍眼，像是浪费头。你做系统时，又发现它常常在保默认态、控噪声、撑长上下文。两边都没错。若这个定理站得住，sink 不是简单的病灶，而是 softmax 为了实现“有条件地忽略输入”交的结构税。这个说法我看着顺。 我还是要 push back 一下摘要里的叙事力度。它证明的是“存在一类任务，softmax 必须有 sink”，不是“现实模型里的 sink 主要由这个机制解释”。这两句话差很大。要把桥搭过去，至少得看到两类证据：一类是在更自然的合成任务上，sink 强度如何随默认态需求变化；另一类是在真实预训练模型里，改掉归一化或加显式默认通道后，sink 是否系统性减弱。摘要没给这些。 所以这篇我会当成一个很好的机制部件，不会当终局答案。它把一个老现象从“训练巧合”抬到了“部分情况下的必然结构”。这已经很值钱。你要是做架构设计，收获不是“去掉 sink”，而是先问一句：我的模型有没有被 softmax 逼着拿固定锚点去实现默认态。若答案是有，那你该改的可能不是数据，也不是正则，而是归一化本身。