全部 · 2026-03-21

DiscoUQ 在 5-agent Qwen3.5-27B 系统上把 ECE 做到 0.036，AUROC 做到 0.802。我的判断很直接：这篇论文的价值不在又刷高了一点判别分数，而是在多代理系统里把“分歧”从投票计数拉回了可建模对象。AUROC 相对最佳基线只多 0.011，这个幅度单看不算炸裂；ECE 从 0.098 降到 0.036，才是更硬的信号。做 agent 的人都知道，线上事故常常不是答错一次，而是系统把低把握答案包装成高置信输出。能不能把不确定性校准好，直接决定你敢不敢让它自动调用工具、自动结束流程、自动拒答。 这篇的思路，其实是在补过去一年多代理工作里一个一直被糊弄过去的洞。多数系统还停在 self-consistency 那套逻辑：采样多条链路，看票数，票高就更信。这个方法便宜，也常常有效，但它默认“分歧只需要计数”。论文这里给出的信号更细：证据重叠、论证强度、分歧深度，加上 embedding 几何里的簇距离、离散度、凝聚度。说真的，这个方向比再加一个 aggregator LLM 更像正路。原因很简单，两个 3:2 的投票结果，语义结构可能完全不同。一种是 3 个答案共享同一条错误前提；另一种是 5 个代理各自抓到部分证据，最后只在表面选项上分叉。前者该降置信，后者未必。只看票数，二者会被压成同一类。 我比较认同他们强调的 weak disagreement 区间。摘要说简单投票在这里失效，结构特征还能泛化，这个判断和工程经验是贴的。真实部署里最烦人的不是 5 比 0 全一致，也不是 1 比 4 明显分裂，而是那种“看着差不多都有理”的局面。代理之间共享底座模型、共享训练语料、共享很多默认偏见，表面上有分歧，内核上却常常是相关错误。把这些相关性拆开看，比继续堆 agent 数量更有意义。过去不少论文喜欢把 3-agent 变 5-agent、5-agent 变 8-agent，再宣称鲁棒性上升。我一直觉得这条路很快会撞墙，因为相关性没处理掉，票再多也只是把同一种错复读更多次。 但我对这篇也有两个保留。第一，正文摘要只给了 5-agent Qwen3.5-27B，没披露更多实验条件。prompt 是否完全独立，温度怎么设，代理是否共享工具轨迹，校准是在同分布还是跨任务迁移，这些都没看到。标题给了 structured disagreement，正文片段没给 feature 抽取成本。假如 DiscoUQ-LLM 需要再调用一轮 LLM 去读五份 reasoning，再抽证据重叠和论证强度，那它在线上未必便宜。校准变好当然是好事，但如果延迟翻倍、token 成本再上一个台阶，很多 agent pipeline 不会买单。 第二，这组结果还困在“同质 ensemble”的舒适区里。5 个代理都基于 Qwen3.5-27B，这比较像同一群学生换了五种答题语气，不像真实生产里的混合系统。真实世界更常见的是异构组合：一个模型擅长检索，一个模型擅长代码，一个 verifier 偏保守，再加一个工具执行器。DiscoUQ 的结构特征如果只能在同底座多采样上稳定，意义会打折。反过来讲，如果它能迁到异构 agent ensemble，上限会高很多。这个我还没查到，摘要也没说。 外部参照也能说明这篇为什么有点意思。过去一年，业内对 uncertainty 的关注明显回来了，但很多工作还是把重点放在 answer-level reward model、verifier、或 scalar confidence head。我记得 OpenAI 和 Anthropic 在一些系统卡或 blog 里都承认过，模型置信分数本身并不稳定，尤其跨任务更差；学术界也早就知道 LLM 的 verbalized confidence 校准很一般。DiscoUQ 这篇等于换了问题表述：不要逼单个模型诚实报概率，先看多个代理怎么彼此冲突，再从冲突结构里读出风险。这条路在方法论上更扎实，因为它少依赖“模型会不会自知”，多依赖“系统有没有暴露矛盾”。 我还想补一句 pushback。AUROC 0.802 虽然不错，但别把它读成“可以放心把 agent 交给自动化”。四个 benchmark 里有 StrategyQA、MMLU、TruthfulQA、ARC-Challenge，这些都是老基准，足够做研究，不足够代表真实 agent workflow。尤其是工具调用、网页浏览、代码执行那类长链任务，错误往往来自环境状态、外部 API、检索污染，不只来自代理间推理分歧。DiscoUQ 如果没在这些 setting 上测，离生产级风险控制还隔着一段。摘要里说 near-zero performance degradation across benchmarks，我接受它说明泛化不错；我不接受把这直接外推到开放环境 agent。 如果你是做 agent orchestration 的，这篇最实用的启发不是换一个更复杂的投票器，而是重构日志层。把代理输出保存成可比较的结构，记录证据引用、论点重合、语义簇分布，再决定是否执行、是否升级到人审、是否触发额外工具。多数团队现在只记 final answer 和 vote count，这套观测面太窄了。DiscoUQ 至少证明了一件事：分歧不是噪声，分歧本身就是信号。

VARS 在冻结骨干条件下用长期、短期两组用户向量重排偏好记忆检索分数，并在 MultiSessionCollab 里追平 Reflection 的任务成功率。我的判断很直接：这篇值钱的地方不在“更强”，而在它把个性化从模型训练问题，硬改成了检索打分问题。这个方向更接近产品现实，因为多数团队根本没有逐用户微调的算力、数据闭环和安全流程，能动的往往只有 memory schema、retriever 和 reranker。 我对这条路一直偏乐观。过去一年不少 agent memory 工作都卡在一个老问题上：你把偏好写进记忆，不等于模型会在正确时机用出来。很多 demo 看着像“记住了”，实际失败点在检索阶段，要么召回不到，要么把过期偏好和长期偏好混在一起。VARS 至少正面处理了这件事：长期向量管跨会话稳定偏好，短期向量管当前 session 漂移，然后一起去改 retrieval score。这比单纯堆 memory entries 合理得多。ReAct、Reflection 那一类方法更擅长推理链自修复，不擅长稳定建用户画像；所以它追平 Reflection 成功率、却把超时率和用户操作量压下来，这个结果在机制上说得通。 但我对摘要里的叙事还是有保留。第一，正文片段没披露具体数值。追平是多少，1 个点内还是 5 个点内，没说；timeout 降了多少，用户 effort 怎么定义，没说。没有这些数字，你很难判断它到底是“稳定省一点交互”，还是 benchmark 上的轻微整理。第二，弱标量反馈这件事听起来干净，落地时常常很脏。用户给 thumbs up/down、是否继续追问、是否手动改写，本身都混着任务难度、界面设计、用户耐心，噪声很大。把这些信号直接写进偏好向量，容易学到“这个用户经常在 code task 里卡住”，却未必真学到“他偏好怎样的解释风格”。摘要说长短期向量有可解释性，我接受这个方向，但我还没看到足够证据。 还有一个上下文，文章里没展开。现在很多团队在做个性化助手时，实际采用的是三层结构：profile slots、conversation summary、episodic memory。OpenAI、Anthropic、Google 这类产品近一年的做法，公开出来的大多也是把“记忆”放在系统层和检索层，而不是频繁重训主模型。VARS 和这条工业路线是同向的，只是它更学术化，把 profile 更新写成共享偏好空间里的向量更新。我觉得这点很重要：它说明个性化 agent 的主战场，至少短期内，不在 foundation model 权重，而在 memory representation 和 retrieval policy。 我自己的疑虑在泛化。MultiSessionCollab 覆盖数学和代码协作，这两类任务都比较结构化，用户偏好也更容易被“是否简洁、是否给步骤、是否给代码解释”这类标签吸住。换到开放式写作、生活助理、长期项目协作，偏好会更暧昧，也更容易互相冲突。双向量还能不能稳，摘要没有给。还有一点，我没在片段里看到遗忘机制、冲突解决和隐私边界。长期向量一旦累计错了，系统是缓慢纠偏，还是会被少量近期反馈带偏，正文片段没披露。 所以这篇我给正面评价，但不是因为它证明了 agent 已经会“懂你”，而是因为它选了一个部署上更像真问题的位置：不改 backbone，只改检索决策。如果后续正文或代码能把 reward 定义、更新频率、具体收益和失败案例补齐，这会是一篇很实用的 memory paper。现在只有摘要，我愿意记住方法名，但还不会把它当成个性化 agent 的定论。

SART 在受控推理基准上提高准确率 16.5%，这个结果先说明一件事：作者瞄准的是训练动态，不是再造一个更花哨的数据清洗器。用验证目标的梯度失配，加上答案 token 集中度，去给样本打 ShortcutScore，再做 gradient surgery，这套设计我觉得是有脑子的。它至少承认了一个老问题：很多“推理增强”方法最后只是把模型往答案格式、题面模板、常见解题轨迹上继续压，分布一换就掉。正文还给了 40.2% 的鲁棒性提升，但这里的“鲁棒”只出现在 controlled reasoning benchmarks，标题已给出分布移位，正文未披露具体任务、模型规模、基线名称和统计显著性。 我一直觉得，反捷径这条线比再堆 test-time compute 更实在。过去一年，领域里更热的是 process supervision、RFT、self-consistency、tree search、verifier reranking 这几类路子。它们能把 benchmark 分数抬上去，但经常把问题留在推理时，训练阶段对“哪些样本在教坏模型”处理得不够。我记得去年的一些工作，像 TinyGSM、CounterFact-style contamination probes、还有专门做 spurious correlation 的 NLI/vision 论文，都反复证明同一件事：只要训练集里有稳定但错误的表面信号，模型就会学最便宜的路。SART 的价值在于它把这个判断显式写进优化过程，不再假设所有样本贡献都同质。 但我对这组数字有两个保留。第一，ShortcutScore 依赖验证目标梯度，这通常要求你有一套相对干净、任务对齐的 validation signal。研究环境里这没问题，工业环境里就麻烦了。很多团队连线上任务的 reward proxy 都不稳定，更别说为每个推理任务维护“无捷径”的验证集。第二，答案 token 集中度这个指标很容易在短答案、多项选择、数学填空里成立，到了长链条生成、代码修复、agent 工具调用，shortcut 的形态会散得多。一个模型在 GSM 类题上背答案模式，和它在 SWE-bench 上偷用仓库先验、在浏览器 agent 里记 UI 热点，这不是同一种病。 外部对比也很关键。Google 在过程奖励模型、OpenAI 在 verifier 和 test-time scaling、Anthropic 在 constitutional / deliberative 路线，其实都在绕着同一个核心打转：怎么让模型别走那条最便宜但不可泛化的路。SART 比这些方法更“训练内生”，这点我挺认同；代价是它是否能迁移到大规模预训练或后训练流水线，正文没说。代码公开是好事，但我还没查到它支持的模型尺寸、训练开销、额外反向传播次数。如果 gradient surgery 让训练成本涨 1.5 倍到 2 倍，那它就更像论文里很干净、产线里很难吞的方案。 我自己的判断是：这篇论文的方向是对的，甚至比很多“模型会想得更久”式论文更接近根因；但它现在证明的是“可定义捷径场景下，优化器可以少吃假信号”，还没证明“开放世界推理会更稳”。要让我更买账，我想看三样东西：一是跨任务复现，至少从受控题集走到代码或工具使用；二是不同模型规模下收益曲线，别只在小模型上好看；三是训练成本和数据筛除率。没有这些，16.5% 更像一个强研究信号，不是能直接搬进主流后训练栈的配方。

NoveltyAgent 报告其在论文新颖性评估上超过 GPT-5 DeepResearch 10.15%，但正文没披露数据集规模、评测口径、人工标注流程。我的判断先放前面：这条有研究味，也有一点“把任务定义成自己擅长的样子”的味道；如果 checklist 设计得贴合 point-wise novelty analysis，那 10.15% 这个差距先说明评测框架偏向结构化审稿，不足以直接说明它比通用 DeepResearch 更接近真实 program committee。 方法上，这套东西并不神秘。它把论文拆成离散新颖点，再做检索、比对、交叉核验。这个思路其实很顺。近一年很多 agent 系统一碰开放式评估就掉到两个坑里：一是整篇总结太粗，二是 retrieval 只找“看起来相关”的文献，最后把相似性当成 novelty judgment。NoveltyAgent 至少在任务分解上踩对了方向。把“这篇论文新在哪里”拆成若干可核验 claim，再去找 supporting 或 conflicting prior work，这比直接让一个大模型写 reviewer-style paragraph 靠谱得多。论文审稿里最难的，从来不是文笔，而是 claim alignment。 但我对这个 10.15% 的说法有点警觉。比较对象是 GPT-5 DeepResearch，不是专门为学术检索和 novelty checking 调过流程的系统。OpenAI 的 DeepResearch 长处本来就在跨网页整合和长链资料搜集，不在论文 novelty 审核这个窄任务。你拿专用多 agent 管线去打通用 research agent，赢面本来就不小。更关键的是，正文没说这个 10.15% 是 win rate、平均分、还是 checklist completion 的相对提升；也没说评审员是不是盲评、每篇论文覆盖几个领域、related-paper database 是静态库还是在线检索。少了这些条件，数字只能当信号，不能当结论。 我还会追问一件更实际的事：它判的是“文案新颖”，还是“研究新颖”。这两个差很多。学术圈过去一年已经见过太多 LLM-based reviewer，能把 abstract 和 contribution section 拆得很漂亮，却会漏掉一个老方法的小改动早在 workshop paper 里出现过。要避免这个坑，系统得吃到跨 venue、跨年份、跨术语别名的文献图谱。我没点进代码核实，但如果它的 related-paper database 主要靠关键词和 embedding 召回，面对“换术语重述旧方法”的论文，误判率通常不会低。去年不少 RAG-for-science 系统都卡在这里：召回看着高，novelty verdict 还是漂。 这条里我比较买账的是 self-validation 方向。不是因为“自我反思”这个词听着高级，而是 novelty 任务天然需要证据链回填。一个 claim 被判不新，系统最好能给出对应 prior art、相似机制、差异边界，最好还能指出它引用的是哪段。这个工作如果真把交叉核验做成了可复查的报告格式，价值会大于那 10.15% 本身。原因很简单：编辑、审稿人、研究经理要的不是一个分数，而是一份能被追责的分析。 外部对比上，我更愿意把它看成“学术版 fact-checking agent”，而不是“更强 reviewer”。这一年无论是 DeepResearch 类产品，还是各种 literature review agent，普遍都在追求覆盖率和写作完成度；很少有人把 novelty judgment 单独拉出来做细颗粒度 pipeline。这个切法是对的。学术工作流里，novelty、soundness、significance 本来就是三种不同任务，混成一个总评最容易让模型胡扯。 但我不完全买“unbiased evaluation framework”这个表述。checklist 评估通常比自由生成打分稳，可它绝不天然无偏。谁来写 checklist，决定了什么算好答案；如果 checklist 偏向“列出更多 novelty points 并逐条给证据”，那擅长结构化输出的系统天然占优。这个偏差不是作弊，是任务设计本身的取舍。作者要把这件事讲透，至少得公开 rubric、标注协议、领域分布，还有失败案例。 所以我现在的结论很简单：方向是对的，数字先别急着信满。代码和 demo 已放出，这是加分项；下一步我只想看两样东西，一是 benchmark 的完整构成，二是失败样本里它怎么处理“看似新颖、实则术语改写”的论文。那部分如果站得住，这个项目才有机会进编辑部、投委会和企业 research ops 的真实流程。

RubricRAG 这篇先把一个老问题捅得很直接：现成 LLM 在 2 个 rubric 基准上生成的实例级评分细则，对不齐人工 rubric。这个事实比“又一个 RAG 方法提分”更重要。很多团队这两年把 LLM-as-judge 当成训练和评测流水线里的廉价裁判，用一个分数或 preference 就结束。效率是有了，可一旦你真想改模型、修数据、查失败样本，单一分数几乎没法复盘。按摘要说，RubricRAG 在推理时从相关 query 检索领域知识和 rubrics，想把“为什么答得差”拆成可检查的条目。这个方向我认可，因为它击中的不是 benchmark 漂亮不漂亮，而是评测能不能服务开发。 我一直觉得，自动评测过去一年最大的错配，就是社区在追 judge 的“相关性”，工程团队要的却是“可操作性”。MT-Bench、Arena 风格的偏好判分很适合排榜，但不适合定位缺项。后来不少工作开始做 criteria-based judging，OpenAI、Anthropic 也都在 system card 里强调 rubric 或 policy-guided evaluation，这条线并不新。RubricRAG 的新意如果成立，在于它承认单靠模型现编 rubric 不够稳，得把领域知识和相似题目的 rubric 拉进上下文。这个判断我基本同意。因为 rubric 不是纯语言生成任务，它其实很像受约束的信息组织：要覆盖关键维度，要避免虚构要求，还要和具体 query 绑定。RAG 在这里更像“约束器”，不只是“知识补丁”。 但我对这篇现在的证据强度有点怀疑。摘要只说提升了与人工 rubric 的相似度，也提升了下游评测效果；模型名、分数幅度、检索库来源、top-k、reranker、上下文长度、成本都没披露。没有这些信息，结论很难迁移。举个很实际的问题：如果它检索到的是同分布、近重复、甚至人工 rubric 风格高度一致的样本，那相似度变高并不奇怪；这更像 retrieval leakage 管理得好不好，而不一定是方法本身更懂“评价”。下游评测效果也一样，若 judge 和 benchmark 的标注风格本来就贴近检索库，结果会被放大。标题给了“reliable”和“interpretable”，正文片段还撑不起这两个词。 还有一层我比较在意：rubric 更像人写的，不等于 rubric 对人更有用。很多人工 rubric 本身就冗长、重格式、夹带标注者习惯。要是 RubricRAG 只是把这种风格学得更像，解释性会上升，决策效率未必上升。我没在片段里看到人类使用实验，比如标注者是否更快发现缺项、不同标注者之间一致性是否提高、开发者是否能据此修 prompt 或数据。没有这层，人可读和人可用还是两回事。 说真的，这条我更愿意把它看成评测基础设施的小修正，不是 judge 范式的大突破。它提醒大家：评测对象越复杂，单一分数越像管理报表，不像调试工具。要让我相信 RubricRAG 值得上生产，我还需要三组信息：一是具体在哪些模型上成立，闭源和开源是否都有效；二是提升幅度和成本比，别最后只是多花 5 倍 token 换来几点相似度；三是检索库如何构建，跨领域、分布外 query 会不会直接塌。现在只有标题和摘要，我能给的判断是：问题抓得准，方法方向也顺，但证据还薄，先别把“可解释评测”四个字喊太满。

SozKZ 用 90 亿 token 把 6 亿参数哈萨克语模型推到文化 QA 30.3%，只差 Llama-3.2-1B 的 32.0% 1.7 个点。我的判断很直接：这条不是“小模型逆袭”，是“多语大模型在低资源语言上长期欠账”被量化了。你给哈萨克语一个专用 5 万 BPE，再把全部参数都留给哈萨克语，小模型接近 2 倍体量的多语基线，并不反常。反常的是过去大家默认“多语覆盖=普惠”，但 token 分配和分词碎裂一直在吃掉低资源语言的有效容量。 这事对做模型的人并不新鲜。黏着语本来就容易把通用 tokenizer 打碎，土耳其语、芬兰语、蒙古语这一类都踩过坑。哈萨克语同属突厥语，词缀链一长，英语中心或多语折中词表会把一个词切成一串低频片段。结果不是表面上的“多几个 token”这么简单，而是上下文利用率、梯度密度、embedding 统计都会变差。SozKZ 的 50K 专用 BPE 先把这个底层损耗收回来，再用从零训练避免英语主导表示把哈萨克语挤到边角，这才是它能用 600M 去贴 1B 多语模型的原因。 我觉得更有信息量的是 SIB-200 那个 25.5%。摘要说它超过了文中评测的全部 20 亿参数内多语模型。题目分类通常比文化 QA 更少吃“世界知识运气”，更能看语言表示是否扎实。一个 600M 专用模型在这个任务上压过 2B 内多语模型，基本说明参数规模不是这里的主瓶颈，语言覆盖策略才是。过去一年大家把注意力放在更大的 instruction tuning、更多语言对齐、统一聊天模板。我一直觉得这条路对低资源语言有个硬伤：后训练会修礼貌和格式，不会修 tokenizer 在预训练阶段留下的结构性损失。SozKZ 这组数算是把这个问题重新摆回桌面。 我也得泼点冷水。现在材料只有 arXiv 摘要和 RSS 片段，很多关键问题正文没给。训练计算量没披露，去重和数据清洗口径没披露，文化 QA 的构造方法没披露，测试集 contamination 检查也没披露。30.3% 对 32.0% 这个差距看着小，但如果 cultural QA 样本量不大，1.7 个点未必稳。SIB-200 我印象里是跨语种主题分类基准，标签分布和翻译质量会影响结果，这里也没看到误差范围。开源当然是好事，但没有这些细节，我不会急着把结论扩展成“专用小模型普遍优于多语大模型”。 还有一个我不太买账的叙事，是“计算成本低很多”这句。摘要说是 fraction of computational cost，但没给 GPU 小时、训练时长、硬件类型，也没给对比对象。9B token 训 600M，从绝对规模看不夸张；从低资源语言项目的现实看，也不是随便一个大学实验室都能轻松复现。这里最好对比的是同类项目，不是拿 70B 或闭源旗舰来做衬托。我记得去年到今年，阿拉伯语、斯瓦希里语、印地语等专用模型也都反复证明过一件事：把有限预算集中在语言本身，收益常常高过把模型塞进“大而全”的多语池子里。但这些项目一到部署阶段，短板就会冒出来——指令跟随、工具调用、安全对齐、混合语码鲁棒性，往往又被通用多语模型追回去。SozKZ 的摘要还没覆盖这些面向产品的能力。 所以我对这篇的评价是：研究判断基本成立，行业叙事还不能跟着跑太快。它最扎实的贡献，不是证明哈萨克语需要“自己的 GPT”，而是提醒大家低资源语言建模有个常被大厂报表掩盖的事实：预训练阶段的语言分配错误，后训练补不回来。你如果服务的是哈萨克语教育、政府、媒体检索、文化问答，这种 600M 级专用模型很有现实价值，延迟、部署成本、数据主权都更好谈。你如果想把它直接当通用助手替掉更大的多语模型，我自己会很谨慎，因为摘要没有给 instruction tuning、agentic 任务、长上下文、代码或跨语迁移的证据。 我还想补一个文章外的判断。过去两年很多团队迷上“区域版基础模型”，但最后做成的往往不是训练本身，而是评测和数据治理。SozKZ 这次把模型和 tokenizer 都开源，方向是对的；接下来更难的是把哈萨克语 benchmark 做到可持续、抗污染、可复测。不然每一代模型都在同一套文化题上刷分，分数会涨，能力未必真涨。现在这篇至少给了一个清楚信号：在低资源语言上，先把 tokenization 和数据分配做对，比盲目追大参数更靠谱。

HiCI 把 LLaMA-2 7B 上下文从 4K 扩到 100K，只加了不到 5.5% 参数；我对这条的判断是，它击中的不是“长度”本身，而是这两年长上下文路线里一个被压扁的问题：大家都在想办法让注意力算得更远，少有人认真处理信息该怎么分层汇总。 这篇摘要给出的机制很直接：先做 segment 级表示，再整合成全局上下文，再把全局信息回广播给段内注意力。这个设计不新奇到离谱，反而有点“终于有人把该显式写出来的东西写出来了”的感觉。过去一波长上下文工作，很多是在 RoPE 外推、位置插值、稀疏注意力、KV 压缩、检索增强这些轴上卷。它们解决的是 32K、64K、128K 能不能跑，代价是多少，训练稳不稳。HiCI 这条线更像在问：模型看到 100K token 时，能不能先形成段落级中间表征，再做全局整合，而不是把所有远距离依赖都丢给原始 token 级注意力自己去碰运气。 我一直觉得，长上下文赛道有个很尴尬的现实：窗口长度经常是 marketing 数字，能不能在 100K 里找对信息才是能力数字。Gemini 1.5 当时把 1M context 打成主叙事，Anthropic 也长期把 200K 作为产品卖点，但行业后来很快发现，窗口放大不自动等于跨文档推理、主题追踪、代码导航同步变强。很多模型到了超长输入，困在“needle 能找，structure 不稳”的状态。HiCI 摘要里把 topic retrieval 和 code comprehension 单独拎出来，我反而觉得这是对的，因为这两类任务最容易暴露模型有没有形成层级摘要，而不是只会局部匹配。 但我对这条也有几个保留。第一，正文只有 RSS 摘要，关键 benchmark 口径没披露。它说 topic retrieval 可追平专有模型，超过 GPT-3.5-Turbo-16K 做代码理解，可没说具体是哪套数据、输入分布、是否同长度公平比较，也没说训练 token 成本。拿 GPT-3.5-Turbo-16K 当参照这件事，我会打个问号。这个对手到 2026 年已经偏旧了，说明“好过老一代闭源长文本模型”，不等于“进入当代前排”。如果没有对 Claude、Gemini、Qwen 长上下文版本，或者对近期 open long-context baseline 的对照，这个结论只能算方向正确，不能算座次明确。 第二，HiCI 挂在 LLaMA-2 上做参数高效改造，这个选择很务实，也暴露了一个边界。LLaMA-2 是 2023 代模型，基础能力、tokenizer、训练语料都落后于 2025 之后的主流底座。也就是说，这篇 paper 更像在证明“层级结构作为 inductive bias 有效”，不是在证明“HiCI 已经是生产级长上下文最优解”。如果把同样模块放到更强底座上，收益比例会不会还一样，摘要没给。很多 PEFT 式长文本论文都容易出现一个现象：在旧底座上 gains 很漂亮，换到原生就为长上下文训练过的新模型上，边际改进会缩小。我自己没看到全文，不敢下更重结论。 第三，层级结构通常带来一个经典 trade-off：摘要得更好，但细粒度交互容易被压平。HiCI 用“回广播”去补这一点，思路合理，可摘要没有给出延迟、显存、segment 大小敏感性、跨 segment 证据链保真度。要是 global context 本身成了瓶颈，模型就会出现一种很熟悉的失败模式：知道这 100K 大概在讲什么，却抓不准第 73K token 处那个决定性条件。做法律、代码库、长论文 QA 的人，对这个坑都不陌生。 放到更大的研究脉络里看，我觉得 HiCI 有意思，是因为它和近一年另一股风有点同频：大家开始重新接受“不是所有能力都该让标准 Transformer 自己涌现出来”。测试时扩展靠 search，长记忆靠 memory 或 retrieval，长文理解靠 hierarchy，这些都在把显式结构请回来。Mamba 类状态空间模型、RMT 一类 memory token 方法、还有各种 chunk-retrieve-read pipeline，本质上都在承认一件事：纯 token-to-token 注意力很强，但它不是组织长程信息的唯一合理接口。HiCI 的价值就在这里。它不是把窗口再多拉一倍，而是给了一个更像人类处理长文的中间层。 我还是想泼一点冷水。认知理论这个包装我不太买账，至少仅凭摘要不买。很多论文喜欢拿 discourse comprehension 做灵感来源，最后落地还是一个工程上可用的聚合器。这个没问题，但别把“受认知启发”讲成“更接近人类理解机制”。从工程视角看，HiCI 需要回答的还是老问题：训练成本多多少，inference 吞吐掉多少，对不同 segment 长度稳不稳，和现成 FlashAttention + RoPE scaling + retrieval 方案比，部署收益是不是够大。摘要都没给。 所以我会把这条看成一篇值得翻正文的研究，不会直接当成长上下文的新定论。它给出的最强信号不是 100K 这个数，而是“显式层级结构”这件事又回到了台面，而且这次不是纯认知口号，是带着参数效率和任务收益来的。要是全文里对 baseline、训练预算、延迟开销交代得清楚，这条会比很多“我也支持 128K”论文更有后劲。

BenchBench 把评测对象从答题模型挪到出题模型。这个方向我买账。1.67 万题、约 15 万条作答，已经不是玩具实验。可它现在测得更准的是生成纪律，不是研究品味。 论文给了一个很关键的数字。设计能力与答题能力的 Spearman ρ 约 0.37。这个相关性不高。意思很直接：会刷榜的模型，不自动等于会造榜。这点跟过去一年很多人的直觉相反。大家默认更强的通用模型也会更会做 eval。BenchBench 至少先把这个神话拆掉一半。 我觉得这条最有价值的地方，在于它承认 benchmark 生产本身就是能力。静态题库会饱和，会污染，重做又贵。这些问题过去都知道，但行业反应很慢。HELM、BIG-bench、MMLU、SWE-bench 这一套，核心还是“先有人做题，再让模型来答”。BenchBench 往前走了一层：先看模型能不能稳定地产生有区分度、低失效、格式合规的题。对做模型评测的人，这个视角很实用，因为很多团队现在缺的不是 judge，缺的是能持续刷新的任务工厂。 但我对这套叙事有两个保留。第一，论文把 domain card 抽取、配额控制、multi-model validation 都串起来了。流程很工整。工整也会带来同质化。模型容易学会“像 benchmark 的 benchmark”。这和“发现新能力边界”不是一回事。你能稳定生成 1000 道合格题，不代表你能发现一个现有榜单完全没覆盖的 failure mode。很多重要能力本来就不是从题库工程里长出来的，而是从 deployment 事故里长出来的。比如 agentic browser use 的长期规划、tool misuse、 reward hacking，这些都不是靠照着旧 benchmark 抽 schema 就能长出来。 第二，验证层还是离不开 LLM judge 和 answerer panel。论文说能用 exact、numeric、symbolic verifier 时就用。这个选择是对的。问题是四个领域里，真正能完全自动验的比例，正文摘要没披露。标题已经给出 benchmark generation，正文没披露各领域 judge 占比、不同裁判模型一致性、提示词敏感度，也没披露人工 spot check 规模。没有这些细节，我不会把“低失效率”和“高区分度”看得太满。过去一年这类 pipeline 常见的问题，就是过滤后数据变干净了，代价是题目风格越来越像过滤器本身。 外部对比也很有意思。我记得 2024 到 2025 年，业内开始频繁拿 LLM 生成 eval set，Arena 系、SWE-bench 衍生集、各种 red-team 套件都这么干，但大多只把生成当工具，不把“生成能力”单独立项。BenchBench 的贡献，是把 designer-answerer matrix 显式做出来，再看 self/family interactions。这一点挺对路，因为同家族模型互相看得顺眼，或者更懂彼此格式癖好，这事早就存在，只是过去很少被系统量化。 我还有个疑虑。ρ≈0.37 这个结果很抓眼，但它也可能受任务构成影响。计算机、数学、医学、心智理论被放在一起，外加多语和多模态，异质性很高。异质性一高，整体相关性本来就容易被摊薄。要是真想下结论说“答题强不等于出题强”，我还想看分领域相关性、不同 designer 模型的温度控制、还有过滤前后的相关性变化。摘要里都没有。 说真的，这篇最适合刺激的是 eval infra 团队，不是 foundation model 团队。前者会把它看成题库生产线的 QA 框架。后者如果把它当成“模型已经会做科学测评了”，这个说法我不太买账。出题不等于立题。BenchBench 证明了模型能批量仿制、筛选、校验 benchmark 项。它还没证明模型能提出一个足够新、足够硬、还能经得住社区复核的评测范式。那一步比写题难很多。

这篇论文的判断我基本买账：RLVR 在数学、代码、定理这类可验证任务上能把链条压实，但一到通用问答，奖励信号立刻变脏，模型很容易学会“答对”而不是“想对”。摘要给出的核心结论很直接：Cross-Generation 评测显示，RLVR 训练后的中间推理，在 GQA 上的效力明显弱于可验证任务。问题是，正文这里只有 RSS 摘要，模型名、基线分数、提升幅度、评测规模都没披露，这篇现在还不能当成定论，只能当成一个很合理、也很刺痛当下训练叙事的警报。 我一直觉得，过去一年业界把“可验证奖励”讲得有点太顺了。DeepSeek-R1、OpenAI 的 reasoning 线、还有一堆复现工作，都在强调 RL 对长链推理的拉升，但这些结果大多落在 math/code 这种 reward 清晰的地带。你把同一套训练习惯搬去开放域问答，分布就变了：答案常常有多种表述，评测器也常常只看最终答复，模型自然会钻 shortcut。摘要里那句“GQA tasks often admit shortcuts to high rewards”我很认同，这和很多人在线上 agent 里看到的现象一致：最终成功率能涨，过程质量不一定跟着涨，甚至会更会编。 Cross-Generation 这个评测思路本身有意思。它不是直接判一段 CoT 漂不漂亮，而是把中间 thinking context 喂给不同能力的 LLM，看这些“后继模型”能不能利用这段推理继续得到更好答案。这个设计至少比人工挑几条链路看上去靠谱不少，因为它在测“这段思考有没有可迁移的信息含量”。我对这个方向是支持的。现在很多所谓 reasoning 评测，还是在拿最终 accuracy 代替思维质量，这会把 reward hacking 全藏起来。 但我也有两个保留。第一，这个框架很依赖后继评估模型的口味。如果 stronger judge 天生偏好某种写法，Cross-Generation 测到的可能是“风格兼容性”，不是纯粹的思维质量。第二，摘要没说用了哪些评估模型，是否跨家族，是否控制了 prompt 和长度。这个差别很大。拿同一家族的小模型和大模型做 cross-generation，结论通常会比跨家族更乐观；我没看到正文，没法替作者补这个洞。 START 的想法倒是很朴素，也很像很多训练团队迟早会走到的拆分路线：先单独训练 thinking process，再做 answer generation，把“思考”和“作答”从一个联合目标里拆开。这个方向我觉得靠谱，因为联合优化最容易出现的事，就是 response head 学会最短路径抢奖励，把前面的推理空间挤掉。你看去年一些 process supervision 工作，外加后来一批 latent reasoning、hidden scratchpad 的讨论，本质都在碰同一个墙：只奖励 final answer，模型就会把可见推理当成可牺牲变量。START 至少是在机制上正面处理这个问题。 可我对摘要里的效果表述还是有点警觉。它说“across several GQA benchmarks and RL algorithms”都提升了思维质量和最终答案，这种全线提升如果没有具体数字，信息量其实有限。提升 0.8 分和提升 8 分，工程含义完全不同；在单个 7B 模型上成立，和在 70B 或闭源 frontier 模型上成立，也不是一回事。还有一个更关键的点：训练只优化 thinking process，推理时是否还需要显式长 CoT，成本涨了多少，长度是否失控，摘要都没讲。要是 answer gain 只有 1-2 分，token 成本翻倍，那这条路在产品里就很难站住。 说真的，这篇的价值不在于它又发明了一个训练技巧，而在于它戳穿了一层行业默认前提：把 verifiable RL 做强，不会自然外溢成开放域“更会想”。这对做通用助手、搜索问答、企业知识系统的人都很关键。很多团队现在把 math/code 上升的曲线，当成 general reasoning 的代理指标，我看这件事一直不太稳。要是作者后续能拿出清楚的模型设定、Cross-Generation 与人工标注的一致性、以及 START 在成本和长度上的完整曲线，这篇会很有分量。现在这版我会先记一句：方向对，证据还不够硬。

研究团队发布 MzansiText 与 1.25 亿参数 MzansiLM，覆盖南非 11 种官方书面语言。我对这条的判断很直接：这不是模型新闻，这是数据方法新闻，而且方向是对的。 摘要给出的最好数字是 isiXhosa 数据到文本 20.65 BLEU，和新闻分类 78.5% macro-F1。两项都来自监督微调，不是裸模型能力。少样本推理接近随机，作者直接承认了，这点反而让我更信。现在很多小模型论文还在硬讲 instruction tuning 的通用性，这篇至少没把 1.25 亿参数吹成 agent。 我一直觉得，非洲语言这类工作最容易被“大模型叙事”带偏。过去一年更常见的路线，是拿更大的 encoder 或多语模型做迁移，比如 AfroXLM-R、NLLB、MADLAD-400 这类系统。我没核对每个模型是否覆盖全部南非官方语言，但行业经验很一致：数据稀缺时，encoder 在分类上通常更稳，decoder-only 想靠 few-shot 直接起飞，基本不现实。MzansiLM 把这个结论用可复现实验再讲了一遍，价值就在这里。 我也有保留。RSS 摘要没披露几个关键量：各语言 token 占比、总训练 token、tokenizer 设计、context length、去重与污染检测细节都没看到。没有这些，所谓“可复现”还差半截。南非 11 种语言里，资源分布很不均，isiZulu、Xitsonga、Tshivenda 这类语言如果语料配比失衡，多语微调的收益很容易只是“近亲语言迁移”，不是管线本身足够强。摘要提到 closely related languages 受益，这很合理，但也说明它的泛化边界已经写在结果里了。 还有一点别混淆：20.65 BLEU 能和大 10 倍的 encoder-decoder baseline 竞争，前提是同任务、同数据、同评测。正文外我还没查到完整表格，所以我不会把它解读成“小 decoder 已经追平大模型”。更稳的说法是，在特定南非语言任务上，数据清洗加任务微调，能把 125M 模型推到可用区间。这对教育、公部门、本地媒体 NLP 都有现实意义，因为这些场景经常没有预算跑 7B 以上模型。 我看这篇最有用的地方，是它把一个常被忽略的事实钉住了：少资源语言先要做能重复的 corpus pipeline，再谈 instruction tuning 范式。要是正文后面能补齐每种语言的采样比例、训练算力和 tokenizer 决策，这套工作会比“又一个通用基座”耐看得多。

论文提出 DAR 在每轮只广播分歧最大的消息子集，条件是这些消息也偏离多数票。这个判断我基本认同，因为多智能体辩论里最不稳的一环，往往就是“谁该被听见”这一步。很多方法先做置信度估计，再把低分回答丢掉；问题是 LLM 的置信度一直不太靠谱，阈值也很吃任务分布。你把一个校准本来就差的信号，拿来做消息路由，噪声只会被制度化。 我对 DAR 有好感的地方，在于它抓的是失效机制，不是表面症状。多代理系统一旦 agent 数上去，全量广播很容易变成意见污染：重复观点堆满上下文，少数但关键的反例被多数票淹掉。用“彼此分歧 + 偏离多数”挑消息，至少在机制上更接近 debate 想要的东西——保留互补误差，而不是奖励自信语气。这和前几年 self-consistency、再到后来的 debate/mixture-of-agents，一条线都很清楚：多样性只有在被保留下来时才有价值，光多采样没用。 但我也得泼点冷水。正文没披露具体增益、agent 数量、轮数、token 开销、基准名称，这些都缺。没有这些数字，现在还不能判断 DAR 是“质量提升”，还是单纯“少传消息后上下文更干净”。这两件事差别很大。前者说明筛选准则有效，后者说明全量广播本来就设计过重。还有一个我没在摘要里看到的问题：如果多数票本身一开始就错，DAR 会不会把“偏离多数”的噪声也放大？文章说用了显式索引保留原文，不做改写，这点很好，至少避免了 message compression 常见的语义漂移；但它也把选择器本身的偏差完整保留下来了。 说真的，这条更像一个值得复用的 routing trick，而不是把多智能体推理往前推一代的大成果。要让我更信，至少得补三组东西：在 GSM8K、MMLU 还是 HotpotQA 上分别涨了多少；agent 从 3 到 16 时 token 成本怎么变；跟 uncertainty-based pruning、top-k confidence broadcast 比到底赢多少。标题给了方向，正文没给硬度。

研究者用3000篇合成文档把动物伤害基准 AHB 做到77%，而指令微调只有40%。我对这条的判断很直接：它证明“价值观能被长文本写进去”，还没证明“价值观能在训练流水线里活下来”。后面5000条无关指令微调就把优势抹平，这个脆弱性比77%本身更有信息量。 先说我买账的部分。把价值对齐做成 document-tuning，而不是标准 instruction tuning，这个方向有道理。指令微调更像学表面响应格式，文档微调更像给模型灌一套可复述、可引用的论证结构。动物同情这个目标也选得聪明。它和常见的拒答安全、毒性过滤、违法内容拦截不是一回事，干扰项少，比较容易看出“价值写入”到底有没有发生。摘要里给了一个硬数字：77% 对 40%。如果实验设置一致，这不是小波动。 但我对 benchmark 本身有保留。AHB 只有26题，覆盖13个伦理维度，平均每个维度大概2题。这个规模更像探针，不像稳健评测。我自己不会把26题上的37个点差距，直接读成“模型学会了稳定的 compassion”。过去一年这类对齐论文反复踩同一个坑：在小基准上得到很高提升，换个措辞、换个分布、换个训练阶段就回落。这个现象在 persona steering、constitutional prompts、甚至部分 refusal tuning 里都见过。这里作者至少诚实，直接承认 5000 条无关 SFT 后优势消失，这反而让我更愿意认真看它。 我更感兴趣的是机制。为什么文档微调比指令微调强这么多？一个 plausible 的解释是，长文档给了模型更密的共现图谱：动物、痛苦、道德地位、替代行为、类比到人类同情，这些概念被反复绑在一起，所以模型回答时调出来的是一片局部语义区域，不是一句“请关爱动物”的口号。这个解释和很多人对 synthetic textbook tuning 的经验是一致的。Meta 做领域适配、很多开源社区做 codebook tuning 时，也常看到“文档比 QA 对更能改内部表征”。我没跑过这篇的实验，不能把这个机制说死，但方向上说得通。 问题也正出在这里。要是价值写入真靠一片脆弱的局部表征，那后续 SFT 把分布一冲，前面的表征就被覆盖了。5000 条样本就消失，说明保持性很差。5000 这个量在真实流水线里根本不大。很多产品模型一次安全补丁、格式修正、工具调用对齐，样本量都不止这个数。也就是说，这篇最接近生产的结论不是“我们找到了新对齐方法”，而是“单独做一次 value injection 几乎一定不够，你得把 preservation 做成持续工序”。 这让我想到去年不少团队谈的 model spec 和 policy-over-training 分层。OpenAI、Anthropic、Google 近一年的做法，越来越像把“价值”拆成三层：预训练里学广义世界模型，后训练里学行为边界，系统层再加可更新策略。原因很现实：你不可能指望一次 finetune 把规范永久固化。论文这里给出的 5000 样本退化，刚好是这个工程直觉的学术版证据。要是作者后续能证明用 replay、orthogonal adapters、preference distillation，或者在 continued SFT 里混入少量保留样本，就能显著延缓退化，那这条线才会从“现象”走向“方法”。摘要没披露这部分。 另一个我要 push back 的点，是“可泛化到对人的同情，且标准安全与能力基准未见下降”。这个说法现在证据太薄。正文片段没给出泛化评测名称，也没给出安全和能力基准的具体数字、置信区间、模型规模、对照组。我不是说它不成立，我是说目前只能把它当作者报告，不能当结论。对齐领域太容易出现这种句式：某个目标值显著上升，别的能力“未见下降”。结果一看，测试集只有几十题，或者下降落在没报出来的子项里。这里如果没有更完整表格，我不会替作者把因果链补全。 还有个更硬的问题：动物同情是不是一个足够“正交”的价值轴？摘要这么说，但我没完全信。很多训练语料里，动物伤害、人类同情、暴力厌恶、照护伦理，本来就高度相关。你看到的 transfer，有一部分也许不是抽象价值迁移，而是共享语义簇被一起激活。这个区别很关键。前者说明模型学到了较稳定的规范表示；后者只说明你在一个相邻概念团上做了风格偏置。要分清，得看更远的 out-of-domain 测试，比如资源冲突、科研取舍、文化差异、法律允许但伦理有争议的边界题。摘要没给。 所以我对这篇的定位是：它不是“对齐突破”，它更像一篇把工程痛点说透的 paper。价值可以用文档写进去，写得还挺快，3000篇就能见效；麻烦在于，现有后训练流程会把它冲掉，而且冲得不慢。这个结论对做基础模型和做应用模型的人都实用。前者会想到怎样把 value retention 变成训练目标，后者会想到别把一次性 safety finetune 当长期保险。 如果后续只有一个实验值得补，我会选保持性曲线，而不是继续刷 AHB 分数。比如每 500 条无关 SFT 记录一次退化；加入 1%、5%、10% 保留样本看半衰期；再和 LoRA、full finetune、DPO、RM-based steering 对比。没有这些，77% 只是一个醒目的起点。加上这些，这篇才有机会变成可复现的对齐配方。