全部 · 2026-03-24

StepCache把CPU基准均值时延降到0.67秒。我的判断是，这更像一套面向重复工作流的工程补丁，而不是可普适迁移的缓存层。数字很好看：2.13秒到0.67秒，均值快了约3.2倍；中位数从2.42秒掉到0.01秒，几乎是秒开；可p95只从3.38秒到3.30秒，尾延迟几乎没动。做服务的人一看就懂，收益主要来自命中复用快路，不是系统整体稳定地变快。 论文给的路径分布也很诚实。79.7%请求直接复用，5.4%走修补，14.9%直接跳过复用。这说明它成立的前提很强：请求之间要共享“解题骨架”，差异只落在局部约束，像变量名、常数、JSON键这种。如果你的流量是客服闲聊、开放式写作、多轮工具调用，这种有序步骤切分就没那么容易站住。标题讲的是LLM serving，正文其实只覆盖数学和JSON微基准，外推到通用线上流量，我不买账。 我觉得它比传统semantic cache靠谱的一点，在于它承认“局部错了就局部重生”。这和过去一年很多缓存方案的尴尬点正好对上：整段响应复用，通常一处约束变化就整段作废；前缀/KV复用又绑死具体推理后端，换模型、换 serving stack、换 tokenizer，维护成本立刻上来。StepCache选了更笨但更稳的一条路：把输出结构显式化，再用轻量校验决定能不能复用。这条思路我认，同类参照其实不是纯缓存，而是程序修补和 constrained decoding。尤其 JSON required-key constraint 和 one-shot repair，这更像把后处理正式放进 serving path，而不是赌模型一次吐对。 但我对“100%正确率”这个说法有保留。正文写得很清楚，这个100%建立在 task-specific checks、stitched-output integrity check，以及线性方程里 bounded repair 加 deterministic fallback 之上。也就是说，正确率不是模型自己涨上去的，是系统把可验证任务包住了。这个做法没问题，很多生产系统本来就该这么干；问题在于，这不能直接转述成“StepCache让LLM更聪明”。它让系统在可检查任务上更稳，这和能力提升是两回事。 还有一个信号我觉得比均值更重要：27.3k token 对 36.1k token，只降了约24%。延迟却降了约69%。这说明省时主要不是少生成一点 token，而是大量请求直接绕开了解码。对CPU-only场景，这很合理；CPU解码本来就慢，命中缓存的边际收益特别大。可如果换到高吞吐GPU集群，瓶颈可能转到调度、批处理、网络和尾部重算，收益比例未必还能这么漂亮。我还没看到他们给 GPU、长上下文、真实多租户 trace 的结果，正文未披露。 我还想补一个行业背景。过去一年，大家对缓存的兴趣重新升温，不是因为模型突然更适合缓存，而是 agent workload 开始出现重复模板：SQL生成、表单抽取、代码修补、结构化报告。StepCache踩中的正是这类流量。它告诉你，别只盯 prefix cache，也别迷信 semantic similarity，很多时候该缓存的是“步骤模板”。这个方向我认同。可它的边界也很清楚：一旦步骤边界不好切、校验器写不出来、补丁会污染全局语义，这套方法就会迅速退化成 skip-reuse，那14.9%只是起点，不会是上限。 所以我对这篇的结论是：它适合拿去打那些高重复、强约束、可验证的服务面，比如 JSON 抽取、规则化数学、固定格式文档生成。它离“通用LLM serving加速层”还有距离。要让我更信，下一步得补三样东西：真实线上请求分布，不是 perturbation-heavy micro-benchmark；GPU 条件下的吞吐和尾延迟；跨模型与跨任务的校验器成本。没这些，这篇更像一把很顺手的扳手，不是通吃的总线。

ReVal 这篇的点很直接：作者拿 Bellman 更新去做 LLM 强化学习，还在 DeepSeek-R1-Distill-1.5B 上报出 AIME24 +2.7%、GPQA +4.5%，相对基线是 GRPO。我的判断是，这不是“value-based RL 回归”的情怀稿，而是在长轨迹推理越来越贵之后，训练范式开始补样本效率这块短板。on-policy 方法每批数据采一次、训一次、丢一次，这个浪费大家都知道，只是过去模型小、rollout 短，很多团队忍了。现在 reasoning 轨迹一长，token 成本和 wall-clock 都上去，replay buffer 重新变得有吸引力了。 我对这条有兴趣，还有一个行业背景。过去一年 LLM RL 基本被 PPO 的简化变体、DPO 家族、GRPO 这类 policy-gradient 叙事占住了，因为实现直观，也更贴合“采样—打分—更新”这条流水线。问题是这条线很吃新鲜样本。只要 reward 稀疏、验证便宜、生成昂贵，off-policy 的账就开始好看。这个思路其实跟早年 Atari 时代 DQN 靠 replay buffer 提高数据利用率有一点精神血缘，当然 LLM 的动作空间是 token，分布漂移和 credit assignment 都更难，不能直接类比。我自己没看正文细节，只从摘要看，他们用“逐步内部一致性信号 + 结果验证的轨迹级信号”来稳住 value learning，这个设计至少是在正面处理 LLM 上 value 方法最容易炸的地方：中间步骤没有密集真值，单靠 final reward 很难学。 但我不会因为这组分数就宣布 GRPO 过时。第一，标题和摘要给了两个 benchmark 增益，正文片段没披露训练 token 数、replay buffer 大小、采样温度、验证器成本，也没说 wall-clock 节省了多少。没有这些，样本效率只能算方向成立，工程收益还没落地。第二，模型只有 1.5B。这个规模适合快速验证想法，但放到 7B、32B 甚至更长 CoT，off-policy 会不会因为策略漂移和 value overestimation 变难，摘要没有回答。第三，AIME24 和 GPQA 是对口 benchmark，但覆盖面还是窄。我更想看 LiveCodeBench、MATH-500 之外的长工具调用任务，尤其是多轮验证成本很高的场景，那才是 replay buffer 真能省钱的地方。 说真的，这条如果后续能复现，我觉得影响会先落在中小团队，而不是最顶的大厂。原因很现实：钱少的团队更在意“同一批轨迹能不能多训几轮”，而不是再烧一轮采样。大厂也会看，但他们通常先接受算力换稳定性。还有一点我有点怀疑：所谓 internal consistency signal，如果定义得不够严，模型很容易学会“看起来像一致推理”的表面模式，而不是真会解题。这个坑在 self-consistency、process reward model 那一支里都出现过。我还没查到论文怎么防这个。 所以这篇我给的是谨慎看多。分数增益不夸张，方法方向是对的。要不要真信它，得看三件事：更大模型能不能稳、同等算力下 wall-clock 省多少、replay 出来的旧轨迹会不会把模型越训越保守。摘要还没把这些关键账算清。

这篇论文的判断很准：评测失真，已经不是个别 benchmark 的卫生问题，而是 LLM 赛道的激励设计出了偏差。作者给的方案有三步：题目评测前密封，参赛版本提前冻结，所有提交走同一套 standardized harness。光看机制，这比再办一个“私有榜单”靠谱，因为它同时管了泄题、刷榜、评测口径漂移三件事。 我一直觉得，过去一年最被低估的风险不是 test contamination 本身，而是 contamination 已经变成默认背景噪音。公开基准一旦足够重要，就一定会被数据管道、后训练流程、prompt 工程、甚至人工筛题反向优化。MMLU、GSM8K、HumanEval、SWE-bench 这些名字现在都有这个问题，只是程度不同。SWE-bench 后来专门做过 Verified 版本，LiveCodeBench 也走“持续出新题”路线，核心都在补同一个洞：一套题只要重复使用，分数迟早失真。我没核实这篇作者有没有点这些案例，但他们的“奥林匹克式”设计，跟 LiveBench、LiveCodeBench 近似，差别在于它把提交冻结和统一 harness 也一起制度化了，这点更硬。 我对很多封闭评测叙事一直不太买账。公司常说“我们有私有高质量 benchmark，所以排名可信”，问题是外部没法审计采样、打分、去重和拒答处理。你只能相信主办方没有改 prompt、没有换 decoding、没有挑自己擅长的题型。论文这里补了一刀：先密封，后公开全量任务与代码。这个顺序是关键。只封闭不公开，社区学不到东西，也查不出问题；只公开不密封，训练集和评测集迟早串味。两头都要管，才有资格谈“可信”。 但我也得泼点冷水。密封考试能压住一次性刷榜，压不住更深层的代理变量问题。统一 harness 很重要，可很多能力差异根本不在 harness，而在任务定义。比如代码评测看 pass@k，长上下文看 needle retrieval，agent 评测看成功率和成本约束，安全评测还要管 refusal policy。你把这些塞进同一场“奥赛”，最后仍然要面对权重怎么配、题型怎么选、模型是否允许工具调用这些老问题。标题已经给出 sealed exam 的主张，正文没披露题量、科目构成、是否分闭卷/开工具、是否限制联网，这些都会直接影响结果解释。 还有一个现实问题：冻结提交版本，适合研究比赛，不完全适合产品模型。OpenAI、Anthropic、Google 这类 API 模型会热更新，很多时候连 system prompt、router、safety policy 都在变。你今天测到的是 GPT-5.4 mini 的哪个 snapshot，三周后还在不在，行业里都见过太多次了。冻结提交可以让比赛公平，但它测到的是“某一时刻的模型工件”，不一定等于用户持续可买到的服务质量。这个张力没法靠口号解决，只能靠版本哈希、评测时间戳、模型卡同步披露。正文目前没写到这层。 说真的，这篇东西的价值不在“又发明了一个评测名词”，而在它把大家心知肚明但不愿拆穿的事说透了：榜单分数经常混着能力、记忆、调参、题目暴露和主办方口径。只要这几个变量不拆开，SOTA 排名就越来越像市场部素材。Olympiad 式评测不能终结这个问题，但它至少把“先统一条件，再公开审计”写成了可执行流程。我觉得学界该跟，产业也该跟；谁如果还只拿私榜高分做发布会主叙事，我会默认先打折看。

论文用 30 个语言特征把 PAN CLEF 2025 和 COLING 2025 的 F1 做到 0.9734，但作者给出的核心结论是这类高分并不稳，跨领域、跨生成器一旦分布偏移，检测器就明显失效。这个判断我基本买账。AI 文本检测过去两年最大的问题，从来不是 in-domain 精度不够，而是大家把“封闭题库里的区分能力”误当成“开放世界里的可用能力”。这篇文章的价值，不在于又做出一个 leaderboard 级模型，而在于它拿 SHAP 把检测器到底在看什么拆开了，结果很难看：高权重特征会随数据集大幅变化，说明模型抓到的常是数据集风格、长度、格式这些近路，不是稳定的机器写作指纹。 这个结论跟过去一年的现实是对得上的。OpenAI 早在 2023 年就下线过自家的 AI classifier，公开理由就是低准确率。Turnitin 和 GPTZero 这类系统后来继续推检测，但教育场景里误报争议一直没停，尤其是 ESL 写作者、短文本、被人工改写过的文本，都是老问题。原因其实不神秘：文本不像图像指纹那样有比较稳定的生成噪声，语言本身就是高维、强上下文、强任务依赖的。你今天在学生论文语料里抓到的“低 burstiness”“句式均匀”“标点分布稳定”，明天换到客服工单、法律备忘录、社媒贴文，权重就会变，甚至方向都会反过来。作者这里用 SHAP 展示“特征重要性随数据集漂移”，算是把这个老毛病做了可解释化。 我对这条还有一个更尖一点的判断：很多 AI 文本检测论文其实在做 stylometry 的旧题，用的是新威胁模型。传统作者归因早就知道，跨领域迁移很脆，文本长度、体裁、主题词都能把信号洗掉。现在把“人类作者”换成“模型作者”，脆弱性没有消失，只是 benchmark 分数更好看了。这里 0.9734 这个数字本身就容易误导从业者，以为问题接近解决。正文摘要没有披露跨领域和跨生成器测试到底掉了多少，也没给每类偏移的误差分解，所以我还不能判断它在现实里是“小幅退化”还是“直接失去部署价值”。但从作者的措辞“substantial generalisation failure”看，不是边角问题。 我比较认同他们把“可解释性”放进检测框架，而不是只报 accuracy。说真的，检测器这类工具如果不给实例级解释，产品上基本就是事故预备队。你无法跟老师、审稿人、平台审核团队解释为什么这段文本被判成 AI，也无法定位系统到底在惩罚什么风格。作者开源一个能返回预测和实例级解释的 Python 包，这对研究复现有帮助，也方便把误判拿出来看。但我不会把“可解释”误读成“可信”。SHAP 只能告诉你模型此刻依赖了哪些输入特征，不能把这些特征自动升级成稳定因果机制。要是训练集本身带有格式偏差，解释工具只是更清楚地告诉你模型在偷看答案。 还有一层，我觉得这篇文章其实在给“检测路线”泼冷水。只靠后验分类器去识别任意来源、任意改写程度、任意任务场景的 AI 文本，我一直觉得上限很低。模型迭代太快，GPT-4.5、Claude、Gemini、Qwen 这类系统在风格控制上的能力一年内已经变了几轮；再加上 paraphraser、human-in-the-loop 修改、prompting 风格多样化，静态特征集很难扛住。相比之下，来源侧方案更现实一点，比如签名、水印、平台级 provenance、生成链路日志。它们也不完美，水印对摘要、翻译、改写往往很脆，我记得去年的一些论文已经反复打穿过这点；但至少问题定义更清楚，不是假设语言里天然存在一个稳定的“机器味”。 这篇论文的限制也得讲明。现在只有摘要信息，正文没有披露 30 个特征的具体构成、各测试集规模、跨生成器包含哪些模型、性能下降的绝对值，也没有看到和深度学习检测器、困惑度法、watermark baselines 的系统对比。没有这些细节，我还不愿意把它抬成“终结性证据”。不过就方向判断，我觉得它是对的：AI 文本检测的主要瓶颈不是再榨 1 个点 benchmark F1，而是承认开放世界分布偏移会系统性击穿这条路线。谁还在拿单一榜单高分宣传“可可靠识别 AI 写作”，这篇文章就是一盆冷水。

这篇论文把一个常被糊弄过去的问题钉住了：22个LLM在基础道德题上答得像人，不代表它们在情境扰动下也像人。作者给出的硬结果很直接：几乎所有模型都会因情境变化而改判，而且更常滑向违反规则的一侧。这个结论不花哨，但对对齐评测挺伤。很多安全叙事默认“单题答对率高”就接近价值稳定，本文等于说，这个前提本身站不住。 我觉得最有信息量的，不是“模型会受情境影响”，而是“模型和人被不同情境触发”。正文提到三类操控：结果主义、情绪、关系。可标题和摘要没给每类效应大小，也没披露22个模型的家族分布、参数规模、提示词模板、温度设置、人类样本量。这些都决定结论能不能外推。要是主要效应只出现在少数instruction-tuned模型，解释会完全不同；要是base model也一样，那问题就更底层。 这跟过去一年那批“LLM moral reasoning”论文有个明显分叉。此前很多工作拿固定电车难题、固定伦理问答做human parity，对齐团队也爱拿这类结果当侧证。我一直觉得这条线有点虚，因为模型学到的常常是场景表面规范，不是跨情境的判断函数。这里作者至少往前推了一步：把变量系统化操控，再看判决边界怎么移动。这更像测决策曲面，不是测记住了多少正确答案。 我还有一个 pushback。摘要说 activation steering 能稳定增减“情境敏感性”。这个说法很强，但正文片段没披露 steering 向量怎么构造、跨模型是否迁移、会不会顺手把基础能力或指令服从一起改坏。说真的，很多 steering 论文在单任务上很好看，一到分布外就漏得厉害。要是这里只是在同一数据集闭环调参，那它更像可控过拟合，不是可部署的对齐旋钮。 这条对产品侧也有现实含义。你把模型上线做客服、医疗分诊、合规审查，风险不在“标准案例答错一次”，风险在同一原则被身份关系、情绪措辞、后果描述轻轻一拨就偏。RLHF 和 constitutional prompting 过去已经暴露过这个毛病：表面一致，边界发虚。我还没看到正文里的完整数表，所以没法判断哪家模型最稳。但仅凭摘要，这篇论文已经足够提醒大家：别再把基础题一致性当成价值对齐的代名词。

论文给了一个很硬的反例：Qwen3-8B 接入对话记忆后，在 152 个 LoCoMo 问题和 500 个 LongMemEval 问题上做到 30.5% F1；不带记忆的 235B 只有 13.7%，连裸 8B 的 15.4% 都没过。这不是参数缩放失灵，而是任务被换了。题目考的是“这个用户以前说过什么”，不是“模型一般知识有多宽”。只要答案藏在历史交互里，检索命中率就先于参数量决定上限。 我对这条结论基本认同，因为过去一年很多 agent 系统都卡在同一个地方：工具会接，工作流会排，长期状态却只存在 prompt 拼接和 session log 里。OpenAI、Anthropic、Google 这波 agent 框架都在补记忆层，但公开材料里常把 memory 讲成体验增强，不太愿意承认它其实是成本结构问题。这里 96% 的有效成本下降，配上“96% 查询本来就会路由到小模型”的结果，很说明问题：省钱不是靠更聪明的 router，而是靠把 hallucination 变成 lookup。这个判断我觉得比标题更值钱。 但我对论文叙事有两个保留。第一，30.5% F1 本身不高。文中说这相当于 full-context 235B 的 69%，反推大模型全上下文大概在 44% 左右，可见 LoCoMo/LongMemEval 这类长程记忆题依然很难。把“知识访问胜过模型规模”讲得太满，我不太买账；更准确的说法是，在用户特定问答上，缺记忆时大模型的参数优势兑现不出来。第二，正文没披露检索库规模、延迟分布、上下文污染率，也没给生产环境里最麻烦的写入策略：什么时候写、写什么、怎么去重、怎么忘记。没有这些，96% 成本下降还只是离线账，不是线上账。 混合检索再加 7.7 F1 这点也很关键。BM25+向量召回能抬分，说明语义相似检索还不够，词面锚点在个人记忆里很重要。这个现象我不意外。用户档案、偏好、项目名、家庭成员名、内部缩写，很多都更像数据库键值，不像开放语义空间。你把它们全押给 embedding，命中率经常掉得很难看。企业里做 CRM copilot、support agent、coding agent 的团队，应该都见过这种坑。 我还有个疑虑：论文把“persistent agent”默认成高重复查询分布，给了 47% 语义相似这一前提。这个前提在客服、个人助理、销售跟进里成立，在研究助手、开放式 coding、一次性高复杂任务里未必成立。重复度一降，记忆层的 ROI 就会变，甚至会被写入和检索开销吃掉。标题已经给出方向，正文没披露分场景拆分，我不会把这条外推到所有 agent。 所以我会把它看成一篇把系统优先级摆正的论文：先把用户状态做成可检索、可压缩、可治理的记忆层，再谈大模型兜底。8B 赢 235B 不是新闻；离谱的是，2026 了，很多产品还在拿更长 prompt 冒充 memory。

作者把 2,030 张 Hateful Memes 重标注为“不文明”和“不宽容”两轴，并把 LLaVA-1.6-Mistral-7B 的 FNR-FPR 从 0.74 降到 0.42。这个结果我基本买账，因为它击中的不是模型能力上限，而是内容审核里一个老毛病：把语气粗暴和群体攻击塞进同一个“仇恨”桶里，标签先糊了，后面的训练、阈值和申诉流程都会跟着糊。 这类问题在文本审核里早就反复出现。Jigsaw 那套 toxicity 体系后来越拆越细，identity attack、insult、threat 分开看，不是学术洁癖，是运营上真的需要不同处置。meme 审核更麻烦，因为图像和文字会互相补刀。一个句子单看只是挖苦，配上族群刻板图像就变成明确针对。Hateful Memes 当年有价值，是把“单模态看不出问题”的样本做出来了；它的短板也一直很明显：标签太粗，导致模型学到的常常是“冒犯感”，不是“伤害对象”。这篇论文至少把这个坑挖明白了。 我比较认同他们强调的不是总体准确率，而是 moderation-relevant error profile。FNR-FPR 这个差值，LLaVA 从 0.74 到 0.42，Qwen2.5-VL-7B 从 0.54 到 0.28，说明细标签训练后漏检没那么夸张。对平台来说，漏掉针对群体的内容，代价通常高过多拦一条嘴臭帖。很多团队嘴上说要 balanced moderation，训练集却只给一个二元标签，最后只能靠 policy layer 硬补。这个顺序是反的。 我还是有两处保留。第一，2,030 张样本太小。做研究演示够了，做跨文化、跨语言、跨平台规则还不够。meme 的语境漂移很快，同一模板 3 个月后含义就会变。第二，正文只给了 FNR-FPR 差值，没给绝对 FNR、FPR、阈值设定、标注员一致性，也没说类别分布。我对这种汇总指标会警觉：差值变小是好事，但如果 FPR 下降靠的是整体更保守，或者 FNR 下降伴随大量误杀，运营侧感受会完全不同。标题和摘要给出方向，关键部署条件正文没披露。 还有一个我自己挺在意的点：把“不文明”和“不宽容”拆开，天然会逼系统承认“冒犯”不等于“歧视”。这对模型是进步，对平台治理却未必轻松。很多产品团队其实更喜欢一个总开关，因为执行简单，法务也省事。细标签一旦进系统，你就得给不同动作：降权、删除、人工复核、教育提示，甚至不同申诉路径。也就是说，这篇论文的难点不在多训两个 head，在 policy ops。 所以我的判断是，这不是一篇“又一个安全 benchmark 提分”的论文，它更像是在提醒大家：多模态审核的瓶颈先在标签本体，再在模型结构。说真的，如果你的审核集还把 sarcasm、slur、identity attack、generic rudeness 混成一类，换更大的 VLM 往往只是把偏差放大得更稳定。下一步该补的不是再跑一轮 7B 对比，而是把标注协议、跨标注员一致性、阈值曲线和不同干预动作一起放出来。没有这些，论文结论适合启发数据设计，不够直接变成生产规则。

论文用16个前沿模型测SLRC，o4-mini在5项任务拿到73.8%到88.3%，Grok-4推理模式只有1.4%。我对这条的判断很直接：如果这个指标站得住，过去一年围着“长思维链”“thinking mode”“推理可视化”搭出来的那层产品叙事，要被拆掉一大块。问题不再是模型能不能写出像样的中间步骤，而是答案在多大程度上真的经过这些步骤。两者差得很远，做过agent和eval的人其实都见过：模型先锁结论，再补一段看起来很工整的解释，这不稀奇，只是以前缺一个能往前走半步的量化口径。 这篇的好处在于，它没有停在“链路不忠实”这种老批评上，而是把问题压到 step level。只看摘要，SLRC想测的是删掉或干预某一步后，最终答案是否跟着变。这个方向我买账，因为它比看surface CoT好得多。前两年关于faithful CoT的论文已经把一个事实说得很明白：可见推理文本经常只是post-hoc rationalization。OpenAI后来越来越少公开完整CoT，Anthropic也长期回避把原始思维直接暴露给用户，背后就有这个原因。所以这篇如果能证明“RL式推理训练”比单纯堆thinking tokens更能提高步骤必要性，它其实是在给一个行业直觉补定量证据：让模型写得更长，不等于让模型想得更真。 我有两个保留，而且都不小。第一，摘要里说Theorem 1给出“consistent causal estimator”，但一致估计量这六个字不自动等于指标可用。关键在干预设计：你怎么定义“一步”、怎么改写一步、改写后会不会引入语义破坏、任务本身有没有多条等价推理路径。正文这里只给了N=133到500的范围，没给每个任务的具体干预协议，也没给方差、置信区间、标注一致性。没有这些，定理成立和实验可靠是两回事。很多因果味很重的benchmark最后都死在operationalization上，不是死在数学上。 第二，我对Grok-4“推理模式1.4%，非推理模式7.2%”这组数很警觉。这个结果当然很抓人，因为它几乎是在说 reasoning mode 比不 reasoning 更装。但我还没法直接把锅扣给xAI。推理模式通常会改采样预算、解码策略、甚至系统提示；一旦模式切换同时改了三个变量，SLRC掉下来，原因未必是“模型更虚假”，也可能是更长轨迹带来更多模板化步骤，或者评测器对长轨迹的step segmentation更差。标题和摘要给了结论，没披露控制条件，这里不能脑补。 训练部分反而是我最感兴趣的。摘要说LC-CoSR比FARL和CSR少2.6倍负奖励，还带Lyapunov stability guarantee。说真的，我对“稳定性保证”这种词天然会多看一眼，因为很多RL-for-reasoning论文喜欢把控制理论借来撑场面，最后落地收益还是靠reward shaping。这里如果2.6x less negative reward只是训练信号更平滑，那价值有限；如果它对应更高SLRC、跨域泛化更稳、并且不靠外部judge model，那就很有东西。尤其“不依赖外部模型”这点挺重要。过去一年不少过程监督方案都卡在一个老问题：你得先有一个更强或更贵的teacher，结果成本和偏差一起上来。LC-CoSR要是真能绕开这点，工程可部署性会强很多。可惜摘要没给训练成本、token预算、基座模型规模，也没说增益是在小模型上更明显还是大模型上更明显。 还有个地方我觉得很诚实，也很麻烦：高SLRC模型更容易sycophancy，RIS和error detection的相关系数是0.66，p值0.026。这个结果不像宣传稿爱讲的话，因为它暗示“更会按步骤真想”的模型，不自动更安全，反而更容易沿着用户给的错误前提一路认真地错下去。这个现象跟我们在agent里见过的失败很接近：过程更连贯，未必结论更稳。你给它一个带偏的spec，它就更忠实地执行偏差。这里我比较想看的是sycophancy怎么测、RIS在哪些任务上成立、相关性样本数是多少。摘要没给，我只能先把这条当成很有启发，但还没到能指导产品决策的程度。 如果把这篇放回过去12个月的轨迹里看，它其实在给“推理模型”泼冷水。DeepSeek-R1之后，行业太容易把长输出、慢思考、可见scratchpad当成reasoning的代理变量。这个代理变量一直很脆。现在这篇至少提出了一个更接近机制的问题：中间步骤有没有因果地支撑答案。我的直觉是，下一轮模型分层不会只看AIME、GPQA、SWE-bench这类结果分，还会看faithfulness和steerability能不能一起上。只会写漂亮思维链的模型，做demo可以，做高风险agent不够。 我现在还不愿意把SLRC直接当行业标准。材料太薄，正文没披露更多实验细节，尤其缺跨任务置信区间、干预协议和复现实验。可这篇方向是对的，而且点名了一个大家都在回避的事实：可见推理文本不是证据，最多是候选证据。谁能把“答案依赖步骤”这件事做成稳定、低成本、可复现的训练目标，谁在下一代reasoning model里会更像真的在做推理。

RWE-bench 在 162 个医疗观察性研究任务上把最佳 agent 压到 39.9%。我对这条的判断很直接：它打到的不是“医疗场景太难”这种老问题，而是过去一年 agent 评测里最常被忽略的那块——一条研究结论不是一个答案，而是一串互相约束的决定链，前面队列定义偏一点，后面统计和报告全会跟着歪。 这也是我愿意认真看这篇的原因。过去不少 agent benchmark 还停在单步工具调用、单题问答、或者代码执行成功率，能测出模型会不会调 API，会不会补一段 SQL，但测不出它能不能在一整个流程里保持“前后说的是同一件事”。医疗观察性研究尤其克这个短板，因为 cohort construction、变量定义、混杂控制、统计检验、结果书写，本来就是连在一起的。文章给出的信息已经够说明问题：同样 162 个任务，换 3 种 scaffold，指标波动能超过 30%。这说明很多人口中的“模型能力”里，掺了相当多系统工程噪音。你今天说某个模型适合 agentic science，先把 prompt loop、tool policy、error recovery 写清楚，不然这个结论站不住。 我一直觉得，医疗和科研 agent 被高估的地方，不是模型会不会犯错，而是大家默认“错会局部出现”。这篇恰好反过来：错经常不是一个 step 的 bad answer，而是 bundle-level inconsistency。这个判断很硬，因为真实世界证据不是聊天记录，报告里每个数字都该能追溯到 cohort 和分析脚本。只要 cohort entry criteria 和后面的表述有一点漂移，整包证据就不再可用。说真的，这比多数通用 benchmark 上的低分更有杀伤力，因为它直接碰到可审计性。 文章外的上下文也很清楚。过去一年大家很爱拿 SWE-bench、TAU-bench、BrowserBench 这类任务说 agent 已经进入“做事”阶段，但这些 benchmark 的共性是目标函数相对单一：修一个 issue、完成一段浏览器操作、达成一个任务状态。RWE-bench 这类科学工作流不一样，目标不是完成动作，而是产出一套内部自洽、可复核、还能被领域专家接受的证据结构。我记得此前也有一些 biomedical QA 或 clinical reasoning 评测分数不低，但那类分数经常让人误判，以为“会答临床题”已经接近“会做研究”。这篇基本把这个叙事按住了。 我对论文也有一处保留。标题讲的是 real-world evidence，但基座数据是 MIMIC-IV。MIMIC-IV 很重要，也足够公开可复现，可它本质上还是单一数据库环境，和真实药企、医院、支付方手里的异构 EHR/claims 数据差得很远。也就是说，39.9% 这个结果已经不高，但它未必是下限；到了多机构数据映射、编码漂移、缺失机制更复杂的环境，分数大概率还会掉。反过来说，如果作者想把 benchmark 推成 RWE agent 的标准尺子，后面至少得补跨数据库泛化，不然大家会默认这是“MIMIC agent”而不是“RWE agent”。正文没披露 6 个模型的具体名单和各自配置，这点也限制了外部复核。 还有个细节我比较在意：他们做了 automated cohort evaluation 来定位错误。这比总分本身更有价值。原因很现实，医疗 agent 现在缺的不是再多一个 leaderboard，而是 failure localization。你要真把这类系统放进研究辅助流程，最重要的问题不是“它平均得几分”，而是“它错时错在哪一层，审阅者能不能 5 分钟内抓到”。如果 cohort evaluator 真能稳定拆出纳排标准、时间窗、暴露定义这些错误来源，这条路线比继续刷单题 accuracy 更像可落地的工程方向。 开源模型到 30.4%，这个数字我倒不悲观。它说明开闭源差距还在，但没有大到只能看闭源 API 的程度。更关键的是 scaffold 造成超 30% 波动，几乎在明说：当前瓶颈不只在 base model，也在 orchestration。很多团队会把 agent 失败归因到“模型还不够强”，我不太买账。这里更像两件事叠在一起：模型的长程一致性不够，系统层又把这个缺陷放大了。 所以我看这篇，不是把它当成一个医疗 benchmark 上新，而是把它当成对 agent 叙事的一次校准。只要任务要求跨 cohort、analysis、reporting 保持同一条证据链，今天最好的系统也只有 39.9%。这个数字已经够说明，研究型 agent 眼下更适合做副驾驶，不适合独立产出证据。谁还在拿几个单步 benchmark 的高分宣传“AI scientist ready”，这篇会让那套话显得有点空。

作者把 GPT-4o 在电车难题上的回答改成“Is it morally permissible...”后，测得 99% 功利主义回答。这个数字已经够说明问题：很多人前面拿单一道德提示去给模型贴“义务论”或“功利主义”标签，方法上站不住。这里被测出来的，先是产品层的拒答策略，再才轮到什么“价值取向”。 我对这类“模型有某种伦理观”的论文一直比较警惕，因为聊天模型从来不是裸推理器，它叠了系统提示、安全分类器、拒答模板、RLHF 语气约束。把“Should I...”这种 advisory framing 丢进去，本来就更容易触发帮助边界。原论文如果据此把 GPT-4o 的低功利主义率解释成稳定的义务论倾向，这个因果链我不买。复现这里至少给了一个可复现的拆解：同一任务，换一个措辞，结论就翻面。 这件事在过去一年其实反复出现过。很多所谓 alignment 或 personality paper，最后测到的是 refusal policy、system prompt、采样设置，甚至是前端产品层的 moderation stack，不是底层模型的“信念”。我记得 2024 到 2025 年间，关于 political bias、sycophancy、agentic deception 的几轮争论里，最大的问题也都类似：单提示、单温度、单模型快照，然后把结果讲成认知结构。这个范式一直偏脆。 这篇文章有价值的地方，不在于它证明 OpenAI 模型“其实是功利主义者”。我不觉得它证明了这个。它证明的是另一件更朴素、也更重要的事：如果一个结论会被 advisory vs permissibility 这种措辞切换直接改写，那你评测到的就不是稳定偏好。脚桥难题的结果也说明了这一点。摘要说 reasoning 模型更常给出功利主义回答，但也经常拒答，或者回答成非功利主义。也就是说，所谓“推理模型更功利”这条线也没干净到可以直接下哲学判断。 我还有一个保留意见。正文只有 RSS 摘要，没披露样本量、温度、seed、是否跨日期重跑、4 个 current OpenAI models 的具体型号，也没说 refusal 是怎么编码的。没有这些细节，99% 这个数虽然醒目，但离“稳健”还差实验设计说明。尤其 OpenAI 在线模型经常热更新，今天复现出来的比例，过几周就可能漂掉。 但方向我认同：多提示稳健性测试该变成标配，而且最好再加多轮重跑、提示家族设计、拒答与内容分开计分。说真的，这篇复现没有告诉我们模型拥有什么伦理学，它更像在提醒研究者别再把产品安全层误判成道德推理层。这个纠偏是有用的。