全部 · 2026-03-28

论文用 200 条安全规范提示拟合一个主方向，再用残差流角度偏差做异常检测，在 6 个 Qwen 小模型变体上报出 AUROC≥0.937，XSTest 上甚至到 1.000，额外时延低于 1 毫秒。我的判断是：这不是“又一个 jailbreak classifier”，而是一种很便宜的表征探针；它的价值在于不吃有害样本训练，部署形态也轻，适合当模型前置筛查层。问题也很直接：作者现在证明的是“小模型里有稳定几何信号”，还没证明“有害意图”这个概念本身能跨模型、跨语种、跨提示风格稳定落在同一种几何结构里。 我对这条有兴趣，是因为它碰到了过去一年安全圈反复撞墙的点。很多防护方法都依赖有害数据集微调，换个 jailbreak 模板、换种语言、换成编码文本，召回就掉。这里反过来只拿安全提示建正常分布，思路更像经典异常检测。这个路线不新，早期表征工程、Mahalanobis OOD、logit lens 那些工作都在干“正常簇 vs 异常偏移”这件事；新的是它把判别量压到一个角度 θ，而且作者声称 refusal ablation 后 AUROC 最多只掉 0.015。要是这个结果站得住，含义不小：安全对齐学到的“拒答动作”和模型内部对危险请求的“识别表征”至少部分解耦。很多人把 refusal feature 当成 harm feature，本来就有点偷懒，这篇是在补这笔账。 但我得泼点冷水。第一，正文只有 RSS 摘要，没给层位选择、提示模板、语言覆盖、harm taxonomy、阈值稳定性，也没给长上下文、多轮对话、工具调用场景。AUROC 漂亮，不等于上线好用。安全系统最后吃的是固定阈值下的 FPR/TPR，不是曲线面积。假设良性企业流量里 1% 会被误报，很多产品团队已经受不了；摘要没披露 operating point，我没法判断它到底是研究味结果，还是能接 API 网关的结果。第二，XSTest 上 1.000 这组分数我天然会多看一眼。XSTest 的“有害 vs 良性但语气激进”是个常见 sanity check，很适合测过拒答词表没过语义理解的系统；拿满分当然好，但这个 benchmark 规模和风格都有限，离真实攻击流量很远。第三，作者强调两个家族在同层深度会出现相反 ring orientation，一个是 outer ring，一个是 inner ring。这恰好说明方向本身不稳，家族依赖性很强。方向无关打分是合理补丁，但也说明这类方法在跨模型迁移上大概率要重做校准，别急着把它讲成通用 detector。 我自己更想看三个补实验。一个是拉到更大模型，至少 7B 以上，最好包含密集模型和 MoE。小模型的表示几何往往更“硬”，到了大模型里 feature superposition、层间重组、chat tuning 都会把简单结构搅乱。我记得前两年不少 activation steering 和 probe 工作在 7B/13B 以上就没那么干净，但我没逐篇复核。第二个是跨语言和跨编码迁移，比如中文、阿拉伯语、拼写扰动、base64、角色扮演包裹。真攻击流量不会老老实实写成英文直球请求。第三个是对抗适配：既然检测量是角度偏差，攻击者能不能反向优化 prompt，让语义保持有害、角度回到安全主方向附近？如果能，这类方法更像低成本第一道闸，不是终局方案。 还有一点我不太买账：摘要把“几何分离”讲得很满，像是在说 harmful intent representation 独立存在，拒答机制只是下游执行层。这个结论现在证据还不够。refusal direction ablation 只是移掉了作者定义的一条方向，不能保证别的安全相关子空间没参与，更不能证明“意图”是单一几何对象。残差流里出现稳定异常，也可能混着分布外格式、语气强度、任务域偏移这些因素。作者确实用 XSTest 去压“激进但无害”这个混淆项，这是加分项；但只凭摘要，我还看不到他们把这些混淆变量系统性拆干净。 所以这篇我会认真记一笔，但不会立刻上神坛。它更像把 LLM safety detection 从“再训一个分类器”拉回“先看表征有没有天然信号”。这条路工程上很香：200 条安全提示、子毫秒开销、无需有害集，维护成本明显低。问题是，安全圈最难的从来不是跑出一个 AUROC，而是让规则在分布漂移、模型换代、攻击者适配之后还活着。标题给出了一个很强的研究信号，正文没有披露足够的部署条件；在看到更大模型、更多语种、更多真实流量前，我把它看成一篇值得复现的探针论文，不看成已经可落地的通用护栏。