FEATUREDComputing Life · Share · 鸭哥调研· rssZH00:00 · 09·16
Perplexity 和 OpenAI 的 PII 检测器不是大语言模型,而是带分类头的双向编码器
Perplexity 开源的 pplx-pii-masking 是个 0.6B 参数的双向编码器,基于 Qwen3 但关掉了因果掩码,顶上挂了一个词元分类头和一个文档敏感度头。它用维特比解码输出 9 类敏感信息的起止位置和置信度。OpenAI 的隐私过滤器是 1.5B 的稀疏 MoE 模型,激活参数约 50M,标称 128K 上下文窗口,但带状注意力把...
#Perplexity#OpenAI#Anthropic
精选理由
精选 · 重要度 78 · 吸引力 + 知识量 + 共鸣
一句话点评
别把 PII 检测当大模型用。Perplexity 和 OpenAI 开源的检测器都是小尺寸双向分类器,能在本地毫秒级圈出敏感字段并给出置信度,但裸密钥和长文档截断仍是硬伤。
锐评
这篇文章拆解了两个开源的本地敏感信息检测器,结论很明确:在数据出网前做脱敏,不能靠生成式大模型,得用专门的双向编码器。Perplexity 的 pplx-pii-masking 只有 0.6B 参数,1.1GB 大小,在 M3 Ultra 上处理 2816 个词元约 0.7 秒,F1 分数能到 0.98。它的核心是把 Qwen3 的因果掩码关掉,改成全双向注意力,这样模型能同时看前后文来判断一个词是不是敏感信息,最后通过维特比解码输出实体边界和置信度。OpenAI 的隐私过滤器参数更大,1.5B 但用 MoE 架构把激活参数压到约 50M,标称 128K 上下文窗口,但实际用了带状注意力,每个词元只能看到左右各 128 个词元,有效视野只有 257 个词元。
实测暴露了几个关键限制。pplx 的上下文上限是 4096 词元,超出的部分直接静默截断,没有任何告警。OpenAI 的模型虽然能处理更长文本,但带状注意力导致它把 550 个词元外的账号数字误标成了电话号码。两款模型对裸密钥和高熵字符串都容易出切片偏移或类别误判,比如把 sk- 开头的密钥只圈出中间 82 个字符,首尾照样漏出去。
文章没给出这两款模型在真实混合流量上的误报率和漏报率对比,也没说明维特比解码的转移偏置调到什么程度能在精确率和召回率之间取得平衡。另外,商业机密和专有数据这类没有固定语法特征的内容,文章也承认概率模型根本划不出安全边界。结论很务实:端侧防护得靠小分类器处理自然语言实体,正则和高熵检测负责固定格式的密钥,两者各管一段,别指望一个模型包打天下。
HKR 分解
hook ✓knowledge ✓resonance ✓