22:30
40d ago
● P1MIT 科技评论· rssEN22:30 · 03·17
五角大楼计划让 AI 公司在机密数据上训练模型,国防官员称
五角大楼正讨论在涉密数据中心,为生成式 AI 公司提供环境,以便用机密数据训练军用定制模型。正文给出的条件是,训练前会先评估模型在非机密数据上的准确性与效果;国防部保留数据所有权,AI 公司人员仅在少数情况下、且具安全许可时接触数据。真正值得盯的是泄密边界:同一模型若服务不同密级部门,训练中吸收的机密信息可能被再次吐出。
#Fine-tuning#Safety#Multimodal#Pentagon
精选理由
“用机密数据训练模型”这个钩子很强,正文也给出涉密机房、先做非机密评估、数据归属国防部等机制,HKR 三轴都成立。分数没进 85+,因为报道的是规划与讨论,不是已落地合同、预算或已部署系统。
编辑点评
五角大楼把训练权推进到涉密数据,这步比“在密网里调用模型”敏感得多;我对“可控泄露”这套说法不太买账。
深度解读
五角大楼计划让 AI 公司在涉密数据中心训练军用定制模型,前提是先用非机密数据做效果评估。我的判断很直接:这不是常规采购升级,这是把“模型是工具”推进成“模型是涉密资产的一部分”。一旦训练阶段吸收了人名、任务链路、情报判断习惯,风险就不再只是外发,而是模型内部参数本身变成新的密级边界。
正文其实给了一个很关键的分水岭:今天已经有 Claude 这类模型在涉密环境里答题,下一步讨论的是直接在机密数据上训练。两者差得很远。前者更像检索和推理,数据原则上还留在系统外部;后者会把数据压进权重、适配层、训练日志、评估集,甚至蒸馏链路。文章提到国防部保留数据所有权,公司人员只会在少数情况下接触数据,也会先看非机密训练效果。但这些约束主要管“谁碰数据”,不直接解决“模型记住了什么”。这点我觉得报道说得还算克制,风险没有被标题夸大。
我一直觉得,很多政府采购方对 LLM 的理解还停在“把模型放进更安全的机房”。这对推理成立,对训练不够。训练里的攻击面更长:梯度、checkpoint、微调样本、失败样本、红队提示词,全都可能带出密级信息。去年到今年,学界和工业界反复证明过,参数化模型对训练样本的记忆不是玄学,membership inference、data extraction、prompt leakage 都不是纸面问题。我没看到正文提到任何技术护栏,比如按部门隔离模型、禁止跨密级共享 adapter、差分隐私、可验证删除、训练后机密背诵测试。标题给出方向,正文没披露控制方案,这个缺口很大。
还有个地方我不太买账:文中专家说,信息较难泄到公共互联网或回流到 OpenAI,本部门之间串漏反而更麻烦。这个判断有道理,但容易让人误以为“外泄基本解决了”。说真的,外泄从来不是只看网络出口。只要公司工程师在极少数情况下能进场,而且模型后续还要更新、评估、部署,供应链上就会出现额外副本、日志和人为操作。Palantir 那套密网问答环境,逻辑上更接近受控使用;训练会新增一整层 MLOps 复杂度。把已有的 classified inference 经验平移到 classified training,我看着有点过。
文章点名 OpenAI、xAI,也提到 Anthropic 的政务版模型。这个背景很重要。过去一年,美国政府和前沿模型公司在“进密网”这件事上推进很快,但大多停在专用实例、权限隔离、合规部署。现在往前走一步,谁能拿到训练资格,谁就不只是卖 API,而是在吃政府专属能力建设的预算。这里面最现实的竞争点不是谁的通用 benchmark 更高,而是谁愿意接受更重的审计、更细的分级部署、更多客户定制。我还没看到正文披露合同规模、模型名称、是全量继续训练还是只做 LoRA/adapter 微调,这些差别会直接决定风险级别。
还有一层更现实:如果一个模型服务多个部门,哪怕都在国防体系内,分类规则和知情范围也不一样。文章举了 HUMINT 名字泄露的例子,这不是耸人听闻。很多组织以为加 system prompt 和访问控制就够了,但只要底模共享,策略层和权限层就未必挡得住参数记忆。做法上更像要“一任务一模型”或“一密级一权重族”,成本会明显上升。国防部若真这么做,训练和运维费用不会接近现在的商用政务版部署。
我自己的疑虑在这:五角大楼现在把“先用公开卫星图像验证效果”当成前置条件,这当然合理,但它验证的是能力收益,不是密级风险。非机密数据上跑得准,不等于机密数据上可控。军事场景里最危险的失误,不是模型答错一题,而是答对了不该知道的事。只要这一条没有被单独建模和验收,这个计划就还停在政策冲刺,不算工程闭环。
HKR 分解
hook ✓knowledge ✓resonance ✓
86
SCORE
H1·K1·R1