AX 严选 · 2026-08-21

这条值得关注，因为它解决的是生产环境里最肉疼的问题：大模型挂了或更新配置后，光把几百 GB 的权重从硬盘读进显存就要等半天。SGLang 这次搞了个“权重缓存守护进程”，相当于在每张 GPU 上留一个常驻进程，把处理好的模型权重一直放在显存里。新引擎启动时，通过 CUDA 的零拷贝机制直接映射这些现成的数据，不再碰硬盘。 效果很直接：以蚂蚁的 Ling-2.6-1T FP8 模型为例，权重加载从 495 秒缩到 0.63 秒，整个引擎启动从 8.8 分钟降到 0.528 分钟，快了 785 倍。这个数字是在 8 张 H20 上跑的，每张卡原本要读 120GB 数据。另外，这个机制还支持多实例共享同一份显存权重，以及主备切换在 1 秒内完成，不用再为故障转移空占一整组 GPU。 不过，正文主要展示的是单节点和特定模型的数据，多节点大模型场景下的稳定性、不同 GPU 型号的兼容性，以及守护进程本身占用多少显存、挂了怎么办，这些细节还没展开。如果是真的，对做在线推理服务的团队来说，省下的不只是时间，还有不少硬件成本。

这份手册讲的是 Anthropic 自己怎么把 Claude 塞进软件开发的每个环节——从需求评审、设计、写代码到测试和运维。他们给了具体的做法，比如让模型参与需求讨论、自动生成测试用例，还提了团队结构要怎么调。但问题也很明显：全文没披露一个量化指标。我们不知道用了这套流程之后，开发速度到底快了多少，代码质量有没有变好，或者省了多少人力。 所以这份材料更适合当成一份“他们是怎么干的”参考，而不是“这么干能省多少时间”的验证。如果你是团队负责人，想拿它去说服老板推 AI 原生开发流程，手里会缺硬数据。另外，手册里提到的实践都绑在 Claude 自己的工具链上，换到其他模型或开发环境能复用多少，正文也没展开。这点先别太激动，等他们放出内部数据再说。