播客·视频

Dwarkesh Patel 和 Jerry Han 做了个很直观的对照实验：用每年公开的模型配方和数据语料，在固定算力预算下训练，看进步到底来自哪里。结果很明确——在 1e19 FLOPs 这个量级，数据改进贡献了 12 倍的算力效率提升，模型改进只有 3.7 倍。而且两者效果基本独立，可以叠加，不会互相干扰。 这个结论有个重要前提：实验规模不算大，用的是公开配方，不是前沿实验室的真实训练配置。正文也承认，小模型更受益于数据质量，大模型可能更看重数据量而非激进过滤，但这点在真正的前沿规模上还没验证。另外，评估用的是 OLMES 这套相对简单的多选题基准，不是预训练损失本身，所以结果里会带些噪声，虽然他们用多次随机种子尽量压了。 我会给这个 12 倍打个折——它说明数据工程的价值被低估了，但不能直接推导出“模型架构研究不重要”。作者自己也说，模型侧很多改进（比如混合专家、FlashAttention、稳定性修复）的主要价值是让更大规模训练成为可能，而不只是省算力。这点正文没展开量化，是个缺口。

Dwarkesh 这篇文章的核心判断很直接：AI 模型越强，同一块 GPU 能赚的钱就越多，这会反过来把算力价格推高十倍。他拿 H100 举例，如果一块卡真能顶一个人类软件工程师，那年租金应该超过 25 万美元，是现在现货价的 15 倍以上。这个逻辑本身没问题，但前提是“模型能力真到了那个份上”，文章自己也承认这取决于 AI 到底能多有用，目前还是个假设。 文章里几个数字值得留意。谷歌租 SpaceX 的 11 万张 GB200/GB300 集群，每月付 9 亿美元，单价是现货的两倍，而现货本身已经比今年 2 月低点涨了超 40%。Anthropic 的推理利润率从去年中的 40% 拉到 80% 以上，说明实验室已经在靠提价和压成本来填收入与算力之间的缺口。Dwarkesh 还提到一个反直觉的点：模型效率提高、单次任务用的 token 变少，反而可能让算力更稀缺更贵，因为这会挤出低价值应用，把资源集中到高付费场景。 文章没给出算力缺口的具体量化模型，也没讨论如果收入增速放缓、或者硬件供给突然放量，这个涨价逻辑会不会松动。另外，他拿 Simon-Ehrlich 赌局来类比，提醒过去对资源短缺的预测经常落空，这点先别太激动。

Dwarkesh Patel 把最近几年的 AI 进步归结为一句话：不是模型学得更省了，而是喂进去的数据更多、更好了。他把强化学习（RL）重新解释成一种合成数据生成——先砸算力用验证器筛出“好”答案，再让模型去预测这些答案，本质上和让它预测下一个词没区别。这个视角挺直接，也解释了为什么每个新技能都需要上百个人类专家写示例、定评分标准，催生出一个年收入几十亿美元的数据标注行业。 文章给了一组对比：人到成年大约接触 2 亿个 token，而前沿模型训练要用几十万亿到上百万亿 token，差距接近百万倍。人学遥控操作机器人只要几小时，自动驾驶模型需要的数据量比青少年学开车高出三到四个数量级。这些数字说明现在的模型在样本效率上几乎是个黑洞。 不过文章没给出任何解决方案，也没讨论为什么样本效率这么低。它只是把现象摊开，用“数据黑洞”这个比喻收尾。开源模型只落后闭源四个月，作者认为这恰好证明数据才是核心驱动力，因为数据可以从公开 API 蒸馏，而架构技巧很难抄。这个判断有道理，但正文没披露蒸馏的具体效果对比，也没讨论模型架构本身是否已经触及某种瓶颈。

这期播客的核心判断挺直白：机器能无限复制，但人不能，所以“人给人干活”这件事本身可能成为自动化时代最后的稀缺品。Alex Imas 举的例子是芭蕾舞演员和咖啡师——只要消费者就是愿意为“真人”买单，那人的参与就自带价值，而且供给卡死在人口上，不像机器人明年就能翻倍。 但这个推演有个硬伤，播客自己也点出来了：这种偏好只有人类有。如果未来经济主体是 AI，它们对“真人服务”没兴趣，那这条护城河就干了。另外，整篇讨论停留在概念层面，正文没披露任何关于工资水平、劳动收入占比或贫富差距的量化预测，所以目前只能当个思维框架看，离 actionable 的判断还差得远。 还缺什么？缺对“关系型服务”市场规模的估算，也缺对不同国家、不同收入群体在这种偏好上的差异分析。如果只有高收入人群愿意为真人溢价买单，那这个稀缺品的盘子可能比想象中小得多。

这是一篇很硬的科普访谈，不是产品发布或融资消息。MatX CEO Reiner Pope从最底层的逻辑门开始，手把手演示了4比特乘法累加电路怎么搭，再一路讲到脉动阵列、流水线寄存器、FPGA和ASIC的区别、缓存和便签本的设计取舍，最后解释了为什么GPU核心比CPU小得多。Dwarkesh Patel作为投资人没藏着掖着，开头就说了自己是天使投资人，这点挺坦诚。 访谈里最有意思的判断是：数据搬运比计算本身贵得多，所以芯片设计的大量精力都花在怎么用多路复用器省连线、怎么安排数据流上。Pope还拿人脑和芯片做了对比，但正文没给出具体结论，这部分更像一个开放讨论。 缺的东西也很明显：全程没提MatX自家芯片的任何具体参数、性能指标或流片进度，也没和英伟达现有产品做直接对比。所以这更像一次面向公众的芯片通识课，而不是技术路线声明。如果你想知道MatX到底能不能打，这篇给不了答案。

Dwarkesh Patel 这篇博客的核心判断很直接：我们总把 AI 的“智力”和它能掌握的“权力”当成一回事，这其实是个误解。他上来就用斯大林举例——如果按“在多种领域达成目标的能力”来定义智力，那斯大林可能是史上最聪明的人，但这显然不是我们讨论超级 AI 时脑子里想的那个东西。文章指出，现实世界的权力更多来自权威、信任和让大规模人群协作的能力，而不是某种孤立的、算无遗策的战略推理。特朗普的权力不是因为他那颗大脑是地球上最强的优化引擎，而是因为数亿人认可的政府给了他巨大的授权。 这个区分对 AI 从业者来说很实用。现在模型变强的主要路径，是被训练去干好编程这类有明确经济价值的活儿，这和获取现实权力之间的相关性并不强。文章引用了 Garett Jones 的研究：个人智商和收入只是弱相关，但国家平均智商和国家产出强相关，因为智力有外溢效应——更聪明的社会协作更好、储蓄更多。发明高压蒸汽机的特里维西克穷困而死，但英国有一大批这样的人，才撑起了全球帝国。 文章没给出量化证据来证明“AI 走经济赛道就不会自动获得权力”，更多是概念辨析和思想实验。它也没讨论如果 AI 同时掌握经济效率和策略博弈能力会怎样，这个缺口让结论更像一个提醒而非定论。

这篇笔记把预训练翻车的坑讲得很实在。核心就两类：一是破坏因果性，比如 MoE 里用专家选择分配 token，会让 token n 的去向依赖后面 token n+k 的路由结果，训练时偷看了推理时拿不到的信息，传 Llama 4 表现不佳可能跟这有关；token 丢弃也有类似问题，后面 token 匹配度更高会导致前面 token 被忽略，Gemini 2 Pro 据说踩过这个坑。二是引入偏差，偏差不像方差能平均掉，会越滚越大。GPT-4 早期训练就栽在 FP16 集体通信上——FP16 在 1024 以上精度间隔变大，反复加 1 会被反复舍入回原值，累加结果能差 10 倍，这种 bug 极难排查。 文章还抛出一个有意思的问题：训练翻车的原因是不是就那么几种，修完就一劳永逸？聊的人觉得不是，规模每上一个台阶都会有新坑冒出来，光数值精度这一块就能花式翻车。另外他对 AI 自动写 CUDA kernel 短期不乐观，认为这更接近 AGI 完全体问题。 缺的东西也明显：全是经验之谈和传闻，没有实验数据或复现验证，Llama 4 和 Gemini 2 Pro 的案例都标注是 rumor 和 apparently。当成工程避坑清单看有用，但别当正式结论引用。

Dwarkesh 这篇的核心判断很直接：别指望靠强化学习加可验证奖励（RLVR）就能让 AI 在科学上大杀四方。他拿科学史举例，理论的验证闭环长得离谱，哥白尼 1543 年提出日心说，要等到 1838 年恒星视差被观测到才算在观测上彻底驳倒对手，中间隔了近 300 年。而且当时哥白尼的模型预测精度还不如托勒密打磨了上千年的地心体系，甚至更复杂，因为哥白尼坚持正圆轨道，不得不塞进更多本轮。 文章还提到水星进动的例子，牛顿力学解释不了水星轨道每世纪多转出的 43 角秒，当时的天文学家推测有颗叫“祝融星”的未知行星，结果要等到 1915 年爱因斯坦的广义相对论才给出答案。这说明科学进步里掺杂了大量我们还没法清晰描述的判断和启发式方法，很难塞进一个即时打分的 RL 循环里。 文章没给出任何量化实验或 AI 模型测试数据，纯粹是历史案例的类比论证。它缺的是：如果非要用 RLVR 做科学，具体会在哪个环节卡死？是奖励函数没法定义，还是探索空间太大？这些都没展开。

Dwarkesh 这次把采访间改成了黑板教室，请来芯片公司 MatX 的 CEO Reiner Pope，用公式和粉笔把大模型从训练到服务的成本结构拆了一遍。讲座从批处理大小讲起：没有批处理，服务成本会直接差出 1000 倍，这也是为什么各家 API 定价和快速模式差价巨大的根源。接着讲了 MoE 模型怎么跨 GPU 机柜摆放、流水线并行如何把模型层切分到不同机柜，以及 Ilya 那句“流水线不聪明”背后的数学原因。 信息量很大，但来源限制也明显：这是单人讲座，不是经过同行评议的论文，很多推算是基于公开 API 价格反推的，正文没披露 MatX 芯片的具体规格和实测数据。Reiner 提到因为强化学习，模型可能比 Chinchilla 最优训练量多训了 100 倍，这个判断目前还缺大规模验证。 还缺什么：没有给出不同规模模型的具体成本对比表，也没讨论这些成本结构在不同云厂商之间的差异。如果你关心的是自家业务该选快模式还是慢模式，这篇能给你一个判断框架，但具体数字得拿自己的场景去套。

Dwarkesh 这篇不是分析，是一份“我没想明白”的清单，但问题本身比很多结论都值钱。他先点出一个很现实的不平等：全球超七成 AI 算力攥在五家云厂商手里，其中大部分还优先喂给了 OpenAI、Anthropic 和 Google DeepMind 三家。他担心普通人会被高价挤出 AI 红利，连“全民基本算力”这种分配方案都开始认真琢磨了。 技术层面的困惑更具体。他搞不懂长周期编程智能体到底靠什么突破，是单纯堆更多强化学习环境，还是有什么别的诀窍。他还拿 Llama 3 70B 举例，KV 缓存每存一个 token 要 320KB，而预训练时平均每个 token 只占 0.075 比特，信息密度差了三千五百万倍——这个数字说明模型在“现学现用”时记忆开销大得离谱，但为什么会有这种取舍，他没答案。 最后他追问训练和推理的边界什么时候消失。他的设想很直接：未来可能得让 AI 像实习生一样上岗干一个月活，再把表现报告发回模型公司，靠这种在岗学习才能继续进步。整篇没有实验数据，全是开放问题，但每个问题都卡在行业正在撞的墙上。