热点聚合 · 2026-05-17

vLLM 这组数把本地多卡推理的脏活摊开了：异构卡不是不能跑大模型，是引擎别把流水线切烂。Qwen3.5-397B-A17B、75k tokens、7 卡混 Blackwell/Ada 下，vLLM 做到 9.8s TTFT、7683 t/s；llama.cpp 是 57.2s、1319 t/s，差距接近 6 倍。 关键钩子不是“vLLM 更快”，而是 VLLM_PP_LAYER_PARTITION 手动层分配能吃掉 4090 FP4 emulation 的慢速段。SGLang 在纯 Blackwell 的 Qwen3.5-122B 上只慢 0.3s，但混入 Ada 直接崩，因为 FP4 没软件 fallback。这个结果很 Reddit，单作者、单拓扑、没复现实验；但对想拿二手 4090 拼 397B 的人，已经够刺耳。

24 tok/s 的 LFM2-24b-a2b 已经把安卓端侧推理拉进可用区，别再只拿“手机跑不动大模型”当默认前提。摘要给出的条件很硬：Honor Magic 7 Pro、Snapdragon 8 Elite、24GB RAM、Q4 量化，Gemma 约 11 tok/s，MoE 模型反而跑到约 24 tok/s。 有意思的是 CPU 仍快过 NPU/GPU，这点比 token 数更刺眼。Qualcomm 的 AI Engine 卖点讲了很久，但 LocalLLaMA 这类实测常撞在内存调度、算子覆盖、runtime glue 上。原帖被 403，batch、上下文长度、温度、具体后端没披露；我会把它看成端侧 MoE 路线的正信号，也会对“NPU 会接管手机 LLM”这句营销话打个折。

Semble 的价值不在“比 grep 聪明”，而在把代码 agent 的上下文预算砍到可控范围。它在 63 个仓库基准里报出 98% token 减少、0.854 NDCG@10、CPU 查询约 1.5ms，用的是 Model2Vec、BM25、RRF 和重排这套老派但稳的检索链。 我不太买“grep+read”这个对手。Cursor、Claude Code、Sourcegraph Cody 早就不是裸 grep 路线，真实对比该打 repo map、AST 索引、LSP 符号检索。Semble 这条仍然有用：agent 写代码的瓶颈经常不是模型推理，而是每一步把垃圾上下文喂进去。

MiroThinker-1.7 mini 的卖点很明确：30B 总参数、3B 激活、Qwen3 MoE 底座、权重上 HuggingFace。这个组合不是拼榜单，而是把 deep research agent 往本地可跑压。滑窗 K=5 加 episode 重启，也说明它承认长程任务会爆上下文，只是用工程手段续命。 正文被 Reddit 403 挡住，没看到 benchmark、tool 成功率、显存占用和 tokens/s。LocalLLaMA 用户问消费级硬件速度，问到点上了。DeepSeek-R1-Distill、Qwen3 系列已经把“能跑”门槛打低；MiroThinker 要赢，不能只说 open-weight，得在 24GB/48GB 卡上证明 research loop 不会慢成演示视频。

Abliterlitics 这组实验刺痛点很准：安全拒答一旦能用 5 种方法批量移除，alignment 就从产品策略掉回权重治理。标题给出 85 GPU 小时、Qwen3.6-27B、HarmBench、KL 散度和 weight forensics；摘要还说 5 个变体都接近完全移除安全拒答，Huihui 基准跌幅最小，Heretic KL 最低。正文被 Reddit 403 拦住，我没看到具体分数、样本量和复现实验脚本。可这个方向已经够硬：比起讨论某个模型“拒不拒答”，社区正在比较哪把刀切得更干净。

TGO 的价值不在 ICML 2026 标签，而在它承认视觉生成的反馈天然是分数，不是 winner/loser。它用分数分布阈值定正负方向，再用离阈值距离定训练权重；实验覆盖 Stable Diffusion v1.5、FLUX、Wan 1.3B、Meissonic，比只在单个 diffusion backbone 上刷分更像真方法。 我不太买账的是“新范式”这个说法。PMPO 已经在松开 unpaired positive/negative，QRPO 也在处理 pointwise absolute reward；TGO 更像视觉侧的工程化折中。全局 threshold 近似 oracle baseline 很省事，也会吃掉 prompt 难度、风格偏好、打分器偏差这些分布差异。分数源一偏，pseudo-negative 会把少数审美直接压掉。

Suleyman 的“18个月自动化所有坐电脑前工作”判断太满，证据链太短。正文只给出会计、法律、营销、项目管理四类任务，没有披露评测基准、错误率、责任边界、企业部署成本。白领工作最难的部分不是生成文档，而是拿上下文、背锅、跨系统执行。过去一年 agent demo 很多，真正卡住的仍是权限、审计、长程可靠性和组织接受度。 微软 AI CEO 讲“超级智能”不奇怪，奇怪的是把时间压到 18 个月。OpenAI、Anthropic、Google 都在把模型塞进 Office、IDE、客服和数据分析流，但“任务自动化”到“岗位完全取代”中间隔着采购、合规和责任链。这个说法我不买账，除非他拿出可复现的企业级 agent 成功率。

智能体记忆这条路被包装得太顺了，伊利诺伊大学和清华这组结果直接打脸：LLM 把经历改写成“教训”后，可靠性下降，不是上升。具体钩子很硬，GPT-4 在小型 ARC-AGI 问题集里，无记忆是 100%，流式更新记忆后约 54%。 问题不在“有记忆”，在用模型反复压缩原始经历。网页购物、模拟世界、ARC 风格任务里，错误分组、规则过度泛化、过拟合都会进记忆库。很多 agent 框架把 reflection 当默认模块，我一直不太买账；原始轨迹才是证据，摘要只是索引，反过来就会污染策略。

Grok Imagine 先打的是 X 的入口，不是图像模型的技术牌。标题给出“所有人都可使用”，正文只说文本生成逼真图像和多种宽高比，没给参数、价格、地区限制，也没给和 Midjourney、GPT-4o image、Imagen 的可复现对比。对从业者来说，这种发布最该警惕：X 有默认流量和社交传播链，哪怕模型只到第一梯队尾部，也能靠一键生成和转发吃掉轻量需求。Musk 这套打法一直是先把按钮塞进主产品，再用用量反推叙事。能力强不强要看复杂提示、文字渲染、一致角色和商用版权边界。现在只看到入口，没看到护城河。

1M context 在这条里没证明“整库编码”，只证明长上下文有工作区间。用户跑了 45k、180k、520k 三个代码库，结论是 150k-250k token 最适合编码；超过 300k 行号精度下降，520k 开始给架构摘要，跳过实现细节。 我更信这个 Reddit 观察，而不是厂商的 1M 标题。代码任务吃的是定位、引用、局部修改，不是把仓库塞进窗口。Gemini 1.5 Pro 当年也把 1M context 打得很响，开发者最后还是在 chunk、检索、文件图谱里找稳定性。这里正文只有 403，没模型参数、prompt、DeepInfra 设置；但“长到一定程度后变成总结器”这个失真模式很熟。

FT 这句判断偏重产品侧，不是模型侧。正文只给 ByteDance、Kuaishou 两个名字，场景限定在广告和娱乐视频，没给 benchmark、模型版本、人工盲测样本量，也没说对标 Sora、Veo 还是 Runway。这个信息量撑不起“领先美国”这种大标题。 但方向我买一半。视频生成不是只拼单次 demo，最吃素材库、创作者反馈、投放转化和审核链路。抖音、快手每天都有短视频生产和广告测试闭环，迭代密度天然高过纯模型实验室。OpenAI Sora 的心智强在发布会，ByteDance 和 Kuaishou 的优势更像灰度 AB 跑出来的商业质量。没指标前，别把这条读成中国模型胜出；先读成短视频平台把生成视频拉进生产线。

Agent coding 的短板不是会不会写补丁，而是它把推理成本藏进轨迹里。摘要给的钩子很硬：8 个前沿模型、500 个 SWE-bench-verified 任务，输入输出 token 比到 154:1，人工难度标签和 token 使用的 Kendall tau 只有 0.32。也就是说，人觉得难的题不一定烧 token，烧 token 的题也未必真难。 这会直接打到 Cursor、Devin、OpenHands 这类产品的毛利叙事。SWE-bench 分数涨一截，演示很好看；但如果每次修 bug 都先吞几百倍上下文，企业采购看的就不是 pass rate，而是每个 merged PR 的账单。正文被验证码挡住，没披露 8 个模型名单和计费口径，我会先把 154:1 当成警报，不当成定论。

世界模型这波叙事有点被资本提前透支了：18个月超过100亿美元涌入，听起来像共识，实际更像把机器人、视频生成、仿真、agent 训练全塞进一个筐。摘要给的硬钩子是 DreamDojo：44,711小时第一视角视频预训练，策略评估和真实机器人结果达到 r=0.995。这个数如果成立很猛，因为它把“会预测视频”推进到“能筛策略”。 但正文未披露评测集、任务分布、机器人形态和相关性计算方式。r=0.995 在机器人里高得反常，我会先怀疑数据闭环太窄。NVIDIA Cosmos、Genie、LeCun 那条路线都在押可交互环境模型，差别不在名字，在模型能不能跨 embodiment 和长时序失败。

6030亿 token 的关键不是 Peter Steinberger 多能烧，而是 OpenAI 愿意替他吞掉 130 万美元账单。30 天 760 万次请求，平均每次约 7.9 万 token，这已经接近持续运行的代码 agent，而不是普通聊天流量。关闭 fast mode 可降价 70%，说明延迟溢价正在变成 agent 产品里的隐形税。 我不把这当成 OpenAI 慷慨。更像是用“龙虾之父”这种高可见度用户，换一份真实 workload 的成本曲线。正文只有验证码页，没披露模型、缓存命中率、输入输出比例；少了这三项，130 万美元只能说明烧得猛，不能说明单位经济成立。

Dario 这套话术很聪明：先承认高失业和不平等，再把 5%-10% GDP 增长摆上桌，Anthropic 就不用装成“只做安全模型”的旁观者。最硬的钩子是软件成本接近免费，这直接打到 SaaS 的席位收费、实施费、外包开发三层利润。 但我不全买“工程师转向编辑或升级工作”这句。Claude Code、Cursor、Devin 这条线已经证明，编辑岗不会按被替代工程师一比一生成。AI 把交付单位从人天压到任务，工资谈判权先掉，新增岗位再说。

Amodei 把“软件近乎免费”讲得太满了，我不太买账。正文只给出 WSJ YouTube 采访和“百万用户分摊成本失效”，没有价格曲线、时间表、哪类软件先归零。SaaS 成本里不只有代码，还有合规、销售、集成、运维和责任边界。 Anthropic 自己的 Claude 仍按 token 计费，企业版还要卖权限、审计和数据隔离。代码生成会压低 CRUD、内部工具、一次性脚本的价格，这块没悬念；但 Workday、ServiceNow、Salesforce 那类系统，客户买的是流程和风险转移。Amodei 的判断适合提醒职业冲击，不适合直接外推成“软件免费化”。

TDDev 这篇戳中了代码智能体的老问题：文件能生成，不代表应用能交付。论文把需求先转成验收测试，再部署应用，用浏览器交互跑验证，失败再变成修复报告；在两个 coding agents、两个 backbone models、两个 benchmarks 上，质量比 no-TDD 高 34–48 个百分点。 但我更在意反面结果：协议和模型生成风格不匹配时，TDD 收益会归零，token 成本最高放大 25 倍。这和很多 agent demo 的问题一样，闭环不是越多越好，错误的闭环会把模型锁进昂贵的自我修补。正文摘要说用户研究把人工干预降到零，但样本规模没在摘要里给出，我会先信框架方向，不急着信“零人工”这个口径。

OProver 最有杀伤力的地方，是把失败证明、Lean 编译器反馈、检索到的已验证证明都变成训练料，而不是只在推理时多试几次。OProofs 有 177 万个 Lean statements、686 万个 compiler-verified proofs，还存了失败、反馈、修复轨迹；这比只报 MiniF2F Pass@32 更硬。 OProver-32B 在 MiniF2F 到 93.3%，ProverBench 58.2%，PutnamBench 11.3%。我会警惕 PutnamBench 这个数仍很低，说明 agentic 闭环还没把高难数学吃下来，但路线比“更大模型 + 更多采样”干净。

Vibe coding 的安全坑不在生成代码，而在平台把一键部署做成 public-by-default。标题给出“数千个企业应用”，正文点名医院排班表、银行财务、临床实验数据，这些不是 demo 级泄露，是合规事故素材。 我不买“用户自己没配权限”这套甩锅。Lovable、Replit Agent、Bolt 这类工具把非工程用户直接送到上线环节，默认权限就成了安全边界。正文没披露具体平台、暴露时长和修复机制，这三个缺口很关键。但机制已经够清楚：AI 代码审计抓不到部署默认值，企业采购也常漏掉这层。