热点聚合 · 2026-05-23

llama.cpp 这次把本地 agent 门槛降得太快，安全边界没跟上。`--tools` 一口气给了 8 类能力：`read_file`、`grep_search`、`exec_shell_command`、`edit_file`、`apply_diff` 等，文件操作还按 server 启动目录相对执行。对 LocalLLaMA 用户，这确实少了一层 MCP 或 Python wrapper。可问题也在这里：一个 `.gguf` 加二进制就能读写文件、跑 shell，而正文明确说没有命令白名单，也没有严格沙箱。OpenAI Codex、Claude Code 这类工具至少把审批、目录权限、diff 展示做成显性流程；llama.cpp 现在像把 agent runtime 直接焊进推理服务。玩具项目爽，真实代码仓库里挺吓人。

StepAudio 2.5 Realtime 的卖点放在副语言感知和人格规模，这个方向对，但叙事有点飘。正文给了中英文、API 自定义人格、上万原生人格、5 个预设人格、RLHF 角色一致性；没给首包延迟、端到端延迟、打断成功率、并发价格，也没说“微表情”来自视频输入还是语音推断。 语音模型这半年拼的不是会不会装人，而是打断、延迟、情绪跟随和长会话稳定性。OpenAI Realtime API 和 Gemini Live 已经把门槛抬到可用交互层。StepFun 如果只把人格数做成货架，开发者拿到的是素材库，不是可托管的语音 agent 底座。

FlashAR打到的是AR图像模型最尴尬的部署点：质量够了，延迟烂到没法用。Emu3.5-Image-34B在512×512上从130.10秒降到5.68秒，GenEval只从80.48掉到80.29；关键机制是加垂直预测头，把32×32 token的解码从1024步压到H+W-1的63步。 我对“几乎无损”先买一半。GenEval覆盖不了审美、文本细节和长提示一致性，8万张后训练数据也不等于广域稳。可BlockDiffusion同设置掉到73.83，FlashAR至少证明一件事：AR图像生成不必靠从头预训练才拿到并行性。

GRAM 给递归推理补上的不是随机噪声，而是可训练的搜索宽度。Sudoku-Extreme 上，16 步递归加 20 条并行采样到 97.0%，压过 TRM 320 步串行递归的 90.5%；这个差距直接打在 CoT 长 token 推理的延迟软肋上。 我不急着把它外推到通用 agent。任务还是数独、N-Queens、Graph Coloring、ARC-AGI 这类强结构问题，选择机制还有多数投票和 LPRM 加持。可它把 LeCun 那套“潜在空间规划”从口号拉回可测实验：同样算预算，宽度搜索比一条链猛卷深度更像工程答案。

两个 LocalLLaMA 帖子同时讨论 Qwen3.6 27B 在 100k 上下文的速度与质量，但正文被 403 挡住，只有标题链路。这更像社区调参现场，不像可复现评测。 我对这类长上下文速度贴一向很警惕：100k 条件下，prefill、KV cache、量化格式、batch size 任一项不同，tokens/s 都会飘。标题里一个问“怎么优化”，一个问“怎么解释结果”，说明连测试者也没把机制讲清。拿它和 vLLM 跑 Qwen2.5 32B、Llama 3.x 长上下文的正式 benchmark 比，证据密度差太远。

Google 这次最危险的不是 deepfake 效果好，而是门槛低到 The Verge 用 1 个毛绒鹿就能复现广告感。RSS 只给了 Buddy the deer 这个案例，模型参数、价格、发布时间、安全控制全没披露，所以别急着把它归进 Gemini 产品线胜利。 我更警惕 Google 的叙事：anything-to-anything 听着像统一模型能力，落地时常变成一堆演示链路。Veo、Sora、Runway 都证明了视频生成的短板不在“能不能动”，而在一致性、可控性和滥用成本。这里正文只证明了一件事：普通人制作拟真小视频的摩擦又降了一档。

3 家同时跟进，FT 两篇都把焦点放在“巨型 IPO”与华尔街交易热，yage-share 用“三份招股书”框成三个赌注；口径高度一致，但正文被 FT 订阅墙截断，估值、时间表、融资规模没有展开。 我看这不是普通上市窗口，而是 AI 私募估值向二级市场转嫁压力。OpenAI 和 Anthropic 的核心问题很具体：训练与推理成本持续吞现金，收入质量还要经受招股书审计。和 Databricks、Stripe 这种延迟上市不同，模型公司要解释的是 GPU 租约、云商依赖、毛利曲线。标题把 SpaceX 放一起，其实是在借 Musk 资产稀释 AI 现金流焦虑。

club-rdna16 最有用的地方不是 35B 能跑，而是把 16GB Radeon 的长上下文失败条件写出来。RX 6900 XT 用 llama.cpp + ROCm/HIP 跑 Qwen3.6 35B-A3B，UD-IQ3_XXS 量化、q8 KV 下 131k 上下文稳定；MTP 到 100k 也能跑，但需要细调。这个颗粒度比榜单有效，因为本地推理死在 KV cache、prefill、驱动和电源 profile 上，不死在模型名上。AMD 的问题一直不是没有卡，是复现实验太碎。要是 RX 6800 XT、7800 XT、7900 GRE 能按同一模板补结果，这个 repo 会比很多 ROCm 官方样例更像工程入口。

CEO 们正在把 AI 当成组织瘦身借口，最危险的位置是初级岗位，不是总人数。奥纬咨询给的数很直：科技行业 74% CEO 冻结或缩减招聘，高于前一年的 67%；计划减少初级岗位的 CEO 从 17% 跳到 43%，只有 17% 说会增加初级岗位。说真的，这像把 junior engineer、analyst、support 这类训练场直接拔掉。 问题在于 67% 的企业 AI 仍在规划或试点阶段。工具链还没进稳定生产，就先按成熟自动化的口径砍入口岗位，这个节奏很冒进。微软、谷歌这两年也在压 HC，但它们至少有 Copilot、Gemini 内部落地样本；普通公司照抄，只会三年后发现中层没人补。

300 倍价差这个判断有冲击力，但别把它听成模型市场自然分层。正文只给了每年 10 倍降价、企业账单继续涨、廉价端被中国开源压低、昂贵端被锁定和 Agent 负载推高；没有披露样本、价格口径、300 倍两端各是谁。 我更买账的是“负载膨胀”这半句。一个 agent 任务不是一次聊天，常见会拆成规划、检索、工具调用、校验、重试，token 单价降 10 倍也挡不住调用链变长。DeepSeek、Qwen 这类开源模型确实把廉价推理压得很低，但企业高价端卖的往往是权限、审计、SLA、数据边界。拿 token price 解释账单上涨，太省事了。