FEATUREDAI HOT 精选· aihot-apiZH00:00 · 09·21
AI 开始接管 if-then 判断:专用决策器把分类成本砍掉近百倍
Tomasz Tunguz 拿自己生产环境里 98 封邮件实测了两款新工具 Jev 和 SemIf。它们不生成文字,只跑一遍注意力计算就直接输出选项概率,几百毫秒出结果。分类准确率从原来通用模型的 47% 跳到 80% 以上,单次调用成本降到 0.0004 美元,比顶尖大模型便宜 76 到 209 倍。Tunguz 认为这标志着 AI 路线开始分叉:前...
#Inference-opt#Tomasz Tunguz#Theory Ventures#TypeSafe
精选理由
精选 · 重要度 78 · 吸引力 + 知识量 + 共鸣
一句话点评
Tunguz 拿 98 封邮件实测,专用决策器把分类准确率从 47% 拉到 80% 以上,单次成本压到 0.0004 美元,比大模型便宜 76 到 209 倍。
锐评
Tunguz 这篇文章最值得看的是他拿自己生产环境的 98 封邮件做了实测,不是跑公开榜单。他试了 Jev 和 SemIf 这两个新工具,它们不生成文字,只跑一遍注意力计算就直接输出选项概率,几百毫秒出结果。分类准确率从原来通用模型的 47% 跳到了 80% 以上,单次调用成本降到 0.0004 美元,比顶尖大模型便宜 76 到 209 倍。这个降幅很夸张,但要注意样本只有 98 封,而且 Jev 的定价可能被补贴,正文没披露大规模生产环境下的稳定性数据。
他的核心判断是 AI 路线在分叉:前沿模型负责探索和训练,专用模型负责生产环境里跑量。if-then 这种最基础的编程逻辑,现在有了专门优化的“决策器”,不再需要让一个能写诗的大模型来判断邮件该分到哪个文件夹。这个思路不新,但 Tunguz 用具体数字把账算清楚了。
文章没展开的是,这种专用决策器在复杂多分类、长文本或需要推理链的场景下表现如何。另外,SemIf 是在一张 RTX 3090 上跑冻结的 Qwen3.5-4B 模型,这个配置的泛化能力还需要更多验证。
HKR 分解
hook ✓knowledge ✓resonance ✓