FEATUREDAI HOT 精选· aihot-apiZH13:01 · 08·12
Nathan Lambert 写了本 AI 教科书,但模型至今写不好长篇技术内容
Nathan Lambert 刚写完他的后训练教材《从人类反馈中强化学习》。他用大模型帮忙排版、校对和画图,但一让模型写完整的技术章节,输出就混乱、组织差,还会犯随机的概念错误。他认为,即使模型在编程和数学上已经超人,长篇非虚构写作能力却停滞了。文章没给具体跑分,但 Lambert 指出,主要卡在缺乏好的训练数据,而且推理阶段的算力堆叠对写作帮助不大。...
#Reasoning#Code#Nathan Lambert#OpenAI
精选理由
精选 · 重要度 72 · 吸引力 + 知识量 + 共鸣
一句话点评
Nathan Lambert 写完了一本后训练教材,但让模型写完整技术章节时,输出混乱、概念出错。模型在编程和数学上超人,长篇非虚构写作却卡住了,主要缺好的训练数据,堆算力也没用。
锐评
Lambert 用自己的写书经历给“模型很快能自主搞科研”泼了盆冷水。他让大模型帮忙排版、校对、画图都还行,但一让模型写完整的技术章节,输出就乱套,组织差,还会随机犯概念错误。这暴露了一个尴尬的现实:模型在编程、数学这类有明确对错反馈的任务上进步飞快,但在需要组织已有知识、形成连贯论述的长篇写作上,进步几乎停滞。
文章没给具体跑分,但 Lambert 点出了核心瓶颈:缺高质量的训练数据。写代码可以跑测试验证,写文章的好坏却很难自动评判,导致模型学不到怎么把一堆已知信息压缩成有洞察的叙述。推理阶段堆再多算力,也只是在已有能力上打转,解决不了根本的组织混乱问题。
这点值得警惕。如果模型连把现成的、成熟的知识讲清楚都费劲,那指望它短期内自主做出开创性科学发现,确实还差得远。不过 Lambert 也说了,模型作为科学家的辅助工具依然很强,只是别把“辅助”和“自主突破”画等号。
HKR 分解
hook ✓knowledge ✓resonance ✓