FEATUREDHacker News 首页· rssEN21:18 · 07·19
AI 给错答案,人的准确率跌到三分之一,自信却翻了一倍
法国和意大利三所大学的研究人员故意用一个经常答错的模型(Step 3.5 Flash)来给人出主意,问的都是电影画面细节题。没 AI 帮忙时,44% 的人会老实说“不知道”,准确率 27%;AI 一上场,“不知道”的比例直接掉到 3%,准确率降到 9%,但自信度却从 30% 飙到 76%。给钱也没救回来多少——说“不知道”的只回升到 8%,准确率到 1...
#Reasoning#Safety#Valerio Capraro#University of Milano-Bicocca
精选理由
精选 · 重要度 78 · 吸引力 + 知识量 + 共鸣
一句话点评
AI 一开口,人就不敢说“不知道”了——说“不知道”的比例从 44% 暴跌到 3%,准确率反而从 27% 掉到 9%,自信却翻倍到 76%。
锐评
这项研究最狠的地方在于,他们故意用一个经常答错的模型(Step 3.5 Flash)去给人出主意,问的都是电影画面细节这种 AI 容易翻车的题。结果很直观:没 AI 时,近一半人会老实承认自己不知道,准确率还有 27%;AI 一上场,几乎没人再说“不知道”,准确率直接掉到 9%,但自信度却从 30% 飙到 76%。研究人员管这叫“认知投降”——工具一出现,人连判断自己知不知道的能力都放下了。
给钱也没救回来多少。加了金钱激励后,说“不知道”的只回升到 8%,准确率到 16%,依然远不如没 AI 的基线。这说明不是懒,是人对 AI 建议有种下意识的依赖,哪怕它错得离谱。文章还提到,Common Sense Media 把谷歌的 AI 搜索摘要评为对学生“不可接受的风险”,因为产品设计上就从不承认自己不知道。
正文没披露样本量和被试背景,这点先别太激动。如果被试全是非专业人群,结论可能更偏向“普通用户对 AI 的盲信”,换成熟练使用者结果未必这么极端。还缺一个对照组:如果告诉被试这模型经常出错,他们还会不会照单全收。
HKR 分解
hook ✓knowledge ✓resonance ✓