Computing Life · Share · 鸭哥调研· rssZH00:00 · 05·26
Whisper 遇到沉默就复读,问题出在训练数据里的字幕广告
文章分析了 OpenAI Whisper 在静音音频段反复输出同一句话甚至凭空编造内容(如“Thanks for watching”)的原因。核心问题是 Whisper 没有语音活动检测(VAD),遇到沉默时编码器输出接近零的噪声向量,解码器只能依赖语言模型先验,复制上一句的文本,形成复读循环。更严重的是,训练数据中大量 YouTube 视频结尾的沉默...
#Audio#Inference-opt#OpenAI#Whisper
一句话点评
Whisper 在静音段会像坏掉的光盘机一样复读上一句,甚至凭空编出“Thanks for watching”这类 YouTube 结尾字幕。根源是它没有语音活动检测(VAD),遇到沉默时编码器输出接近零,解码器只能靠语言模型先验复制上一句,形成死循环。训练数据里大量视频结尾的沉默配上了字幕广告,模型直接学歪了。Cornell 研究对比了 Google、微软等 ASR 服务,发现只有 Whi...
HKR 分解
hook ✓knowledge —resonance ✓