搜索历史清空

OpenAI语音转写工具Whisper曝重大缺陷:凭空生成AI幻觉

 财中社 李旼  2024-10-28 14:31  1.4w阅读

据超过十位软件工程师、开发人员和学术研究人员称,Whisper有时会生成大量虚假内容,这些幻觉内容可能包含涉及种族歧视言论、暴力措辞,甚至杜撰的医疗建议。

10月28日, 当地时间27日,AP的最新报道揭露了一个关于OpenAI的语音转写工具Whisper的重大缺陷:有时会凭空生成大段甚至整句虚假内容。

这些生成的文本在业内通常称为“AI幻觉”,据超过十位软件工程师、开发人员和学术研究人员称,Whisper有时会生成大量虚假内容,这些幻觉内容可能包含涉及种族歧视言论、暴力措辞,甚至杜撰的医疗建议。

专家们指出,这一问题尤其令人担忧,因为Whisper已被广泛应用于全球多个行业,包括用于翻译和转录访谈内容、生成常见消费科技文本和制作视频字幕等。

更具风险的是,尽管OpenAI已提醒不应在“高风险领域”使用该工具,但一些医疗机构仍在匆忙采用基于Whisper的工具来记录医生与患者的咨询记录。

报道称,研究人员和工程师在工作中经常遇到Whisper的“幻觉”现象,问题的整体规模尚不清楚。例如,密歇根大学一位研究员在研究公共会议时发现,在尝试改进模型前,他所检查的十份音频转录中,八份含有虚构内容。

一位机器学习工程师透露,在最初分析的超过100小时Whisper转录中,他发现大约一半的内容存在“幻觉”现象。一位开发人员进一步指出,在他用Whisper生成的26000份转录中,几乎每一份都带有虚构内容。

即便是音质良好的简短音频样本,也未能幸免于这些问题。计算机科学家们的最新研究表明,他们审查的13000多段清晰音频片段中,有187段出现了“幻觉”现象。

研究人员认为,这一趋势意味着,在数百万条录音中将可能出现数以万计的错误转录。

OpenAI的发言人表示,公司正在持续研究如何减少幻觉,并感谢研究者的发现。OpenAI承诺将在模型更新中采纳这些反馈,以改善Whisper的性能和可靠性。

重要提示: 本文著作权归财中社所有。未经允许,任何单位或个人不得在任何公开传播平台上使用本文内容;经允许进行转载或引用时,请注明来源。联系请发邮件至editor@caizhongshe.cn。

长按保存图片

相关文章

24小时热门文章

最新文章