生成式人工智能领域的领军企业OpenAI，曾宣称其人工智能转录工具Whisper拥有接近“人类水平的稳定性和准确性”。然而，随着该工具在多个行业的广泛应用，其潜在问题逐渐浮出水面。

据业内媒体对众多软件工程师、开发人员和学术研究人员的深入采访，Whisper的一个重大缺陷已不容忽视：它时常会编造大段文字，甚至整句内容。这些编造出的文字，被业内称为“幻觉”，可能包含种族言论、暴力措辞，甚至完全虚构的医疗建议。

专家们对此表示担忧，因为Whisper正被全球多个行业用于翻译、转录采访内容、生成文本以及为视频制作字幕。尽管OpenAI曾警告不要在“高风险领域”使用该工具，但仍有美国医疗中心开始使用基于Whisper的工具记录患者与医生间的对话。

多位研究人员和工程师透露，他们在工作中频繁遇到Whisper的“幻觉”问题。例如，密歇根大学的一名研究人员在研究公共会议转录准确率时发现，他审核的每十份音频转录中，就有八份存在“幻觉”。一位机器学习工程师在分析100多个小时的Whisper转录时，发现约有一半存在“幻觉”。而另一位开发人员则指出，在他用Whisper创建的26000份记录中，几乎每一份都存在胡编乱造的现象。

即使是在录制良好的简短音频样本中，问题也依然存在。一项研究中，计算机科学家在审查的超过13000个清晰音频片段中，发现有187个存在“幻觉”问题。研究人员预测，这将导致数百万段录音中出现数以万计的错误转录。

曾在拜登政府领导白宫科技政策办公室工作的Alondra Nelson警告称，这种错误可能会造成“非常严重的后果”，特别是在医疗领域。目前，包括明尼苏达州的曼卡托诊所和洛杉矶儿童医院在内的超过30000名临床医生和40个卫生系统，已开始使用法国AI诊疗公司Nabla基于Whisper打造的工具。

Nabla公司的首席技术官Martin Raison表示，该工具已转录和总结约700万次医生与病人间的互动。虽然公司知道Whisper会产生幻觉，并正在努力解决，但Nelson教授仍强调，“没有人希望出现误诊，该领域应有更高的标准。”

此外，Whisper还被用于为聋人和听力障碍者制作字幕，这是一个特别容易受到错误转录影响的人群。由于聋人和听力障碍者无法识别“隐藏在所有文本中”的编造内容，因此他们更容易陷入困境。

Whisper中的幻觉现象已促使众多专家、倡导者和OpenAI前员工呼吁美国政府考虑制定人工智能法规。他们指出，OpenAI至少需要解决这一缺陷。今年2月从OpenAI辞职的工程师William Saunders表示，如果OpenAI愿意优先解决这个问题，那么它似乎是可解的。但如果长期忽视，人们对它的功能过于自信，并将其集成到其他系统中，那么将引发麻烦。

虽然大多数开发人员都认为转录工具不可避免会拼错单词或出现其他错误，但不少工程师和研究人员表示，他们从未见过其他人工智能转录工具像Whisper一样容易产生幻觉。目前，该工具已被集成到OpenAI旗舰聊天机器人ChatGPT的某些版本中，同时也是甲骨文和微软云计算平台的内置产品，为全球数千家公司提供服务。

仅在上个月，开源人工智能平台HuggingFace上的一个Whisper最新版本就被下载了420多万次。该平台的机器学习工程师Sanchit Gandhi表示，Whisper是最流行的开源语音识别模型，从呼叫中心到语音助手都内置了Whisper。

康奈尔大学教授Allison Koenecke和弗吉尼亚大学教授Mona Sloane研究了数千个简短音频片段，发现近40%的幻听是有害的或令人担忧的，因为说话者的原意可能被曲解或歪曲。研究人员尚不确定Whisper和类似工具产生幻觉的原因，但软件开发人员表示，这些胡编乱造往往发生在出现停顿、背景声音或音乐播放时。OpenAI此前曾建议不要在决策情境中使用Whisper，因为准确性上的缺陷会导致结果上的明显缺陷。

针对最新爆料，OpenAI发言人回应称，将在接下来的模型更新中加入相应的反馈机制。

（文章来源：财联社）