超过40家医疗系统正在使用OpenAI开发的转录工具,而该工具因被指存在错误风险而备受争议。美国各地数万名临床医生目前依赖这个名为Whisper的AI转录工具来自动转录记录,然而专家警告称其可靠性令人担忧。据美联社报道,Whisper在高风险领域的应用存在潜在风险,OpenAI也在其指南中提醒,使用时应“谨慎”。
尽管如此,Whisper在医疗行业的普及并未放缓。美联社调查发现,美国约40家医疗系统中的3万名医生通过由Nabla公司提供的工具转录记录,而该工具正是基于Whisper模型构建的。多位软件工程师、开发者及学术研究人员透露,Whisper在处理“良好录制的短音频样本”时也会频繁出错。例如,一位来自密歇根大学的研究人员发现,在镇民会议录音的转录中,Whisper生成的“幻觉”内容(即AI模型生成的错误或虚假信息)频率高达80%。其他专家也报告了类似的错误率。一位机器学习工程师表示,在100小时音频转录中发现了大约一半的错误,另一位工程师在分析了26,000份Whisper转录文件后发现几乎普遍存在错误。
随着AI技术的普及,许多医院管理者为降低成本,正将AI工具应用于各种医疗流程,但监管覆盖的力度有限。部分AI工具是为特定需求而定制的,但Whisper的广泛应用表明医疗界对现成的商业产品兴趣浓厚。全美护士联合会(NNU)及其附属机构警告,这种未受监管的AI应用可能对患者构成风险。
NNU的一项调查显示,在采用AI自动转接流程的医院中,48%的护士认为AI生成的医疗报告经常与他们的专业评估不一致,或缺少关键信息。约四成护士表示,他们无法忽略AI生成的报告或修改错误诊断。“最令人担忧的是,AI被用来重新设计护理流程,从而削弱了医疗决策者的技能,”NNU护理实践助理主任Michelle Mahon向IT Brew表示。Mahon还警告,AI开发者声称的“智能”功能正逐步取代医学判断。
前白宫科技政策办公室主任Alondra Nelson也对美联社表示,转录错误可能对患者造成“非常严重的后果”。她认为,AI在医疗领域的应用应设立更高的标准,以确保患者安全。