AI News HubLIVE
站内改写1 分钟阅读

安大略省审计发现,医生的AI笔记助手可能编造假信息

安大略省审计长的一项审计发现,省政府推荐的人工智能(AI)医疗记录助手经常生成不准确、不完整甚至虚构的信息,可能导致有害的治疗计划。对20家供应商的测试显示,所有供应商都存在不同程度的问题,包括虚构转诊和药物错误。

来源Hacker News AI作者: Timofeibu

近年来,许多过度劳累的医生开始使用所谓的AI医疗记录助手(AI scribe),这些工具能够自动将患者对话、诊断和护理决策总结成结构化笔记,用于健康档案记录。AI医疗记录助手的目的是减轻医生的文书工作负担,让他们有更多时间专注于患者护理。然而,安大略省审计长最近发布的一项审计报告发现,省政府推荐给医疗保健提供者的AI记录助手经常生成不准确、不完整甚至虚构的信息。审计报告警告说,这种错误可能导致“不充分或有害的治疗方案,进而可能影响患者的健康结果”。

在最近发布的《安大略省政府人工智能使用情况》报告中,审计长详细审查了对20家AI记录助手供应商的转录测试结果。这些供应商已获得省政府批准,并经过预先审定,可供医疗保健提供者购买。测试涉及两个模拟患者-医生对话场景。结果显示,所有20家供应商在至少一项简单测试中都存在准确性问题或完整性问题。具体来说,9家供应商虚构了患者信息(即生成了对话中从未提及的内容),12家供应商错误地记录了信息(例如将药物名称或剂量记录错误),17家供应商遗漏了讨论中关于心理健康问题的关键细节。这些错误表明,即使是经过政府批准的AI工具,其可靠性也令人担忧。

审计报告还列举了多个令人担忧的错误例子,这些错误可能直接对患者的后续护理产生负面影响。例如,AI记录助手虚构了不存在的血液检查转诊或治疗转诊,这可能导致患者接受不必要的检查或治疗。另外,某些AI助手错误地转录了处方药名称,可能引发用药错误。还有AI助手遗漏了模拟对话中讨论的心理健康问题的“关键细节”,这可能导致医生忽视重要的精神健康问题。审计长强调,这些错误不仅反映了AI技术的局限性,也凸显了在没有充分验证的情况下依赖AI进行医疗记录的风险。报告呼吁医疗机构在使用AI记录工具时保持谨慎,并建立有效的监督机制以确保准确性。