AI错误可能让医生在与患者沟通时花费更多时间
一项新研究表明，AI在起草医生回信时可能引入错误和多余细节，导致医生需要更多时间编辑，反而降低效率。
人工智能正在医疗保健领域迅速普及，旨在简化记录和图表编制等繁琐的文书工作，让医生和护士能有更多时间照顾患者。然而，根据达特茅斯学院7月7日在计算语言学协会年会上发表的一项新研究，即使AI能帮助医生与患者通信，它也可能因在消息中引入错误和无关细节而适得其反。研究人员报告称，结果是医生可能会花费比亲自撰写更多的时间来编辑AI生成的回复。
“我们发现AI可以像医生一样说话，但不能像医生一样思考，”计算机科学助理教授、该研究的共同通讯作者Sarah Preum说。另一位共同通讯作者是Preum的PersistLab的博士候选人Parker Seegmiller。
研究人员首次对使用AI起草医生回复的在线患者门户进行了大规模研究。他们开发了一个工具，将AI生成的回复与由达特茅斯健康中心的医疗专业人员开发的真实回复数据集进行比较。然后，他们分析了这家大型农村医疗系统中10,105名患者与其初级保健医生之间的146,000条对话。该研究由DH机构审查委员会批准，团队使用了必要的方法保护患者隐私，包括对数据进行匿名化处理。
研究人员还使用他们的工具评估了Claude、Gemini和ChatGPT以及三个较小的商业平台Llama、Aloe和Qwen生成的医生回复。团队报告称，AI生成的答案经常与临床医生实际会写的内容不符。这包括自动回复过长、不询问后续问题以及使用不相关或不准确的医疗细节。
“有一些小型研究说‘哦，AI太棒了’，但我们意识到现有文献中缺乏对这一技术的大规模评估，”Preum说。“我们不想仅仅衡量平台的准确性，而是想衡量它是否真的有助于减轻工作量，在这种情况下，工作量的衡量标准是医生需要进行多少编辑。”
例如，该门户的AI建议告诉一位服用胃酸反流药物且持续恶心的32岁女性，药物可能需要调整饮食。医生则代之以询问她是否可能怀孕。Preum表示，即使是小改动，在数百或数千条消息中也可能累积起来。“你不想将大型语言模型集成到工作流程中，只是转移瓶颈，让医生将其认知能量用于扮演AI清洁工的角色，修复错误，”Preum说。“但如果我们不小心，那很可能就是结果。”
然而，研究人员表明，根据每位医生的沟通方式定制AI，可以将准确性提高33%，并将编辑工作量减少26%。
“如果消息生成非常高效且高质量，如果它问对了问题，那么它确实有潜力提高效率，”合著者、Geisel医学院社区与家庭医学副教授、DH家庭医学医生Tim Burdick说。“我不认为会出现门户无需临床医生编辑就能直接回复患者的时候。但随着我们改进模型，我们将能够更快、更少脑力地处理门户消息。”
Burdick、Preum和Seegmiller与合著者Joseph Gatto、Sarah Greer、Ganza Belise Isingizwe和Rohan Ray合作。这项研究表明存在“好的”AI回复，并提供了将它们实施到患者-医生门户中的框架，Preum说。她指出，这些平台在大型医疗系统中越来越常见，并且通常是定制的。
“我们花了很长时间才弄清楚，但如果你要衡量这项技术的有效性，你需要定义什么是好的回复，”她说。“我们只能改进那些可以衡量和客观评估的东西。”研究人员创建了一种名为TADPOLE（Thematic Agentic Direct Preference Optimization for Learning Enhancement）的技术，该技术使用他们从医生和AI生成的回复中构建的混合模型来训练AI平台。他们将TADPOLE应用于六个商业LLM，发现起草的回复更符合医生对精确度和信息质量的标准。Burdick说：“这可能每天为忙碌的临床医生节省一两个小时的工作时间。”
如今，医生和护士被患者和护理人员的消息淹没，他们可以随时在线写信。Burdick和Preum实验室之间正在进行的一个名为PortalPal的项目旨在利用AI简化患者门户，包括自动化一些步骤以跟进患者获取更多信息。与Burdick合作的医生表示，AI生成的草稿在较短消息上节省了约25%的时间。“编辑LLM生成的消息比从头开始写更容易，”他说。但较长的草稿可能包含不正确或不准确的信息。
“如果你必须编辑75%的消息，那么你可能花费比从头开始写更多的时间和精力，”Burdick说。“我猜我们需要达到医生编辑的内容少于30%的水平，才能有实质性收益。”
AI的优点之一是它往往比时间紧迫的医生更具同理心和更周到，研究人员发现。例如，AI更可能对感到胃部不适的患者说听到他们恶心很难过。这意味着AI可以用来“推动”医生对患者的处境表现出更多的理解和关怀，或者更有效地回答患者的问题，让他们感到被倾听，Preum说。团队制作了样本回复，例如通过赞扬患者遵循治疗计划（“你在逐渐减量方面做得很好”）或计划症状变化（“如果你感到头晕，请致电分诊处”）来表达同理心。
研究人员还发现，他们研究的所有门户消息中有65%来自55岁以上的人，65岁以上的患者产生了24%的消息。这些数字表明，患者门户通常应设计为适合老年人，Preum说。未来的工作将研究医生实际花费多少时间编辑自动草稿。该团队还计划从用户角度评估他们的训练模型TADPOLE，研究它是否以及如何减轻医生的工作量，以及医生和患者如何评价其性能。
“这是首批使用真实患者门户消息来建立生成式AI模型的研究之一。在这方面，它具有创新性，并向我们展示了这不是一项简单的任务，”Burdick说。“我们仍然远未达到让临床医生从工作流程中脱离的程度。”