AI錯誤可能讓醫生在與患者溝通時花費更多時間
一項新研究表明，AI在起草醫生回信時可能引入錯誤和多餘細節，導致醫生需要更多時間編輯，反而降低效率。
人工智慧正在醫療保健領域迅速普及，旨在簡化記錄和圖表編制等繁瑣的文書工作，讓醫生和護士能有更多時間照顧患者。然而，根據達特茅斯學院7月7日在計算語言學協會年會上發表的一項新研究，即使AI能幫助醫生與患者通訊，它也可能因在訊息中引入錯誤和無關細節而適得其反。研究人員報告稱，結果是醫生可能會花費比親自撰寫更多的時間來編輯AI生成的回覆。
“我們發現AI可以像醫生一樣說話，但不能像醫生一樣思考，”電腦科學助理教授、該研究的共同通訊作者Sarah Preum說。另一位共同通訊作者是Preum的PersistLab的博士候選人Parker Seegmiller。
研究人員首次對使用AI起草醫生回覆的線上患者門戶進行了大規模研究。他們開發了一個工具，將AI生成的回覆與由達特茅斯健康中心的醫療專業人員開發的真實回覆資料集進行比較。然後，他們分析了這家大型農村醫療系統中10,105名患者與其初級保健醫生之間的146,000條對話。該研究由DH機構審查委員會批准，團隊使用了必要的方法保護患者隱私，包括對資料進行匿名化處理。
研究人員還使用他們的工具評估了Claude、Gemini和ChatGPT以及三個較小的商業平臺Llama、Aloe和Qwen生成的醫生回覆。團隊報告稱，AI生成的答案經常與臨床醫生實際會寫的內容不符。這包括自動回覆過長、不詢問後續問題以及使用不相關或不準確的醫療細節。
“有一些小型研究說‘哦，AI太棒了’，但我們意識到現有文獻中缺乏對這一技術的大規模評估，”Preum說。“我們不想僅僅衡量平臺的準確性，而是想衡量它是否真的有助於減輕工作量，在這種情況下，工作量的衡量標準是醫生需要進行多少編輯。”
例如，該門戶的AI建議告訴一位服用胃酸反流藥物且持續噁心的32歲女性，藥物可能需要調整飲食。醫生則代之以詢問她是否可能懷孕。Preum表示，即使是小改動，在數百或數千條訊息中也可能累積起來。“你不想將大型語言模型整合到工作流程中，只是轉移瓶頸，讓醫生將其認知能量用於扮演AI清潔工的角色，修復錯誤，”Preum說。“但如果我們不小心，那很可能就是結果。”
然而，研究人員表明，根據每位醫生的溝通方式定製AI，可以將準確性提高33%，並將編輯工作量減少26%。
“如果訊息生成非常高效且高質量，如果它問對了問題，那麼它確實有潛力提高效率，”合著者、Geisel醫學院社群與家庭醫學副教授、DH家庭醫學醫生Tim Burdick說。“我不認為會出現門戶無需臨床醫生編輯就能直接回復患者的時候。但隨著我們改進模型，我們將能夠更快、更少腦力地處理門戶訊息。”
Burdick、Preum和Seegmiller與合著者Joseph Gatto、Sarah Greer、Ganza Belise Isingizwe和Rohan Ray合作。這項研究表明存在“好的”AI回覆，並提供了將它們實施到患者-醫生門戶中的框架，Preum說。她指出，這些平臺在大型醫療系統中越來越常見，並且通常是定製的。
“我們花了很長時間才弄清楚，但如果你要衡量這項技術的有效性，你需要定義什麼是好的回覆，”她說。“我們只能改進那些可以衡量和客觀評估的東西。”研究人員建立了一種名為TADPOLE（Thematic Agentic Direct Preference Optimization for Learning Enhancement）的技術，該技術使用他們從醫生和AI生成的回覆中構建的混合模型來訓練AI平臺。他們將TADPOLE應用於六個商業LLM，發現起草的回覆更符合醫生對精確度和資訊質量的標準。Burdick說：“這可能每天為忙碌的臨床醫生節省一兩個小時的工作時間。”
如今，醫生和護士被患者和護理人員的訊息淹沒，他們可以隨時線上寫信。Burdick和Preum實驗室之間正在進行的一個名為PortalPal的專案旨在利用AI簡化患者門戶，包括自動化一些步驟以跟進患者獲取更多資訊。與Burdick合作的醫生表示，AI生成的草稿在較短訊息上節省了約25%的時間。“編輯LLM生成的訊息比從頭開始寫更容易，”他說。但較長的草稿可能包含不正確或不準確的資訊。
“如果你必須編輯75%的訊息，那麼你可能花費比從頭開始寫更多的時間和精力，”Burdick說。“我猜我們需要達到醫生編輯的內容少於30%的水平，才能有實質性收益。”
AI的優點之一是它往往比時間緊迫的醫生更具同理心和更周到，研究人員發現。例如，AI更可能對感到胃部不適的患者說聽到他們噁心很難過。這意味著AI可以用來“推動”醫生對患者的處境表現出更多的理解和關懷，或者更有效地回答患者的問題，讓他們感到被傾聽，Preum說。團隊製作了樣本回復，例如透過讚揚患者遵循治療計劃（“你在逐漸減量方面做得很好”）或計劃症狀變化（“如果你感到頭暈，請致電分診處”）來表達同理心。
研究人員還發現，他們研究的所有門戶訊息中有65%來自55歲以上的人，65歲以上的患者產生了24%的訊息。這些數字表明，患者門戶通常應設計為適合老年人，Preum說。未來的工作將研究醫生實際花費多少時間編輯自動草稿。該團隊還計劃從使用者角度評估他們的訓練模型TADPOLE，研究它是否以及如何減輕醫生的工作量，以及醫生和患者如何評價其效能。
“這是首批使用真實患者門戶訊息來建立生成式AI模型的研究之一。在這方面，它具有創新性，並向我們展示了這不是一項簡單的任務，”Burdick說。“我們仍然遠未達到讓臨床醫生從工作流程中脫離的程度。”