安大略省審計發現,醫生的AI筆記助手可能編造假信息
安大略省審計長的一項審計發現,省政府推薦的人工智能(AI)醫療記錄助手經常生成不準確、不完整甚至虛構的信息,可能導致有害的治療計劃。對20家供應商的測試顯示,所有供應商都存在不同程度的問題,包括虛構轉診和藥物錯誤。
近年來,許多過度勞累的醫生開始使用所謂的AI醫療記錄助手(AI scribe),這些工具能夠自動將患者對話、診斷和護理決策總結成結構化筆記,用於健康檔案記錄。AI醫療記錄助手的目的是減輕醫生的文書工作負擔,讓他們有更多時間專注於患者護理。然而,安大略省審計長最近發佈的一項審計報告發現,省政府推薦給醫療保健提供者的AI記錄助手經常生成不準確、不完整甚至虛構的信息。審計報告警告説,這種錯誤可能導致“不充分或有害的治療方案,進而可能影響患者的健康結果”。
在最近發佈的《安大略省政府人工智能使用情況》報告中,審計長詳細審查了對20家AI記錄助手供應商的轉錄測試結果。這些供應商已獲得省政府批准,並經過預先審定,可供醫療保健提供者購買。測試涉及兩個模擬患者-醫生對話場景。結果顯示,所有20家供應商在至少一項簡單測試中都存在準確性問題或完整性問題。具體來説,9家供應商虛構了患者信息(即生成了對話中從未提及的內容),12家供應商錯誤地記錄了信息(例如將藥物名稱或劑量記錄錯誤),17家供應商遺漏了討論中關於心理健康問題的關鍵細節。這些錯誤表明,即使是經過政府批准的AI工具,其可靠性也令人擔憂。
審計報告還列舉了多個令人擔憂的錯誤例子,這些錯誤可能直接對患者的後續護理產生負面影響。例如,AI記錄助手虛構了不存在的血液檢查轉診或治療轉診,這可能導致患者接受不必要的檢查或治療。另外,某些AI助手錯誤地轉錄了處方藥名稱,可能引發用藥錯誤。還有AI助手遺漏了模擬對話中討論的心理健康問題的“關鍵細節”,這可能導致醫生忽視重要的精神健康問題。審計長強調,這些錯誤不僅反映了AI技術的侷限性,也凸顯了在沒有充分驗證的情況下依賴AI進行醫療記錄的風險。報告呼籲醫療機構在使用AI記錄工具時保持謹慎,並建立有效的監督機制以確保準確性。