當醫生與AI合作時，誰來負責？

人工智慧正迅速成為醫院和診所的一部分。然而，AI工具在帶來好處的同時，也帶來了新的患者安全風險——以及當出現問題時誰應該負責的問題。

傳統上，醫療保健中的責任劃分明確。臨床醫生必須提供規定的治療標準。醫療機構必須組織安全的治療流程。製造商必須提供無缺陷的醫療裝置。監管機構和許可認證機構可以在任何一方未達到預期標準時進行干預。如果患者受到傷害，法院可以判定哪一方承擔責任。

即將到來的一波醫療AI工具將模糊這些界限。當前的AI工具主要作為輔助手段使用，由人工檢查作為後盾，與其他醫療裝置類似。例如，當AI模型觸發患者有敗血症風險的警報時，臨床醫生必須在任何治療前審查並確認生理學原理。

但在未來幾年，AI驅動的臨床工具預計將從綜合資料發展到根據資料採取行動，且人類輸入越來越少。它們將做出診斷、制定治療計劃以及做出患者管理決策，而臨床醫生幾乎不參與或完全不參與。而許多現有工具的輸出是可以理解的——例如，敗血症模型透過根據透明公式組合定義的生理變數來工作——更先進的工具可能涉及黑箱深度學習過程。臨床醫生將無法完全理解工具的推理過程，即使演算法對其判斷提供了一些解釋。

這些工具介於責任規則之間。它們的黑箱推理使得難以確定何時存在缺陷。當人類與不透明的AI模型共同做出決策時，評估人們在接受醫療保健時受到傷害的責任變得困難。現有的醫療責任框架沒有解決這個交叉點。

這種法律不確定性意味著受傷害的人可能陷入責任空白，其中沒有人明確違反規則。醫院可能因為擔心法律風險而避免使用AI進行潛在有用的功能——這種擔憂被醫生反覆引述為安全採用AI的障礙，並且被一些人視為不使用已經可用的黑箱工具的理由。AI供應商可能逃避在工具上市後監測安全的義務，因為他們確信當出現問題時很難歸咎責任。

需要明確的責任框架。這裡我們概述如何實現這一點，透過基於三個因素定義AI能力的七個級別：自主性、自動化程度和操作範圍。在飛機和自動駕駛汽車方面，監管機構已經使用分級級別來明確指定系統必須執行哪些任務、多大程度上獨立執行，以及何時人類應該接管。一套類似的醫療AI系統級別將幫助監管機構、政策制定者、政府、法院和專業醫療保健機構為即將到來的工具做好準備。

三個特性，七個級別：三個特性決定了AI在診所中的使用方式。第一，自主性：系統獨立推理的程度，無需人工輸入。現有的敗血症風險模型是低自主性AI工具。相比之下，深度學習系統可能從數千個變數的模式中得出診斷，做出醫生無法追溯的推論。第二，自動化：醫療AI系統可以自行執行哪些任務。這樣的系統可能從外科醫生控制的低自動化機器人，到直接將化療處方傳送到藥房的系統。第三，操作範圍：允許系統執行的範圍。由專科眼科服務部署的雙重檢查臨床決策的視網膜成像系統，與在初級保健診所用於自主決定是否將患者轉診給專家的同一工具相比，風險較低。

以下七個級別可以構成定義醫療AI工具風險的基礎。給定的工具可能根據其使用地點、方式和使用者而處於不同級別。

0級：資訊提供。沒有自主性、自動化程度可變、操作範圍狹窄的AI系統。此類系統根據人類設定的規則儲存、移動和顯示資料。示例包括管理電子健康記錄的演算法或從跟蹤生命體徵的可穿戴裝置流式傳輸資料。演算法行為透明，任何輸出都可獨立驗證。這是熟悉的領域。監管機構可以評估此類工具是否可靠，是否提供足夠的網路安全和資料保護。法院可以應用常規標準來評估責任。

1級：輔助。低自主性、低到中等自動化、操作範圍狹窄的AI系統。此類系統可以執行單個明確定義的任務，由臨床醫生監督——例如在心臟監護儀上標記可疑節律，或在掃描中突出可能的肺結節。工具的演算法推理可能不透明，但可以透過對患者資料的臨床審查或透過“可解釋性技術”來驗證輸出，這些技術檢查模型輸入和輸出資料之間的相關性。這些工具作為診斷輔助工具受到監管，類似於現有的乳腺攝影和結腸鏡檢查計算機輔助檢測系統。醫院負責確保員工瞭解其侷限性。使用者應準確判斷警報是否有意義。

2級：決策支援。低自主性、低到中等自動化、操作範圍適中的AI工具。這些系統組合多個資料流——可能包括症狀、既往病史、影像資料和當前指南。當前此級別的工具可以生成診斷和治療計劃，起草詳細的出院摘要，併為分診決策生成風險評分。與1級工具一樣，它們旨在提供建議——其推理可能不透明，但在某種程度上可驗證，臨床醫生應做出最終決定。監管機構應要求這些系統改善護理的有力證據。醫院必須培訓臨床醫生質疑輸出而不是預設接受，法院必須確定臨床醫生在特定情況下依賴特定建議是否合理。存在時間壓力下的臨床醫生可能過度依賴建議工具的風險。無法輕易確定臨床醫生在多大程度上受到機器建議的影響。

3級：監督自動化。中等自主性和自動化水平、操作範圍適中的AI系統。系統而不是臨床醫生是決策者。此類工具目前很少見。在嚴格定義的領域中，它們可以動態響應治療需求——例如，胰島素輸送裝置根據連續血糖讀數自動調整劑量，使用嵌入式演算法和預定義限制。臨床醫生選擇哪些患者置於系統上，僅在出現異常時干預。監管機構應關注使用和維護這些系統的說明質量以及提供護理固有的風險資訊。醫療機構應針對AI驅動治療固有的新型風險提供知情同意協議的指導，提供者應與患者討論這些風險。對於這些系統，醫生可能因納入不適合的患者、未能響應裝置警報或不瞭解系統侷限性而受到批評。組織可能因其選擇、驗證和監控技術的方式而受到評判。如果設計或更新有缺陷導致傷害，製造商可能承擔責任。但如果醫生和組織行為合理，而傷害是由演算法決定的並非明顯錯誤決策引起的，則常規責任評估可能不合適。

4級：AI觸發的人類監督。中等到高自主性和自動化水平、操作範圍廣泛的AI系統。這些系統管理整個療程，例如在重症監護領域。它們持續監測患者並調整治療——例如同時平衡呼吸機和鎮靜劑設定與多個生理目標。它們在出現異常時觸發備份協議，例如召喚快速反應團隊。臨床醫生是安全網，僅在系統報警時採取行動。4級部署在醫學中尚未突破，儘管所需的技術元件正在出現。對於這些系統，監管機構應要求強有力的證據表明將人類納入迴圈會降低安全性。由於臨床醫生沒有現實機會審查這些系統的行動，法院可能難以確定不良結果是反映疏忽、隱藏缺陷還是僅僅醫學固有風險。

生成式AI可能徹底改變醫療保健——但如果控制權交給大型科技公司則不會。