医師とAIが共同で作業する場合、誰が責任を負うのか？

人工知能は急速に病院や診療所に組み込まれつつある。しかし、AIツールの利点とともに、新たな患者安全リスクと、問題が発生した場合の責任の所在に関する疑問が生じている。

従来、医療における責任は明確に区分されていた。臨床医は所定の治療基準を提供しなければならない。医療機関は安全な治療プロセスを組織しなければならない。製造業者は非欠陥の医療機器を納入しなければならない。規制当局や免許・資格に関わる機関は、これらの当事者のいずれかが期待される基準に達していない場合に介入できる。そして、患者が被害を受けた場合、裁判所はどの当事者に責任があるかを評価できる。

到来しつつある医療AIツールの波は、これらの線を曖昧にするだろう。現在のAIツールは主にアシスタントとして使用され、人間によるチェックがバックアップとして機能している。例えば、AIモデルが患者に敗血症のリスクがあると警告を発した場合、臨床医は治療前に生理学的根拠を確認しなければならない。

しかし、今後数年のうちに、AI駆動の臨床ツールはデータを統合することから、それに基づいて行動することへと進化し、人間の入力はますます少なくなるだろう。それらは診断を行い、治療計画を立案し、患者管理の決定を下すことになり、臨床医はほとんどまたは全く関与しない。多くの既存ツールの出力は理解可能であるが（例えば、敗血症モデルは透明な式に従って定義された生理学的変数を組み合わせる）、より高度なツールはブラックボックスの深層学習プロセスを伴う可能性がある。臨床医は、たとえアルゴリズムが判断の説明を提供する場合でも、ツールの推論を完全に追跡できなくなる。

このようなツールは責任規則の間にある。そのブラックボックス推論により、いつ欠陥があるかを判断するのが難しい。また、人間と不透明なAIモデルが共同で決定を下す場合、医療受診中に人々が被害を受けた際の責任を評価することが困難になる。既存の医療責任枠組みはこの交差点に対処していない。

この法的な不確実性は、被害を受けた人々が、誰も明確に規則を破っていない責任の隙間に陥る可能性があることを意味する。病院は法的リスクへの懸念から、潜在的に有用な機能にAIを避ける可能性が高い。この懸念は、医師が安全なAI導入の障壁として繰り返し挙げており、一部では既に利用可能なブラックボックスツールを使用しない理由ともみなされている。また、AIベンダーは、問題が発生した場合に非難を帰属させるのが難しいと確信し、ツールが市場に出た後の安全性監視の義務を回避する可能性がある。

明確な責任枠組みが必要である。ここでは、自律性、自動化、運用範囲の3つの要素に基づいてAI能力の7段階を定義することで、それを達成する方法を概説する。航空機や自動運転車では、規制当局は既に段階的なレベルを用いて、システムがどのタスクを、どの程度独立して実行し、いつ人間が引き継ぐべきかを具体的に指定している。医療AIシステムにも同様のレベル設定を設けることで、規制当局、政策立案者、政府、裁判所、専門医療団体が今後のツールに備えるのに役立つ。

3つの特性、7つのレベル：3つの特性が、クリニックでのAIの使用方法を決定する。第一に自律性：人間の入力を必要とせずにシステムが独立して推論する程度。既存の敗血症リスクモデルは低自律性AIツールである。対照的に、深層学習システムは数千の変数のパターンから診断に至り、医師が追跡できない推論を行う可能性がある。第二に自動化：医療AIシステムが単独で実行できるタスク。そのようなシステムは、外科医が制御する低自動化ロボットから、化学療法の処方を直接薬局に送信するシステムまで様々である。第三に運用範囲：システムの稼働が許可される境界。専門の眼科サービスが臨床判断を再確認するために展開する網膜画像システムは、プライマリケアクリニックで患者を専門医に紹介するかどうかを自律的に決定するために使用される同じツールよりもリスクが低い。

以下の7段階は、医療AIツールのリスクを定義するための基礎を形成する可能性がある。特定のツールは、使用場所、使用方法、使用者によって異なるレベルに位置する可能性がある。

レベル0：情報提供。自律性なし、自動化は可変、運用範囲は狭いAIシステム。これらのシステムは、人間が設定したルールに従ってデータを保存、移動、表示する。例としては、電子健康記録を管理するアルゴリズムや、バイタルサインを追跡するウェアラブルデバイスからのデータをストリーミングするアルゴリズムなどがある。アルゴリズムの動作は透明であり、出力は独立して検証可能である。これはよく踏まれた領域である。規制当局は、これらのツールが信頼性があり、十分なサイバーセキュリティとデータ保護を提供しているかどうかを評価できる。裁判所は従来の基準を適用して責任を評価できる。

レベル1：補助。低自律性、低から中程度の自動化、運用範囲は狭いAIシステム。これらのシステムは、臨床医の監督下で単一の明確に定義されたタスクを実行できる。例えば、心臓モニターの不審なリズムをフラグ付けする、スキャン上の肺結節を強調表示するなどである。ツールのアルゴリズム推論は不透明かもしれないが、患者データの臨床レビューや、モデルの入出力データ間の相関をチェックする「説明可能性技術」によって出力を検証できる。これらのツールは、マンモグラフィーや大腸内視鏡検査の既存のコンピュータ支援検出システムと同様に、診断補助として規制される。病院はスタッフがその限界を理解することを確実にする責任を負う。ユーザーはアラートが意味があるかどうかを正確に判断することが期待される。

レベル2：意思決定支援。低自律性、低から中程度の自動化、運用範囲は中程度のAIツール。これらのシステムは、症状、既往歴、画像データ、現在のガイドラインなど、複数のデータストリームを組み合わせる。現在のこのレベルのツールは、診断と治療計画を生成し、詳細な退院サマリーを作成し、トリアージ決定のためのリスクスコアを生成できる。レベル1のツールと同様に、これらは助言を目的として設計されており、その推論は不透明かもしれないがある程度検証可能であり、臨床医が最終決定を下すことが期待される。規制当局は、これらのシステムがケアを改善するという強力なエビデンスを求めるべきである。病院は、臨床医が出力をデフォルトで受け入れるのではなく、それに挑戦するよう訓練しなければならない。裁判所は、状況下で臨床医の特定の推奨への依存が合理的であったかどうかを判断しなければならない。時間的プレッシャーの下で臨床医が助言ツールに過度に依存するリスクがある。機械の推奨に臨床医がどの程度影響を受けたかを簡単に判断する方法はない。

レベル3：監督付き自動化。中程度の自律性と自動化、運用範囲は中程度のAIシステム。臨床医ではなくシステムが意思決定者である。これらのツールは現在稀である。厳密に定義された領域で、治療ニーズに動的に対応できる。例えば、インスリン送達デバイスは、組み込みアルゴリズムと事前定義された制限を使用して、持続的グルコース測定値に従って自動的に用量を調整する。臨床医はどの患者をシステムに配置するかを選択し、何か異常がある場合にのみ介入する。規制当局は、これらのシステムの使用と保守の指示の質、およびケア提供に内在するリスクに関する情報に焦点を当てるべきである。医療機関は、AI駆動治療に内在する新たなタイプのリスクに対応するインフォームド・コンセントプロトコルのガイダンスを提供すべきであり、提供者はこれらのリスクについて患者と話し合うべきである。これらのシステムでは、医師は不適切な患者を登録したこと、デバイスアラームに応答しなかったこと、またはシステムの限界を理解していなかったことで批判される可能性がある。組織は、技術の選択、検証、監視の方法によって評価される可能性がある。製造元は、欠陥のある設計やアップデートが害に寄与した場合に責任を負う可能性がある。しかし、医師と組織が合理的に行動し、害がアルゴリズムによって決定された明らかに間違っていない決定によって引き起こされた場合、従来の責任評価は不適切である可能性がある。

レベル4：AIトリガー型人間監視。中から高程度の自律性と自動化、運用範囲は広いAIツール。これらのシステムは、集中治療などの分野で治療の全エピソードを管理する。患者を継続的に監視し、治療を調整する。例えば、複数の生理学的目標に対して人工呼吸器と鎮静設定を同時に調整する。異常が発生した場合、迅速対応チームを呼び出すなどのバックアッププロトコルをトリガーする。臨床医はセーフティネットであり、システムが警報を発した場合にのみ行動する。レベル4の展開は医学ではまだ実現していないが、必要な技術コンポーネントは現れつつある。これらのシステムでは、規制当局は、人間をループに入れることで安全性が低下するという強力な証拠を求めるべきである。臨床医にはこれらのシステムの行動をレビューする現実的な機会がないため、裁判所は有害な結果が過失、隠れた欠陥、または単に医学の固有のリスクを反映しているかどうかを判断するのに苦労する可能性がある。

生成AIは医療を革命的に変える可能性があるが、管理が大手テクノロジー企業に委ねられればそうはならない。