AIの誤りが医師の患者対応時間を増やす可能性

人工知能は医療現場で急速に普及しており、メモ取りや記録作成といった重要だが面倒な事務作業を効率化し、医師や看護師が患者に費やす時間を増やすことを目指している。しかし、ダートマス大学が7月7日に計算言語学会年次総会で発表し、会議録に掲載された新しい研究によると、AIが医師の患者とのやり取りを支援する場合でも、メッセージに誤りや不要な詳細を導入することで、かえって逆効果になる可能性がある。研究者らは、その結果、医師が最初からメッセージを書くよりも、AIが生成した返信を編集するのに多くの時間を費やすことになると報告している。

「AIは医者のように話すことはできても、医者のように考えることはできないことが分かりました」と、コンピュータサイエンスの助教授で、この研究の共同責任著者であるSarah Preum氏は述べている。もう一人の共同責任著者は、Preum氏のPersistLabで博士課程の学生であるParker Seegmiller氏である。

研究者らは、AIを使用して医師から患者への返信の下書きを作成するオンライン患者ポータルの初の大規模研究を実施した。チームは、ダートマス・ヘルスの医療専門家と共同で開発した実際の返信データセットとAI生成の返信を比較するツールを開発した。その後、大規模な地方医療システムにおいて、10,105人の患者とそのプライマリケア医との間の146,000件の会話を分析した。この研究はDH施設内審査委員会の承認を受けており、チームは患者のプライバシーを保護するために必要な方法（必要に応じてデータの匿名化を含む）を使用した。

研究者らはまた、Claude、Gemini、ChatGPT、および3つの小規模な商用プラットフォーム（Llama、Aloe、Qwen）によって作成された医師の返信を評価するために、彼らのツールを使用した。チームは、AIが生成した回答が、臨床医が実際に書く内容と頻繁に一致しないことを報告している。これには、自動応答が長すぎる、フォローアップの質問をしない、無関係または不正確な医療詳細を使用するなどの問題が含まれる。

「AIは素晴らしいと言う小規模な研究はありますが、既存の文献にはこの技術の大規模な評価が不足していることに気づきました」とPreum氏は述べている。「私たちはプラットフォームの精度を測定するだけでなく、実際にワークロードに役立つかどうかを測定したかったのです。この場合、ワークロードは医師がどれだけ編集しているかによって測定されます。」

例えば、ポータルのAIは、胃酸逆流薬を服用していて絶えず吐き気を感じている32歳の女性に対して、薬の調整には食事の調整が必要かもしれないと提案した。医師は代わりに、妊娠の可能性はあるかどうかを尋ねた。小さな変更でも、数百または数千のメッセージにわたって積み重なる可能性があるとPreum氏は言う。「あなたは大規模言語モデルをワークフローに統合して、単にボトルネックを移し、医師が認知エネルギーをAIの清掃係に費やして誤りを修正するようにさせたくないのです」とPreum氏は述べている。「しかし、注意しないと、それが起こり得る結果です。」

しかし、研究者らは、AIを個々の医師のコミュニケーション方法に適応させることで、精度が33%向上し、編集作業が26%削減されることを示している。

「メッセージ生成が非常に効率的で高品質であり、正しい質問をするならば、効率を向上させる可能性があります」と、共著者でGeisel医科大学のコミュニティおよび家庭医学准教授であり、DHの家庭医学医師でもあるTim Burdick氏は述べている。「臨床医が最初に編集せずにポータルが患者に応答できる時代は来ないと思います。しかし、モデルを改善するにつれて、ポータルメッセージをより迅速に、より少ない精神的エネルギーで処理できるようになるでしょう。」

Burdick氏、Preum氏、Seegmiller氏は、共著者であるJoseph Gatto氏、Sarah Greer氏、Ganza Belise Isingizwe氏、Rohan Ray氏と協力した。この研究は、「良い」AI応答が存在することを示し、それらを患者-医師ポータルに実装するための枠組みを提供しているとPreum氏は言う。これらのプラットフォームは大規模な医療システムでますます一般的になっており、しばしばカスタマイズされていると彼女は述べている。

「それを理解するのに長い時間がかかりましたが、この技術の有効性を測定しようとするなら、良い応答とは何かを定義する必要があります」と彼女は言う。「私たちは測定し、客観的に評価できるものだけを改善できます。」研究者らは、TADPOLE（Thematic Agentic Direct Preference Optimization for Learning Enhancement）と呼ばれる手法を作成した。これは、医師とAIが生成した応答から構築したハイブリッドモデルを使用してAIプラットフォームを訓練する。彼らはTADPOLEを6つの商用LLMに組み込み、作成された応答が精度と情報品質の点で医師の基準により適合することを確認した。「これにより、忙しい臨床医の1日あたり1〜2時間の作業を節約できる可能性があります」とBurdick氏は述べている。

今日、医師や看護師は、いつでもオンラインでメッセージを書くことができる患者や介護者からのメッセージに溢れていると彼は言う。Burdick氏とPreum研究室の進行中のプロジェクトであるPortalPalは、AIを使用して患者ポータルを効率化し、患者をフォローアップしてより多くの情報を得るためのいくつかのステップを自動化することを目指している。Burdick氏が協力している医師たちは、AIが生成した下書きは短いメッセージでは約25%の時間を節約すると述べている。「LLMが生成したメッセージを編集する方が、ゼロから書くよりも簡単です」と彼は言う。しかし、長い下書きには正しくないまたは不正確な情報が含まれる可能性がある。

「メッセージの75%を編集しなければならない場合、ゼロから書くよりも変更に多くの時間とエネルギーを費やすことになるかもしれません」とBurdick氏は述べている。「おそらく、医師が編集するコンテンツが30%未満になるまでには、かなりのメリットが得られると思います。」

AIの冗長さの利点の一つは、時間がない医師よりも共感力があり、徹底していることだと研究者らは見出している。例えば、AIは胃の不調を感じている患者に対して、吐き気を聞いて残念に思うと伝える可能性が高い。これは、AIを使用して医師が患者の状況に対してより理解と思いやりを示すように「後押し」したり、患者の質問により効果的に答えて、患者がより耳を傾けられていると感じるようにするために使用できることを意味するとPreum氏は言う。チームは、治療計画を守っている患者を称賛する（「漸減療法、よく頑張っていますね」）や、症状の変化に備える（「めまいがする場合は、トリアージに電話してください」）などの共感を示すサンプル応答を作成した。

研究者らはまた、彼らが研究したすべてのポータルメッセージの65%が55歳以上からのものであり、65歳以上の患者が全メッセージの24%を生成していることを見出した。これらの数字は、患者ポータル一般が高齢者に適した設計であるべきであることを示唆しているとPreum氏は言う。将来の研究では、医師が自動下書きの編集に実際にどれだけの時間を費やしているかを調査する予定である。チームはまた、ユーザーの視点からトレーニングモデルTADPOLEを評価し、それが医師のワークロードを軽減するかどうか、またどのように軽減するか、医師と患者がその性能をどのように評価するかを研究する予定である。

「これは、実際の患者ポータルメッセージを使用して生成AIモデルを確立した最初の研究の一つです。その点で革新的であり、これが簡単なタスクではないことを示しています」とBurdick氏は述べている。「私たちはまだ、臨床医をワークフローから外すという点にはほど遠いのです。」