オンタリオ州監査、医師のAIメモ作成ツールが虚偽を生成する可能性を指摘

近年、多くの過労状態にある医師たちは、患者との会話、診断、ケアの決定を自動的に要約し、構造化されたメモとして健康記録に記録する、いわゆるAI医療記録ツール（AIスクライブ）に依存するようになっています。これらのツールは、医師の書類業務負担を軽減し、患者ケアに集中する時間を増やすことを目的としています。しかし、オンタリオ州監査総監による最近の監査では、州政府が医療提供者に推奨するAI記録ツールが不正確、不完全、または幻覚的な情報を頻繁に生成することが判明しました。監査報告書は、これらの誤りが「不適切または有害な治療計画につながり、患者の健康転帰に影響を与える可能性がある」と警告しています。

最近発表された「オンタリオ州政府における人工知能の利用」に関する報告書で、監査総監は、州政府によって承認され、医療提供者が購入できるように事前認定された20のAI記録ツールベンダーを対象に、2つの模擬患者-医師会話の書き起こしテストを審査しました。その結果、20のベンダーすべてが少なくとも1つの簡単なテストで精度または完全性に問題を示しました。内訳は、9社が患者情報を幻覚的に生成し（会話にない内容を作り出し）、12社が情報を誤って記録し（薬剤名や用量の誤りなど）、17社が議論された精神的健康問題の重要な詳細を見逃したことです。これらの結果は、政府承認のツールであっても信頼性に重大な疑問があることを示しています。

また、監査報告書は、患者のその後のケアに直接的な悪影響を及ぼす可能性のある、いくつかの憂慮すべき誤りの例を挙げています。例えば、AI記録ツールが存在しない血液検査や治療の紹介を幻覚的に生成したケースがあり、これにより患者は不要な検査や治療を受けるリスクがあります。さらに、処方薬の名前を誤って書き起こした例もあり、投薬ミスにつながる可能性があります。また、模擬会話で議論された精神的健康問題の「重要な詳細」を見逃した例もあり、医師が重要な精神的健康問題を見落とす恐れがあります。監査総監は、これらの誤りはAI技術の限界を示すだけでなく、十分な検証なしに医療記録にAIを依存することのリスクを浮き彫りにしていると強調しています。報告書は、医療機関に対し、AI記録ツールを使用する際には注意を払い、正確性を確保するための効果的な監視メカニズムを構築するよう求めています。