今年の夏、バーモント州とニューヨーク州で展開する薬局チェーンKinney Drugsは、処方箋リフィル業務の効率化を目的としてAIアシスタント「バート」を導入した。しかし、このシステムは予想に反して多くの問題を引き起こしている。
VTDiggerの報道によると、バートは薬剤名を不明瞭に読み上げたり、誤ったリフィルを要求したり、長期顧客のアカウントを認識できないなどの障害が頻発。顧客のキャシー・キャラハン氏は「毎日のように電話がかかってくるが、何の薬かさっぱりわからない」と述べ、混乱のまま承認した結果、不要な薬が溜まっているという。
以前はタッチトーン式の電話システムが使われており、顧客はスムーズに薬剤師と連絡が取れていた。しかし新しいAIシステムでは、キーパッド操作ができず、バートとの会話が強制される。顧客のマリア・アヴェニ氏は「バートと話さなければ薬をもらえない」と不満を漏らす。
Kinney DrugsはAI導入の目的を「反復業務の削減」と説明するが、実際にはトラブル対応で薬剤師の負担が増加。バーモント州では慢性的な薬剤師不足が続いており、スタッフへの圧力はさらに高まっている。
プライバシー面でも懸念が広がっている。AIを提供するSynerio社が顧客の健康データにアクセスするため、リスクが増大。Kinney Drugsは「適切なセキュリティ対策」を主張するが、顧客からは不信感が表明されている。バーモント大学のジョセフ・ニア准教授は「同意ベースの規制は現実的でない」と指摘。
バーモント州の新しいデータプライバシー法S.71は2028年まで発効せず、専門家はその実効性にも疑問を呈する。Kinney Drugsの顧客の中には、システムの改善が見られなければ薬局を変えると決意する人もいる。
また、AIシステムの不正確さに加え、医療情報の取り扱いに関するHIPAA法の懸念も提起されている。法律専門家は、テクノロジーが規制を上回るペースで進んでいると警告する。
農村部の顧客は代替手段が限られており、不満を抱えながらもシステムを使い続けざるを得ない状況にある。Kinney Drugsは声明で「一部の患者がバートに対して不満を感じていることを認識しており、一つ一つの懸念を検討している」と述べている。
今回の事例は、AIが医療現場にもたらす可能性とリスク、そして規制の不備を浮き彫りにした。