Bixonimania – AIが信じた偽の病気

スウェーデンのヨーテボリ大学の研究者アルミラ・オスマノビッチ・トゥンストレーム（Almira Osmanovic Thunström）は、大規模言語モデル（LLM）が医療情報においていかに脆弱かを示す示唆に富む実験を行った。彼女は「bixonimania」という架空の皮膚疾患をでっち上げ、その症状（まぶたの発赤、かゆみ）を、長時間の画面視聴が原因と説明した。AIがこの偽の疾患を信じるかどうかをテストするため、トゥンストレームは精巧な虚偽の学術的支援システムを構築した。架空の都市にある「インターハ大学」という存在しない大学を作り、主著者として「Lazljiv Izgubljenovic」という名前を設定——この名前をGoogle翻訳にかけると「嘘つきの敗北者」と訳される。さらに、複数のブログやソーシャルメディアにbixonimaniaの記述をばらまき、プレプリント論文も発表した。論文のタイトルは「色素沈着過剰：本物のデタラメ設計」、方法のセクションには「この論文全体は作り話であり、存在しない50人の被験者がこの手順を受けた」と明記。謝辞では「銀河三頭体制」「ロード・オブ・ザ・リング」「スターシップ・エンタープライズ」の同僚たち、さらには『フレンズ』のロス・ゲラー教授や『ザ・シンプソンズ』のサイドショー・ボブ財団からの資金提供に感謝していた。これらは明らかな悪ふざけの手がかりであるが、AIシステムはそれらをすべて真に受けた。

トゥンストレームはCommon Crawl——2007年からインターネット上の情報をクロールする非営利団体——を利用した。彼女は、クロールされたデータはAIの訓練材料になると知っており、意図的に少量の情報だけを散布し、大規模なキャンペーンは行わなかった。しかし、すぐにブログの内容だけでなく、欠陥だらけのプレプリント論文もAIモデルに取り込まれていることに気づいた。AIチャットボットにbixonimaniaの症状を説明すると、まず結膜炎やアレルギーなどの一般的な原因を挙げるが、ユーザーがそれらを否定し、長時間の画面視聴を認めると、最終的にbixonimaniaを可能性の一つとして提案する。これは最初の選択肢ではないが、AIが虚構の疾患を考慮リストに加えたことを示す。さらに悪いことに、彼女の偽の論文は後に他の学術論文に引用され、引用元が信頼性を高めたため、AIのbixonimaniaに対する「真実」認識が強化された。

トゥンストレームは、この実験が現在のAI訓練プロセスにおける人間の監視の深刻な欠如を浮き彫りにしていると強調する。AIシステムは医療相談に広く使われているが、悪意のある者が情報を注入することで簡単に操作される可能性がある。彼女は、特に医療AIにおいては、より多くの人間の介入と倫理的審査が必要だと訴える。同時に、人間自身が情報源に対する批判的思考を失いつつあることも問題だ。この研究は、技術開発者に警告を発するだけでなく、一般ユーザーに対してAIの医療アドバイスに警戒するよう促している。デジタル化された世界では、情報の配布、使用、操作に関する倫理にもっと関心を払うべきだと彼女は結論づけている。