Bixonimania – AI 上當的假疾病
一位研究人員製造了一種假疾病來測試AI，結果AI聊天機器人完全被騙了。這個實驗揭示了AI醫療建議的潛在風險，以及訓練資料缺乏人工審查的問題。
文章情報
要點
- 研究人員建立了虛構的皮膚疾病“bixonimania”並散佈在網路中。
- AI聊天機器人如ChatGPT將其視為真實疾病。
- 假論文被其他研究引用，進一步增強了AI的錯誤認知。
- 實驗呼籲對AI醫療資訊進行更嚴格的審查和人類監督。
為什麼重要
這條新聞值得關注，因為研究人員建立了虛構的皮膚疾病“bixonimania”並散佈在網路中。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
瑞典哥德堡大學的研究員阿爾米拉·奧斯馬諾維奇·桑斯特倫（Almira Osmanovic Thunström）進行了一項發人深省的實驗，旨在揭示大型語言模型（LLM）在醫療資訊方面的脆弱性。她虛構了一種名為“bixonimania”的皮膚疾病，這種疾病據說由長時間盯著螢幕引起，症狀包括眼皮發紅、發癢。為了測試AI是否會接受這一虛構疾病，桑斯特倫精心構建了一整套虛假的學術支援體系：她建立了一個名為“因特哈大學”的不存在大學，並虛構了一位主要研究員“拉茲利夫·伊茲古佈列諾維奇”——這個名字在谷歌翻譯中直譯為“說謊的失敗者”。她還在多個部落格和社交媒體上散佈了關於bixonimania的描述，併發布了一篇預印本論文，論文標題為“色素沉著過度：真正的廢話設計”，方法部分直接宣告“整篇論文是編造的，50名虛構個體接受了不存在的手術”。致謝部分更是離譜，感謝了“銀河三頭體制”、“指環王”、“星艦企業”的同事們，以及《老友記》中的羅斯·蓋勒教授和《辛普森一家》中的雜耍鮑勃基金會。這些明顯是惡作劇的線索本應被任何人識破，但AI系統卻全盤接收。
桑斯特倫利用的是Common Crawl——一個自2007年起爬取網際網路資訊的非營利組織。她明白，任何被爬取的資料都可能成為AI的訓練材料。她故意只散佈了少量資訊，並未進行大規模宣傳，但很快發現，AI不僅收錄了部落格內容，那篇漏洞百出的預印本論文也被納入模型。當桑斯特倫向AI聊天機器人描述bixonimania的症狀時，AI首先會提出結膜炎、過敏等常見原因，但在使用者逐一否定並提到長時間看螢幕後，AI最終會建議bixonimania作為一種可能診斷。儘管這並非首選，但表明AI已經將虛構疾病列入了考慮範圍。更令人擔憂的是，她的假論文後來被其他學術論文引用，這進一步強化了AI對bixonimania“真實性”的認知，因為引用來源增加了可信度。
桑斯特倫強調，這個實驗凸顯了當前AI訓練流程中人類監督的嚴重缺失。儘管AI系統被廣泛應用於醫療諮詢，但它們很容易被惡意行為者透過注入虛假資訊所操縱。她呼籲在AI特別是醫療AI的應用中，需要更多的人類干預和倫理審查，以防止虛假資訊的傳播。同時，她也指出，人類自身對資訊來源的批判性思維正在減弱，這加劇了風險。這項研究不僅對技術開發者敲響警鐘，也提醒普通使用者對AI提供的醫療建議保持高度警惕。在數字化時代，我們需要更加重視資訊分發、使用和操作的倫理問題。