人工智能研究論文質量提升，卻給科學家帶來大問題

去年夏天，蘇黎世大學可重複科學中心的博士後研究員彼得·德根接到導師的一個不尋常任務：他的一篇論文被引用過度了。這篇2017年發表的論文評估了流行病學數據中某種統計分析的準確性，多年來只獲得幾十次引用，但如今每隔幾天就被引用一次，總數已達數百次，成為他職業生涯中被引用最多的論文之一。導師讓他調查原因。

德根發現，這些引用論文都遵循類似模式：它們都在分析全球疾病負擔研究——一個由華盛頓大學健康指標與評估研究所編制的公開數據集。但研究者們利用該數據集不斷產出預測：20歲以上人羣中風的概率、年輕人睾丸癌的風險、中國老年人跌倒的可能性、全穀物攝入不足者結直腸癌的發病率……如此種種。

在GitHub上搜索相關代碼後，德根順藤摸瓜找到了中國社交媒體網站Bilibili，發現廣州一家公司兜售教程，宣稱可在兩小時內利用其軟件工具和AI寫作輔助製作出可發表的研究。這些研究質量堪憂——有學者分析其中關於頭痛的子集後，發現錯誤和曲解比比皆是。但它們並不像早期AI生成論文那樣明顯荒謬，因此更難被篩選出來。

“這對本已不堪重負的同行評審系統是巨大的負擔，”德根説，“發表的論文太多，評審者太少。如果大語言模型讓批量生產論文變得如此容易，系統將達到臨界點。”

儘管生成式AI的樂觀者寄望其加速科學發現、消除癌症等，但目前該技術正衝擊科研的支柱之一——編輯和評審者被無盡論文淹沒。矛盾的是，AI技術越能生成合格的論文，危機就越嚴重。

過去十年，學術出版界一直在應對所謂“論文工廠”——批量生產論文並提供作者席位的地下公司。這是一場貓鼠遊戲：出版商在科學偵探的幫助下堵上一個漏洞，工廠又找到新漏洞。生成式AI幫助工廠繞過剽竊檢測器，但早期AI的幻覺使出版商理論上可以篩查。實際上，論文仍會漏網，直到偵探發現標註着“testtomcels”的巨型睾丸老鼠圖，或殘留着“作為AI助手”字樣的文稿。

如今AI已能幾乎獨立撰寫出令人信服的論文，使得急需發表的學者可以自己製造論文。結果是一股科學垃圾洪流，可能淹沒出版、同行評審、資助和整個研究體系。

薩里大學健康與生物醫學數據分析講師兼《科學報告》副編輯馬特·斯皮克首次注意到該現象是收到三篇分析美國國家健康與營養調查的極其相似的論文。他在谷歌學術上發現，引用該數據集並遵循同一模板的論文突然爆炸式增長，每篇都宣稱發現某種關聯，如吃核桃與認知功能、喝脱脂牛奶與抑鬱症。

“只要有足夠算力，你可以測量所有成對關聯，最終找到沒人寫過的，然後發表：A和B之間存在關聯。”斯皮克説，這些關聯往往是誤導性簡化或統計巧合。例如，“受教育年限會導致術後疝氣併發症——這是隨機相關性，難道要我退學以免以後得疝氣？”

多年來，偵探們開發出多種檢測虛假論文的方法：尋找“扭曲詞組”、追蹤重複圖像、作者網絡分析、檢查虛構引用等。斯皮克則尋找分析公共數據集的模板化論文。這些論文未必錯誤，但通常具有誤導性，也不嚴格算欺詐，只是無用且變得極易製造。去年，多家期刊開始限制基於公共數據集的投稿，以應對冗餘研究洪流。

斯皮克擔心這些措施可能是在打上一場戰爭。最近AI公司發佈了各種“智能體”科學助手，能夠分析數據、提出假設並撰寫論文。儘管可能是AI加速科學的步驟，但也帶來新風險。卡內基梅隆大學的研究人員測試後，發現它們有時會捏造數據或使用誤導性技術，但錯誤只有在分析完整工作流程時才明顯，最終論文外觀精美。

今年早些時候，OpenAI推出論文寫作助手Prism。斯皮克和同事用已發表論文的數據測試：Prism分析了茄子辣椒成熟時間的數據，提出新統計方法，並撰寫了包括圖表和正確引用的完整論文，耗時25分50秒。斯皮克感嘆：“我們都面面相覷：‘這居然是篇像樣的作品！’”與以前不同，這篇沒有模板，也沒用單一知名數據庫。

“我真的不確定何時我們會意識到，漏網的比預想的多，因為我們再也分不清了。”斯皮克説。他提出哲學問題：如果信息準確，論文由誰或什麼撰寫重要嗎？科學應該發表每一個可能的事實嗎？

“科學的一部分應該是過濾器。我們發表有趣的東西，而不是所有可能發現的東西。否則科學只是用數據垃圾郵件轟炸世界，中期內幾乎無法區分哪些有意義。”

這是AI智能體帶來的直接實際挑戰。它們可能淹沒創造和組織知識的人類系統。資助者面對大量針對性極強的申請書，無法辨別哪些是多年工作的延續，哪些是幾分鐘內生成的。會議組織者、期刊編輯和同行評審者都在努力篩選看似合理的材料。生產和審核所需時間的差距巨大且不斷增長。

《安全對話》執行編輯瑪裏特·莫-普萊斯的投稿量同比翻了一番。更麻煩的是：所有投稿都變得相當不錯。明顯的幻覺和遺留提示消失了，所有文章都變得連貫、結構良好、風格相似，難以判斷是完全生成的論文、經驗豐富的學者還是用AI潤色的年輕學者。

“我們目前面臨的主要問題是，欺詐和學術的界限模糊了，變成一大片灰色地帶。我們編輯必須坐下來琢磨：‘這是什麼？需要處理嗎？’”莫-普萊斯説。一篇論文通過了至少10名編輯和兩輪同行評審，直到她注意到了一個虛假引用——非常逼真，涉及幾位前編輯，主題他們可能寫過但實際沒有。她又發現了更多。她不知道幻覺是在哪個修訂階段引入的，但這次驚險事件突顯了確保不發表假材料所需的謹慎。隨着模型越來越能引用真實論文，她需要閲讀引文是否是專家會使用的，因為AI尚未掌握經典文獻與邊緣工作的區別。

“這是極其細緻的工作，本是編輯的常規。區別在於，現在你必須對湧入的所有垃圾都這麼做。這就是為什麼工作量變得不堪忍受。”

學術論文在發表前要經過多階段審查：初步篩選、送到主編、副主編、再招募兩名專家評審。編輯和評審者通常無償工作。系統本就承受着投稿量增長的壓力，現在AI既增加了數量，又提高了篩選難度。莫-普萊斯花更多時間分類論文，而評審者自己也被淹沒，越來越不願審稿。

“同行評審系統已經過時了，”論文工廠研究者伊麗莎白·比克説，“它最初是為另一個時代設計的，再也無法應對這種數量。如果要求專家審閲60頁論文，每週三次，免費，系統會崩潰。我們已經看到裂縫。”

面對這些挑戰，研究機構正探索新方法。一些期刊使用AI檢測工具，但只部分有效。更激進的方案是改變出版模式，例如強制公開數據、使用結構化報告、或轉向分佈式分類系統。但斯皮克和莫-普萊斯表示，在更根本的解決方案出現之前，學術界將繼續應對AI生成論文的浪潮。

“這不僅僅是技術問題，也是文化問題。”斯皮克説，“我們需要重申出版物中哪些東西有價值，而不僅僅是發表所有可能的內容。”