在沒有嚴格評估的情況下停止自動化同行評審

大型語言模型（LLMs）為解決同行評審危機提供了誘人的解決方案，但一篇被ICML 2026接收為亮點論文的立場論文《Stop Automating Peer Review Without Rigorous Evaluation》警告稱，當前的人工智慧系統不應被用於生成論文評審。該研究基於對ICLR 2026評審的人類與AI比較實驗，以及自動改寫對AI評審者影響的評估。研究團隊對比了人類評審員和多個AI模型（如GPT-4等）在ICLR 2026評審中的表現，發現AI評審員之間的評分一致性遠超人類評審員之間的平均水平，導致評審意見缺乏多樣性。具體而言，AI評審者存在“蜂巢思維”效應——它們對同一篇論文及不同論文的評審意見過度一致，嚴重降低了觀點的多樣性。第二個關鍵問題是AI評審分數極易被操縱，即透過“論文洗白”——提示大型語言模型對論文進行語言風格上的改寫即可顯著提升AI評審者的評分。實驗表明，僅透過修改論文的文體風格，AI評審員給出的評分平均提升了20%以上，而論文的科學內容並未改變。這凸顯了AI評審系統易受風格變化影響的脆弱性。然而，作者指出，不可操縱性和評審多樣性僅僅是自動化的必要條件，而非充分條件。他們呼籲，解決同行評審危機需要建立一門專門的“同行評審自動化科學”，而非在未經嚴格評估的情況下部署通用大語言模型。論文由Joachim Baumann、Jiaxin Pei、Sanmi Koyejo和Dirk Hovy共同撰寫，已被機器學習頂級會議ICML 2026的位置論文軌道接收為亮點論文。該研究為AI在學術評審中的應用敲響了警鐘，強調了在自動化之前進行徹底評估的重要性。