基於大語言模型的科學同行評審：方法、基準與可靠性挑戰

隨着學術論文投稿量的持續增長，傳統同行評審體系正面臨前所未有的可擴展性挑戰。為了應對這一困境，研究人員開始探索利用大語言模型（LLM）作為智能自動化評估助手。儘管已有研究表明，LLM能夠生成流暢的評審意見並給出與人類評審者相近的評分，但它們在可靠性、魯棒性和安全性方面的表現仍不足以支撐其作為決策支持系統的應用。

近日，一篇發表於arXiv的綜述論文對基於LLM的科學同行評審進行了系統級分析，重點關注兩項核心評估功能：評語生成與評分預測。該論文由Thi Huyen Nguyen和Zahra Ahmadi撰寫，於2026年6月23日提交，論文編號為2606.25057。研究團隊構建了一個結構化的建模方法分類體系，涵蓋基於提示的方法、監督學習方法、檢索增強方法和對齊優化方法，並綜合了現有基準測試中的實證結果。

論文進一步分析了當前評估實踐中的侷限性，包括數據集約束、評估缺陷以及領域集中偏差。例如，現有數據集可能無法覆蓋所有學科領域，導致模型在不同學術領域的泛化能力受限。此外，評估指標本身也可能存在偏差，從而影響對LLM性能的準確判斷。

除了性能指標外，論文還識別出多種新興魯棒性風險，這些風險可能使自動化評審流程遭受策略性操縱。具體包括提示注入（對手通過構造惡意提示誤導模型）、數據投毒（在訓練數據中植入惡意樣本）、檢索漏洞（利用檢索增強模塊的弱點）和獎勵破解（通過優化獎勵函數來欺騙模型）。這些攻擊手段可能導致評審結果被篡改，進而影響學術決策的公正性。

從數據挖掘的視角出發，論文概述了建模主觀分歧和跨領域泛化等關鍵開放挑戰。不同評審者之間可能存在顯著的主觀分歧，而LLM如何建模這種分歧仍是一個難題。同時，模型在跨領域應用時往往表現不佳，如何提升其泛化能力也是未來研究的重要方向。

該綜述將自動化同行評審重新定義為一種高風險、多目標的決策問題，並在此基礎上提出了開發魯棒、透明且值得信賴的AI輔助科學評估系統的路線圖。論文強調，未來的研究需要兼顧性能提升與安全性保障，以確保AI評審系統能夠真正為學術社區所接受。