Sem-Detect：基於語義層面的AI生成同行評審檢測方法
如何區分一篇同行評審是由人類撰寫還是AI生成？Sem-Detect方法通過結合文本特徵與聲明級語義分析，利用AI模型趨向於相似觀點而人類評審更為多樣化的觀察，在ICLR和NeurIPS的2萬餘篇評審中，將二分類情況下的[email protected]% FPR提升了25.5%。在三類場景中，僅3.5%以下的人類精煉評審被誤判為AI生成。
Sem-Detect：基於語義層面的AI生成同行評審檢測方法
在學術出版領域，同行評審是確保研究質量的關鍵環節。然而，隨着大型語言模型（LLM）的普及，如何區分一篇同行評審是由人類撰寫還是由AI生成，成為了一個日益嚴峻的挑戰。傳統的檢測方法主要依賴文本特徵，但這種方法往往忽略了評審內容中的思想、判斷和主張。為此，來自多所機構的研究人員提出了一種名為Sem-Detect的新方法，該方法將文本特徵與聲明級語義分析相結合，實現了對AI生成同行評審的高效檢測。
Sem-Detect的核心思想在於，不同的AI模型在評審同一篇論文時，往往傾向於提出相似的觀點和批評，而人類評審者則會引入更多獨特、多樣化的見解。基於這一觀察，Sem-Detect將待檢測的評審與同一篇論文的多篇AI生成評審進行比較，通過分析評審中出現的聲明和主張的相似性來判斷其來源。這種方法不僅能夠識別完全由AI生成的評審，還能檢測出那些經過LLM精煉但仍然反映人類判斷的評審。
研究團隊在來自ICLR和NeurIPS兩大頂級會議的兩萬多篇同行評審上進行了實驗。在二分類場景（區分完全AI生成與完全人類撰寫）中，Sem-Detect在0.1%假陽性率（FPR）下的真陽性率（TPR）相比最強基線提升了25.5%。在三分類場景（區分完全AI生成、完全人類撰寫以及LLM精煉的人類評審）中，實驗表明，LLM精煉的人類評審仍然保留了人類獨有的語義信號，與完全由AI生成的文本模式截然不同。因此，只有不到3.5%的LLM精煉人類評審被錯誤分類為AI生成。
Sem-Detect的提出為學術出版領域防範AI生成的虛假評審提供了有力工具。該方法不僅提高了檢測精度，還揭示了AI與人類在評審風格上的根本差異。未來，這一技術有望被集成到學術會議和期刊的評審系統中，以維護同行評審的公正性和可信度。同時，研究人員也表示，隨着AI模型的不斷進化，檢測方法也需要持續更新，以應對潛在的對抗性攻擊。
該研究發表於arXiv預印本平台（arXiv:2605.21713），作者包括André V. Duarte等五位研究人員。論文詳細描述了Sem-Detect的算法框架、實驗設置和性能分析，並討論了該方法的侷限性和未來方向。