跨領域與模型的人工智能生成文本檢測中語言特徵的系統分析
一項大規模實證研究分析了284個可解釋語言特徵在27個LLM和10個文本領域中的魯棒性,發現僅基於語言特徵的分類器能可靠區分AI生成與人類文本,但多數特徵依賴上下文,而詞彙豐富度是跨模型和領域的穩健信號。
近年來,隨着大型語言模型(LLM)的廣泛應用,如何可靠檢測AI生成文本成為自然語言處理領域的一個重要課題。可解釋的語言特徵因其直觀性而備受關注,尤其對非專家用户而言,它們能夠幫助理解為何一段文本顯得像機器生成。然而,現有關於哪些語言特徵能穩定指示LLM生成文本的結論,往往因特徵集、模型和文本領域的不同而碎片化,缺乏系統性的綜合評估。
為了填補這一空白,Yassir El Attar及其同事開展了一項大規模實證研究,系統評估了284個可解釋語言特徵在區分AI生成文本與人類撰寫文本時的魯棒性。該研究覆蓋了來自27種不同LLM的輸出,並涉及10個文本領域,包括新聞、科學論文、社交媒體等。實驗在跨模型和跨領域泛化設置下進行,以確保結論的普遍性。
研究結果顯示,僅基於這些語言特徵的分類器就能以高可靠性區分AI生成與人類撰寫的文本。然而,多數先前被提議的指示符表現出強烈的上下文依賴性,它們在不同模型或領域間的表現差異顯著。例如,某些特徵在特定模型下效果良好,但遷移到其他模型後性能急劇下降。唯一的例外是詞彙豐富度相關指標,如詞彙多樣性、罕見詞比例等,這些特徵無論面對何種模型家族或文本領域,始終能提供穩定的信號。這表明,詞彙豐富度是跨情境泛化能力最強的語言特徵。
這些結果明確了哪些語言信號能在不同上下文中泛化,為構建更可靠、可解釋的AI生成語言分析系統奠定了基礎。該研究以預印本形式於2026年6月2日提交至arXiv,論文編號為2606.04177,作者包括Yassir El Attar等四人。該工作不僅有助於提升AI生成文本檢測的準確性,還為非專家用户創建了更透明的檢測工具。未來,研究者可基於此進一步探索多模態特徵或結合深度學習模型,以實現更全面的檢測方案。