EditLens：量化文本中AI編輯的程度
研究人員提出EditLens，一種通過輕量級相似度指標和迴歸模型來量化AI對文本編輯程度的新方法。該模型在人、AI和混合文本的二分類和三分類任務上達到了最先進的性能，並可用於檢測Grammarly等工具的AI編輯影響，對作者歸屬、教育和政策具有重要意義。論文還承諾公開模型和數據集以促進進一步研究。
隨着大型語言模型（LLM）的廣泛應用，越來越多的用户要求AI編輯已有的文本，而非從頭生成新內容。不同於以往專注於檢測完全由AI生成文本的研究，來自卡內基梅隆大學等機構的研究人員提出了一種名為EditLens的新方法，旨在量化和檢測人類文本中的AI編輯程度。
在題為“EditLens: Quantifying the Extent of AI Editing in Text”的論文中，研究團隊首先引入了一種輕量級的相似度指標，用於比較原始人類編寫文本與經過AI編輯後的文本，從而量化編輯幅度。他們通過人類標註員驗證了這些指標的有效性，確保其與人類感知一致。基於這些中間監督信號，團隊訓練了EditLens，一個迴歸模型，能夠預測給定文本中AI編輯的程度。
實驗結果顯示，EditLens在區分純人類寫作、純AI生成以及混合（AI編輯過的人類寫作）文本方面表現出色。在二分類任務（區分人類與AI寫作）中，模型F1分數達到94.7%；在三分類任務（區分人類、AI和混合寫作）中，F1分數達到90.4%，均為當前最優性能。此外，該模型不僅能檢測文本是否被AI編輯，還能量化編輯的幅度，這為更細緻的分析提供了可能。
作為實際應用案例，研究人員將EditLens應用於Grammarly這一流行的寫作輔助工具。Grammarly使用AI提供語法和風格建議，但用户最終決定是否採納。通過EditLens的分析，團隊能夠評估Grammarly對文本的AI編輯程度及其影響。這一能力對於理解AI輔助寫作工具在真實場景中的作用至關重要。
該研究的潛在影響廣泛。在作者身份識別領域，EditLens有助於判斷一篇文本是否、以及多大程度上被AI修改過。在教育領域，它可用於評估學生作業中的AI使用情況，促進學術誠信。在政策層面，這項技術可能為AI輔助內容的透明度要求提供依據。研究團隊承諾將公開模型和數據集，以鼓勵社區進一步探索AI編輯檢測這一新興方向。
這項研究在預印本平台arXiv上發表，論文標題為“EditLens: Quantifying the Extent of AI Editing in Text”，提交日期為2025年10月3日。