EditLens：量化文本中AI编辑的程度
研究人员提出EditLens，一种通过轻量级相似度指标和回归模型来量化AI对文本编辑程度的新方法。该模型在人、AI和混合文本的二分类和三分类任务上达到了最先进的性能，并可用于检测Grammarly等工具的AI编辑影响，对作者归属、教育和政策具有重要意义。论文还承诺公开模型和数据集以促进进一步研究。
随着大型语言模型（LLM）的广泛应用，越来越多的用户要求AI编辑已有的文本，而非从头生成新内容。不同于以往专注于检测完全由AI生成文本的研究，来自卡内基梅隆大学等机构的研究人员提出了一种名为EditLens的新方法，旨在量化和检测人类文本中的AI编辑程度。
在题为“EditLens: Quantifying the Extent of AI Editing in Text”的论文中，研究团队首先引入了一种轻量级的相似度指标，用于比较原始人类编写文本与经过AI编辑后的文本，从而量化编辑幅度。他们通过人类标注员验证了这些指标的有效性，确保其与人类感知一致。基于这些中间监督信号，团队训练了EditLens，一个回归模型，能够预测给定文本中AI编辑的程度。
实验结果显示，EditLens在区分纯人类写作、纯AI生成以及混合（AI编辑过的人类写作）文本方面表现出色。在二分类任务（区分人类与AI写作）中，模型F1分数达到94.7%；在三分类任务（区分人类、AI和混合写作）中，F1分数达到90.4%，均为当前最优性能。此外，该模型不仅能检测文本是否被AI编辑，还能量化编辑的幅度，这为更细致的分析提供了可能。
作为实际应用案例，研究人员将EditLens应用于Grammarly这一流行的写作辅助工具。Grammarly使用AI提供语法和风格建议，但用户最终决定是否采纳。通过EditLens的分析，团队能够评估Grammarly对文本的AI编辑程度及其影响。这一能力对于理解AI辅助写作工具在真实场景中的作用至关重要。
该研究的潜在影响广泛。在作者身份识别领域，EditLens有助于判断一篇文本是否、以及多大程度上被AI修改过。在教育领域，它可用于评估学生作业中的AI使用情况，促进学术诚信。在政策层面，这项技术可能为AI辅助内容的透明度要求提供依据。研究团队承诺将公开模型和数据集，以鼓励社区进一步探索AI编辑检测这一新兴方向。
这项研究在预印本平台arXiv上发表，论文标题为“EditLens: Quantifying the Extent of AI Editing in Text”，提交日期为2025年10月3日。