EditLens：テキスト内のAI編集の程度を定量化する

大規模言語モデル（LLM）の普及に伴い、ユーザーはゼロから新しいテキストを生成するよりも、既存の人間が書いたテキストをAIに編集させるケースが増えています。これまでの研究は完全にAI生成されたテキストの検出に焦点を当てていましたが、カーネギーメロン大学などの研究者らは、AI編集されたテキストを検出・定量化する新しい手法「EditLens」を提案しました。

「EditLens: Quantifying the Extent of AI Editing in Text」と題された論文で、研究チームはまず、元の人間執筆テキストとAI編集後のテキストを比較する軽量な類似度指標を導入しました。これらの指標は人間のアノテーターによって検証され、人間の知覚と一致することが確認されました。この中間教師信号を用いて、チームは回帰モデルEditLensを訓練し、テキスト内のAI編集の程度を予測できるようにしました。

実験結果は、EditLensが純粋な人間執筆、完全なAI生成、および人間執筆にAI編集を加えた混合テキストの区別において優れた性能を示しました。二項分類（人間対AI）ではF1スコア94.7%、三項分類（人間、AI、混合）ではF1スコア90.4%を達成し、いずれも最先端の結果です。さらに、このモデルはテキストがAI編集されたかどうかだけでなく、編集の度合いも検出できるため、より詳細な分析が可能です。

実際の応用として、研究者らはEditLensを人気のライティング支援ツールGrammarlyに適用しました。GrammarlyはAIを使って文法やスタイルの提案を行いますが、ユーザーがその提案を受け入れるかどうかを決定します。EditLensによる分析により、チームはGrammarlyがテキストに与えるAI編集の程度と影響を評価することができました。この能力は、現実世界のシナリオにおけるAI支援ライティングツールの役割を理解する上で重要です。

この研究の潜在的な影響は広範囲に及びます。著者特定の分野では、EditLensはテキストがAIによってどの程度修正されたかを判断するのに役立ちます。教育分野では、学生の課題におけるAI使用を評価し、学術的誠実性を促進するために使用できます。政策レベルでは、この技術はAI支援コンテンツの透明性要件の根拠となる可能性があります。研究チームは、モデルとデータセットを公開し、AI編集検出という新たな方向性のさらなる研究を促進することを約束しています。

この研究はプレプリントサーバーarXivに2025年10月3日に提出されました。