「A Systematic Analysis of Linguistic Features in AI-Generated Text Detection Across Domains and Models」と題されたプレプリント論文がarXivに公開された。著者はYassir El Attarら4名である。この研究は、AI生成テキスト検出における重要な空白に取り組んでいる。解釈可能な言語的特徴は、なぜテキストが機械生成されたように見えるかを非専門家ユーザーに説明する有望なアプローチを提供するが、どの特徴がLLM生成テキストを確実に示すかに関する既存の知見は、特徴セット、モデル、テキスト領域をまたいで断片的なままである。
このギャップを埋めるため、研究チームはAI生成テキストを特徴づける言語信号の頑健性を評価する大規模実証研究を実施した。分析は284の解釈可能な言語的特徴を対象とし、27の大規模言語モデル(LLM)からの出力と10の異なるテキスト領域を、クロスモデルおよびクロスドメインの汎化設定の下でカバーしている。この設計により、研究者は特定のシナリオだけでなく、異なるモデルファミリーやテキストタイプ間で一貫性を持つ言語的特徴を検証できる。
研究は主に二つの結論を導き出した。第一に、言語的特徴のみに基づいて構築された分類器は、AI生成テキストと人間が書いたテキストを確実に区別できる。これは言語的特徴自体が十分な識別情報を持っていることを示す。第二に、先行研究で提案された多くの指標は強い文脈依存性を持つことが判明した。すなわち、その識別能力はモデルや領域の変化によって大きく変動し、汎用指標としては信頼できない。
しかし、重要な例外がある。語彙的豊かさ(lexical richness)の指標である。この研究では、こうした指標が異なるモデルファミリーとテキスト領域の両方で頑健な信号を維持し、文脈を超えて最も汎化能力の高い言語的特徴カテゴリーであることが示された。この発見は、より信頼性が高く解釈可能なAI生成テキスト検出ツールの開発に直接的な意義を持つ。
著者らは、これらの結果がどの言語信号が文脈を超えて汎化するかを明らかにし、AI生成言語のより信頼性が高く解釈可能な分析の基盤を提供すると述べている。本論文は計算言語学(cs.CL)と人工知能(cs.AI)の学際領域に属し、2026年6月2日に投稿されたプレプリントであり、まだ査読を受けていない。