AIテキスト検出について
本稿はPangramというAIテキスト検出サービスの技術監査を行い、純粋な人間またはAI文書では高い精度を示すものの、人間とAIが混在した文書では精度が大幅に低下し、誤検出率は文体や個人のスタイルによって大きく変動することを指摘。さらに、企業が結果に過剰な信頼を置くインセンティブを持ち、それが誤った告発や信用失墜につながるリスクを論じている。
AIテキスト検出技術は、偽情報の蔓延を防ぐための重要なツールと期待されている。しかし、本稿の著者Ethan Smithは、主要なサービスであるPangramの技術監査を通じて、この技術が「真実の裁定者」としての役割を果たす準備ができていない可能性を指摘する。
Pangramの検出器は、純粋な人間の文章または純粋なAI生成の文章を扱う場合、誤検出率を0.01%まで抑えられる。しかし、人間が執筆した後にAIで修正・編集されたハイブリッド文書では、精度が著しく低下する。EditLensの報告によれば、たった一度のAI編集で、約15%の事例が完全な人間文書として分類され続ける一方、約6.5%が完全なAI文書と誤判定される。これは、一般的な執筆フローにおいてユーザーが無防備に誤判定にさらされることを意味する。
さらに厄介なのは、誤検出率が一様ではない点だ。詩歌などのジャンルでは1/200と高い頻度で誤検出が発生する。また、書き手のスタイルによって個人の誤検出率は100万分の1から100分の1まで変動する。簡潔で構造化された表現を好む人は、知らず知らずのうちにAIの言語パターンに近づき、不均衡なリスクを負うことになる。Pangramは非英語母語話者に対する偏りを低減したとされるが、現在LLMを使用して英語を学んでいる書き手は新たな課題に直面している。
技術的限界に加えて、本稿はPangramの市場ポジショニングも辛辣に批判する。同社のソーシャルメディアアカウントや従業員は、ネット上の記事を頻繁にスキャンし、AI生成であると公に非難している。この行為は事実上、「無料のマーケティング」と引き換えに検出結果への過信を促進している。証拠の検証が困難な状況では、告発は「書き手の言葉」と「検出器の判定」の間の膠着状態に陥り、法廷での嘘発見器の論争に類似する。著者は、検証可能性の欠如が新たな信頼危機を引き起こすと警告する。
本稿は、より透明性の高い評価システムを提唱する。検出器はテキストのカテゴリ（例：ハイブリッド文書）に対応する期待誤検出率を明示すべきであり、単に全体的な最適数値を示すだけでは不十分である。ベンチマークも実験室条件に依存せず、現実世界の多様なシナリオを組み込む必要がある。最終的に、AIテキスト検出の応用は、個々の違いや誤判定リスクに対する冷静な認識とともに進められなければならない。さもなければ、AI生成コンテンツの拡散を防ぐどころか、むしろ助長する結果を招きかねない。