AI検出を回避する小さな実験
著者はClaude Code、10の並列エージェント、基本的なテクニックを使ってAI検出を回避しようとしたが失敗した。複数の試行(Wikipediaルールの使用、Pangram APIフィードバック、特定著者のスタイル模倣など)はすべて効果がなかった。唯一成功したのは自身の記事を手動で書き直したケースで、AIスコアが0.84から0.00に低下した。
本稿では、著者がAI検出を回避しようと試みた興味深い実験を紹介する。著者は以前、Claude Code(Opus 4.6/4.7/4.8)と多くのやり取りを重ねながら「LLMスタックを頭の中に保持する」シリーズ(全84記事)を作成した。大量の「人間」によるプロンプトと修正を加えたにもかかわらず、Pangram APIで検出すると、ほぼすべての記事が100% AI生成と判定された。これを受けて、著者は一連の防御テストを設計した。
第1ラウンドでは、10の並列エージェントにWikipediaの「AIライティングの兆候」ページを提供し、それに基づいて各記事を編集させた。編集は「This separation is crucial」を「This separation matters」に変更するなど細かいものだったが、検出結果は変わらなかった。
第2ラウンドでは、エージェントがPangram APIを直接呼び出してAIスコアを取得し、「人間」ラベルが得られるまで反復できるようにした。しかし、すべての記事のスコアは0.77以上で、一つも「人間」と判定されなかった。著者は、エージェントがファイル編集ツールを使用するため既存の構造を維持しがちであると推測し、新規ファイルを一から作成させたが、結果は同じだった。
さらに、人間執筆の有名テックブログ(Olah、Karpathy、Alammar、Weng、Ruderの各氏)をテストしたところ、すべて0% AIと判定された。一方、著者のAI支援記事は0.99。
特定の著者のスタイルを模倣する試み(Andrej Karpathyの8記事をコンテキストとして提供)も失敗。AIが模倣したテキストは1.00 AIと判定された。
唯一の成功例は、著者が自身の短い記事「My Throw Decides My Aim」を手動で書き直したケースである。AI支援で作成した原稿は0.84だったが、255語の手書き版で0.00となり、「人間」ラベルを獲得した。
著者は、実験は検出を欺けなかったものの、非常に学びが多かったと述べている。また、より巧妙な戦略(例:オープンウェイトのAI検出モデルを夜間にループさせる)を試す可能性に言及しつつ、Pangramツールの有効性を認めている。