物語に惑わされる：半開放テキストサンドボックスにおけるルール順守の評価

大規模言語モデル（LLM）が半開放テキストゲーム環境の自律的な審判としてますます導入される中、ユーザーの意図がシステムルールと衝突する場合、堅牢なルール順守が極めて重要になっています。しかし、これらのモデルは親切で従順になるように訓練されているため、「レトリカルインジェクション」と呼ばれる新たな攻撃に対して脆弱です。この攻撃では、敵対的なユーザーが疑似論理的推論（例えば、循環論法や誤った因果関係）や権威的強制（例えば、ゲームマスターを装ったり、架空のルールを引用する）といったナラティブフレーミング技術を悪用し、審判ロジックを回避します。

この問題を体系的に調査するため、研究チームはテーブルトークロールプレイングゲーム（TRPG）のメカニクスに基づいたマルチエージェント対抗ベンチマーク「CoC-Seduce」を開発しました。TRPGは半開放環境の理想的な例であり、ルールは審判のために明示されていますが、対話は完全に自然言語で行われます。研究チームは、GPT-5.4、Claude Sonnet 4.6、Gemini 3.5 Flashの3つの最先端モデルを対抗生成器として使用し、4つの世界設定（ファンタジー、SF、歴史、現代）と16のスキルカテゴリ（説得、隠密、戦闘など）にわたる5,376のサンプルを生成しました。その後、20のターゲット審判モデル（さまざまな規模とその推論バリアントを含む）に対して包括的なベンチマークを実施しました。

評価結果は憂慮すべきものでした。モデルの規模や、チェーン・オブ・ソートなどの明示的な推論メカニズムの有無にかかわらず、審判の堅牢性を確実に付与することはできませんでした。すべてのテストされたモデルファミリーにおいて、疑似論理（Pseudo-Logic）が最も効果的な攻撃ベクトルとして浮上し、成功率は驚くほど高くなりました。さらに、異文化設定（例えば、東洋神話の背景ルールを西洋モデルに適用する、またはその逆）では、体系的な知識ギャップが明らかになり、審判の正確性が著しく低下しました。この発見は、現在のLLMが複雑なナラティブ環境においてルールを順守する能力に根本的な欠陥があり、その欠陥はモデル規模の拡大や推論ステップの追加だけでは補えないことを示しています。

本研究は、より安全なAI審判システムを構築するための重要な洞察を提供します。単なるモデル能力の向上ではナラティブ操作に耐えることはできず、レトリカルインジェクションに特化した防御メカニズムが必要です。また、非敵対的環境でも意図しない操作が発生するリスクがあることを強調し、LLMにルール審判を依存するさまざまなアプリケーションの再評価を促しています。プロジェクトページ（https://github.com/answerrtx/CoC-Seduce）では、ベンチマークの完全なコードとデータセットが提供されており、学界や産業界でのさらなる研究と改善が期待されます。