被敘事所誘惑：評估半開放文本沙箱中的規則遵守
大型語言模型作為半開放文本遊戲環境中的自主裁判時，容易受到一種被稱為“修辭注入”的新型攻擊。攻擊者利用偽邏輯推理和權威強制等敘事技巧，繞過裁決規則。研究者提出了基於桌遊機制的CoC-Seduce基準，透過三個前沿模型生成5376個對抗樣本，測試了20個目標裁判。結果顯示，模型規模和推理機制並不能可靠地保證裁決魯棒性，且跨文化設定揭示了系統性的知識差距。
隨著大型語言模型（LLM）被越來越多地部署為半開放文本遊戲環境中的自主裁判，嚴格的規則遵守變得至關重要。這些模型因其樂於助人和順從的訓練特性，極易受到一種新型攻擊——修辭注入（Rhetorical Injection）的影響。在這種攻擊中，對抗性使用者利用偽邏輯推理（如迴圈論證、錯誤因果）和權威強制（如冒充遊戲管理員或引用虛構規則）等敘事框架技術，繞過系統的裁決邏輯，從而在規則衝突中獲勝。
為了系統性地研究這一安全漏洞，研究人員提出了CoC-Seduce，一個基於桌遊角色扮演遊戲（TRPG）機制構建的多智慧體對抗基準。TRPG是半開放環境的理想例項：規則明確用於裁決，但互動完全以自然語言進行，這與現代AI裁判系統的場景高度吻合。研究團隊使用GPT-5.4、Claude Sonnet 4.6和Gemini 3.5 Flash三個前沿模型作為對抗生成器，在4個不同的世界設定（如奇幻、科幻、歷史、現代）和16個技能類別（如說服、潛行、戰鬥）中，生成了5376個精心設計的攻擊樣本。隨後，他們對20個目標裁判模型（涵蓋不同規模及其推理變體）進行了全面的基準測試。
評估結果揭示了令人擔憂的發現：無論模型規模大小，或是否採用鏈式思維等顯式推理機制，都無法可靠地賦予裁決魯棒性。在所有測試的模型家族中，偽邏輯（Pseudo-Logic）成為最有效的攻擊向量，成功率高得驚人。此外，跨文化設定（例如，將東方神話背景的規則應用於西方模型，或反之）暴露了系統性的知識差距，導致裁決準確率顯著下降。這一發現表明，當前LLM在複雜敘事環境中的規則遵循能力存在根本性缺陷，且這種缺陷難以透過擴大模型規模或增加推理步驟來彌補。
該研究為構建更安全的AI裁判系統提供了重要啟示：單純的模型能力提升不足以抵禦敘事操縱，需要專門針對修辭注入的防禦機制。研究還強調了在非對抗性環境中也可能出現意外操縱的風險，提示開發者應重新評估依賴LLM進行規則裁決的各類應用。專案頁面（https://github.com/answerrtx/CoC-Seduce）提供了完整的基準程式碼和資料集，供學術界和工業界進一步研究和改進。