行動が消えるとき：自己対戦強化学習における敵対的行動除去
自己対戦強化学習において、攻撃者が被害者の行動セットから合法な行動を選択的に除去する敵対的行動マスキングを研究。ポーカーおよび非ポーカードメインでの実験により、学習されたマスキングはランダムマスキングや摂動ベースラインよりもはるかに大きな損害を与え、複数のRLアルゴリズムで持続し、エージェント間で転移し、自己対戦で増幅され、長期マスキング訓練でも回復しないことが示された。
新たな研究論文「行動が消えるとき：自己対戦強化学習における敵対的行動除去」がArahan KujurによってarXivに提出され、新しい攻撃手法である敵対的行動マスキング（adversarial action masking）を明らかにした。従来の攻撃手法が観測や行動を摂動するのに対し、この攻撃はエージェントが行動する前に合法な行動を直接除去し、決定オプションを排除する。この手法はより隠蔽的かつ破壊的であり、エージェントは選択可能な行動が除去されたことに気づかず、残された行動のみから選択を強いられる。
研究者らは、6から5,531の情報状態を持つ様々なポーカーゲームと2つの非ポーカードメインで実験を行った。その結果、学習されたマスキング（learned masking）はランダムマスキングや摂動ベースラインよりもはるかに大きな損害を与えることが判明した。具体的には、攻撃者はマスキング戦略を学習し、エージェントの意思決定に重要な行動を選択的に除去することで性能低下を最大化する。実験はQ学習、PPO、NFSP、ニューラルNFSP、DQNなど複数の強化学習アルゴリズムを網羅し、攻撃が全てのアルゴリズムに対して有効であることを示した。さらに、攻撃は異なるエージェント間で転移可能であり、あるエージェント向けに訓練されたマスキング戦略が別のエージェントにも成功する。特に重要なのは、エージェントが自己対戦訓練を行う場合、攻撃効果が増幅されることである。これは自己対戦中の相手も攻撃者となるため、悪循環を生じるからである。長期にわたるマスキング訓練後も被害エージェントの性能は回復せず、攻撃の永続性が示された。
攻撃のメカニズムを理解するため、研究者は2つの指標を提案した：到達可能性に基づく加重条件付き行動容量（CAC_w）と価値に基づく加重改良（CAC_v）である。CAC_wは特定の状態と到達可能性条件の下で、除去された行動の重要度を測定し、CAC_vは価値関数に基づいて重み付けする。これらの指標は、攻撃者が意思決定プロセスにおいて最も影響力のある高価値決定点を標的にしていることを明らかにした。最後に、この研究は「行動の利用可能性」（action availability）が自己対戦強化学習における独立したロバスト性の表面であることを強調し、さらなる研究を促している。論文は17ページ、2図、18表からなり、arXiv（arXiv:2605.16312）で入手可能である。