新しい研究により、深層強化学習（DRL）において、凍結されたランダム初期化の畳み込みニューラルネットワーク（CNN）特徴抽出器を使用するエージェントが、明示的なスパース性誘導目的関数なしに、全結合層に非常にスパースな表現を自発的に発達させることが明らかになりました。この発見は、ランダム特徴抽出器は無秩序な表現しか生み出さず、訓練可能な特徴抽出器だけが効果的な構造を学習できるという従来の考え方に疑問を投げかけます。
実験では、古典的なAtariゲーム環境において、凍結ランダムCNNを使用すると、最初の全結合層（FC1、3136次元から64次元への写像）でごく少数のニューロンだけが活性化されることが示されました。例えば、決定論的Pongでは64個中1～3個のニューロンしか活性化されず、確率的Pongでは5～11個でした。対照的に、CNN特徴抽出器が訓練可能な場合、同じ条件下で55～64個のニューロンが活性化されました。
研究者らは4つの主要な発見をまとめています。第一に、FC1層のスパース性はタスクの複雑さとよく相関します：Pongでは1～11個、Breakoutでは19～26個、Space Invadersでは約42個の活性化ニューロンが見られました。ネットワーク幅を変える実験により、このスパース性は固定された容量比ではなく、タスク構造を反映していることが確認されました。第二に、同じゲーム内でもスケーリングが観察されました：異なるランダムシードを用いた3回のPong実験で、それぞれ5、7、11個の活性化ニューロンが得られました。5個のニューロンのシードは報酬+14で頭打ちとなりましたが、他のシードは専門家レベルの+18.4、+18.7に達し、ランダム投影の利用可能な次元が達成可能な性能を制限することを示唆しています。
第三に、アブレーション実験により、これらの活性化ニューロンの必要性が確認されました。2つの異なるPPO実装と4つのゲームにおいて、活性化ニューロンを除去すると性能が完全に崩壊し、タスクの重要な情報を担っていることが示されました。第四に、情報ボトルネックの形成は非常に早く、活性化セットはトレーニングの1500万～3000万ステップで固定されるのに対し、報酬が正になるのは3500万～10500万ステップ後でした。つまり、エージェントはどのニューロンを使うかを先に決めてから、それらを活用する方法を学びます。
さらに、Breakoutでは補完的な現象が見られました：凍結CNNを使用するエージェントと訓練可能CNNを使用するエージェントは同等の報酬に達しますが、構造的に異なる情報ボトルネックを介していました。凍結CNNは17～25個の活性化ニューロン（参加率～10～14）を使用するのに対し、訓練可能CNNは51個（参加率～3.6）を使用しました。これは、ランダム投影がエージェントをよりコンパクトな表現方法に導く可能性を示しています。
全体として、この研究は、入力次元がタスクの内在次元をはるかに超える場合、凍結されたランダム投影に対する勾配降下法が、明示的なスパース性機構なしに問題の有効ランクを明らかにできることを示しています。この発見は、深層強化学習の内部動作の理解を深めるだけでなく、意図的にランダム性を導入してスパース表現を強制し、計算効率と汎化能力を向上させる新しいアルゴリズム設計の可能性を示唆しています。