強化学習における深層ニューラルネットワークポリシーは、しばしばブラックボックスと見なされ、理解や信頼が困難です。最近のarXiv論文（2607.15459）は、訓練後の深層強化学習ポリシーを実行可能なProlog論理プログラムに変換し、性能を維持しながら完全な説明可能性を実現する新しい手法を提案しています。
この手法は主に3つの段階から構成されます。まず、凍結された近接ポリシー最適化（PPO）教師ネットワークから行動決定を抽出します。次に、古典的な関係学習の手法に従い、決定を捉える順序付きルールリストを帰納します。最後に、ルールリストを標準の論理エンジンで実行可能なPrologプログラムとして出力します。さらに、ルールベースを編集する拡張段階が導入され、ポリシー評価がリターンの向上を保証した場合のみ編集が受け入れられます。
理論的な側面として、論文は4つの重要な保証を提供します。リターン損失限界により、蒸留されたプログラムは有限マルコフ決定過程における機械検証可能な証明書となります。拡張ループは単調改善と終了を保証します。連続観測空間では、命題閾値インスタンス化によってネットワークを任意の忠実度で変換可能であり、不一致はO(1/B)で、リターンギャップも同じ速度で縮小します。一方、斜め決定境界では観測次元に対して指数関数的なコストがかかるという一致する下界も示されています。
実験評価は離散および連続制御タスクで行われました。16944の到達可能状態を持つ2部屋鍵・ドアタスクでは、拡張後のPrologプログラムが全てのシードで正確な最適リターンを達成し、予算制限下では10回中10回で確率的教師を上回りました。3つの連続制御タスクでは、生成されたプログラムがネットワークを代替し、Acrobotタスクで11の節でニューラル教師と一致、CartPoleで約97%のリターンを回復しました。一方、より精密な制御が必要なLunarLanderでは部分的な回復にとどまり、これは指数下界が予測する上限と正確に一致します。
この研究は、深層強化学習ポリシーを可読な論理プログラムに変換する可能性を示し、説明可能な強化学習に新しいツールと理論的基盤を提供します。