強化學習中的深度神經網絡策略往往被視為黑盒模型，難以理解和信任。近期一篇arXiv論文（2607.15459）提出了一種新穎的方法，將訓練後的深度強化學習策略轉化為可執行的Prolog邏輯程序，從而在保留性能的同時實現完全可解釋性。
該方法包含三個主要階段。首先，從凍結的近端策略優化（PPO）教師網絡中提取決策行為。其次，採用經典的關係學習方式，歸納出一個有序的規則列表，捕捉教師網絡的決策邏輯。最後，將規則列表輸出為一個Prolog程序，該程序可以在標準邏輯引擎上運行，並且支持人工閲讀和編輯。此外，研究還引入了一個擴展階段，在此階段可以對規則庫進行編輯，但只有當我們通過策略評估確認編輯能夠提升回報時才會被接受。
在理論層面，論文提供了四項關鍵保證。返回損失界限使蒸餾出的程序成為有限馬爾可夫決策過程中可機器驗證的證書。擴展循環保證單調改進並最終終止。對於連續觀察空間，研究指出基於命題閾值的實例化能夠以任意保真度轉換網絡，不一致性為O(1/B)，回報差距以相同速率縮小；同時，匹配的下界表明對於斜決策邊界，成本隨觀察維度指數增長。
實驗評估在離散和連續控制任務上進行。在具有16944個可達狀態的兩房間鑰匙門任務中，擴展後的Prolog程序在每個隨機種子下都達到了精確最優回報，並且在預算受限情況下，十次運行中有十次超過了隨機教師。在三個連續控制任務中，生成的程序能夠替代神經網絡：在Acrobot任務中用11條規則匹配了神經教師的表現，在CartPole任務中恢復了約97%的回報，而在更精細控制的LunarLander任務中僅部分恢復，這正好符合指數下界預測的上限。
這項研究展示了將深度強化學習策略轉化為可讀邏輯程序的可能性，為可解釋強化學習提供了新的工具和理論基礎。