強化學習中的深度神經網路策略往往被視為黑盒模型，難以理解和信任。近期一篇arXiv論文（2607.15459）提出了一種新穎的方法，將訓練後的深度強化學習策略轉化為可執行的Prolog邏輯程式，從而在保留效能的同時實現完全可解釋性。
該方法包含三個主要階段。首先，從凍結的近端策略最佳化（PPO）教師網路中提取決策行為。其次，採用經典的關係學習方式，歸納出一個有序的規則列表，捕捉教師網路的決策邏輯。最後，將規則列表輸出為一個Prolog程式，該程式可以在標準邏輯引擎上執行，並且支援人工閱讀和編輯。此外，研究還引入了一個擴充套件階段，在此階段可以對規則庫進行編輯，但只有當我們透過策略評估確認編輯能夠提升回報時才會被接受。
在理論層面，論文提供了四項關鍵保證。返回損失界限使蒸餾出的程式成為有限馬爾可夫決策過程中可機器驗證的證書。擴充套件迴圈保證單調改進並最終終止。對於連續觀察空間，研究指出基於命題閾值的例項化能夠以任意保真度轉換網路，不一致性為O(1/B)，回報差距以相同速率縮小；同時，匹配的下界表明對於斜決策邊界，成本隨觀察維度指數增長。
實驗評估在離散和連續控制任務上進行。在具有16944個可達狀態的兩房間鑰匙門任務中，擴充套件後的Prolog程式在每個隨機種子下都達到了精確最優回報，並且在預算受限情況下，十次執行中有十次超過了隨機教師。在三個連續控制任務中，生成的程式能夠替代神經網路：在Acrobot任務中用11條規則匹配了神經教師的表現，在CartPole任務中恢復了約97%的回報，而在更精細控制的LunarLander任務中僅部分恢復，這正好符合指數下界預測的上限。
這項研究展示了將深度強化學習策略轉化為可讀邏輯程式的可能性，為可解釋強化學習提供了新的工具和理論基礎。