近年來,貝爾曼方程在基本的到達、避免和到達-避免問題中已得到充分研究,但在無折扣無限時域設置下,值最優性與策略最優性之間的關係變得微妙,尤其對於更復雜的任務。研究人員發現,貪婪地最大化Q函數可能產生無限期推遲任務完成的策略,即使值函數是最優的。這種病理現象在到達-避免問題或等價的Until規範中尤為突出。
為了解決這一問題,該團隊基於近期將時序邏輯(TL)值函數分解為組成值函數圖的研究成果,構建了基於狀態歷史的非馬爾可夫策略。這些策略能夠避免上述病理現象,並針對嵌套的Until、Globally和Globally-Until規範,以定量魯棒性得分為標準證明了其最優性。
此外,論文還展示了Q函數如何作為複雜TL規範的安全過濾器,將先前僅適用於簡單避免或到達-避免任務的結果擴展到更廣泛的場景。該工作由Oswin So、William Sharpless、Sylvia Herbert和Chuchu Fan完成,相關論文已提交至arXiv(編號2605.01051),涵蓋機器人學、人工智能、機器學習、計算機科學邏輯及優化與控制等領域。這篇論文的第一作者Oswin So來自麻省理工學院,其他作者也均來自知名研究機構。研究團隊在論文中詳細推導了理論結果,並通過實驗驗證了方法的有效性。這一成果對於推動時序邏輯在機器人任務規劃中的應用具有重要意義,特別是在複雜環境中需要確保長期安全和任務完成的問題上。