近年来,贝尔曼方程在基本的到达、避免和到达-避免问题中已得到充分研究,但在无折扣无限时域设置下,值最优性与策略最优性之间的关系变得微妙,尤其对于更复杂的任务。研究人员发现,贪婪地最大化Q函数可能产生无限期推迟任务完成的策略,即使值函数是最优的。这种病理现象在到达-避免问题或等价的Until规范中尤为突出。
为了解决这一问题,该团队基于近期将时序逻辑(TL)值函数分解为组成值函数图的研究成果,构建了基于状态历史的非马尔可夫策略。这些策略能够避免上述病理现象,并针对嵌套的Until、Globally和Globally-Until规范,以定量鲁棒性得分为标准证明了其最优性。
此外,论文还展示了Q函数如何作为复杂TL规范的安全过滤器,将先前仅适用于简单避免或到达-避免任务的结果扩展到更广泛的场景。该工作由Oswin So、William Sharpless、Sylvia Herbert和Chuchu Fan完成,相关论文已提交至arXiv(编号2605.01051),涵盖机器人学、人工智能、机器学习、计算机科学逻辑及优化与控制等领域。这篇论文的第一作者Oswin So来自麻省理工学院,其他作者也均来自知名研究机构。研究团队在论文中详细推导了理论结果,并通过实验验证了方法的有效性。这一成果对于推动时序逻辑在机器人任务规划中的应用具有重要意义,特别是在复杂环境中需要确保长期安全和任务完成的问题上。