一种基于fNIRS引导的离线强化学习方法用于机器人行为
本文探索了利用功能性近红外光谱（fNIRS）脑信号来调节机器人强化学习的可行性。研究比较了被动（观察）和主动（演示）交互任务中的智能体训练，并测试了多种增强RL算法的方法，重点关注参数增强而非替换。结果表明，该框架有效：脑信号在增强轨迹优先级和状态-动作Q值时改善了学习。此外，该框架能成功从离线数据中学习，为实时脑机接口设置不实用或数据有限的情况提供了实用替代方案。
近日，一篇发表于arXiv的研究论文深入探讨了如何利用功能性近红外光谱（fNIRS）采集的脑信号来指导机器人强化学习。该研究由Julia Santaniello等人完成，提出了一种新颖的离线学习方法，旨在克服实时脑机接口（BCI）在实际应用中的诸多限制。
研究人员设计了两种实验条件来比较不同交互模式对智能体训练的影响：被动观察任务和主动演示任务。在被动任务中，智能体仅通过观察人类操作者的行为进行学习，而在主动任务中，人类操作者直接演示所需动作。通过对比这两种条件，团队发现主动任务能够提供更丰富、更直接的训练信号，从而更有效地引导智能体的学习过程。
为了将神经信号有效融入强化学习算法，研究者测试了多种集成策略，其核心思想是对算法参数进行增强而非替换。具体而言，神经信号被用于动态调整轨迹优先级和状态-动作Q值。这种参数增强方法不仅保留了原有算法的稳定性，还显著提升了学习效率。实验结果表明，当神经信号用于增强轨迹优先级和Q值时，智能体的学习性能得到明显改善。
此外，研究还考察了模型粒度（即神经信号采样的细节程度）和噪声对学习效果的影响。结果显示，该框架对噪声具有一定的鲁棒性，并且适当的模型粒度有助于更好地利用神经信息。
该框架的一个重要优势是能够在离线数据上成功学习，这意味着即使在没有实时BCI设置的环境中，也能有效训练机器人。这对于数据收集困难或实时交互不现实的场景（如远程操作、医疗康复等领域）尤为重要。通过利用预先记录的神经信号数据，该方法为实际应用提供了更加灵活和实用的选择。
这项研究将神经科学与人工智能相结合，为人机协作开辟了新途径。未来工作有望将这一框架扩展到更复杂的任务和真实的机器人平台上，从而推动智能机器人技术的发展。