一種基於fNIRS引導的離線強化學習方法用於機器人行為
本文探索了利用功能性近紅外光譜（fNIRS）腦信號來調節機器人強化學習的可行性。研究比較了被動（觀察）和主動（演示）交互任務中的智能體訓練，並測試了多種增強RL算法的方法，重點關注參數增強而非替換。結果表明，該框架有效：腦信號在增強軌跡優先級和狀態-動作Q值時改善了學習。此外，該框架能成功從離線數據中學習，為實時腦機接口設置不實用或數據有限的情況提供了實用替代方案。
近日，一篇發表於arXiv的研究論文深入探討了如何利用功能性近紅外光譜（fNIRS）採集的腦信號來指導機器人強化學習。該研究由Julia Santaniello等人完成，提出了一種新穎的離線學習方法，旨在克服實時腦機接口（BCI）在實際應用中的諸多限制。
研究人員設計了兩種實驗條件來比較不同交互模式對智能體訓練的影響：被動觀察任務和主動演示任務。在被動任務中，智能體僅通過觀察人類操作者的行為進行學習，而在主動任務中，人類操作者直接演示所需動作。通過對比這兩種條件，團隊發現主動任務能夠提供更豐富、更直接的訓練信號，從而更有效地引導智能體的學習過程。
為了將神經信號有效融入強化學習算法，研究者測試了多種集成策略，其核心思想是對算法參數進行增強而非替換。具體而言，神經信號被用於動態調整軌跡優先級和狀態-動作Q值。這種參數增強方法不僅保留了原有算法的穩定性，還顯著提升了學習效率。實驗結果表明，當神經信號用於增強軌跡優先級和Q值時，智能體的學習性能得到明顯改善。
此外，研究還考察了模型粒度（即神經信號採樣的細節程度）和噪聲對學習效果的影響。結果顯示，該框架對噪聲具有一定的魯棒性，並且適當的模型粒度有助於更好地利用神經信息。
該框架的一個重要優勢是能夠在離線數據上成功學習，這意味着即使在沒有實時BCI設置的環境中，也能有效訓練機器人。這對於數據收集困難或實時交互不現實的場景（如遠程操作、醫療康復等領域）尤為重要。通過利用預先記錄的神經信號數據，該方法為實際應用提供了更加靈活和實用的選擇。
這項研究將神經科學與人工智能相結合，為人機協作開闢了新途徑。未來工作有望將這一框架擴展到更復雜的任務和真實的機器人平台上，從而推動智能機器人技術的發展。