一種基於fNIRS引導的離線強化學習方法用於機器人行為
本文探索了利用功能性近紅外光譜（fNIRS）腦訊號來調節機器人強化學習的可行性。研究比較了被動（觀察）和主動（演示）互動任務中的智慧體訓練，並測試了多種增強RL演算法的方法，重點關注引數增強而非替換。結果表明，該框架有效：腦訊號在增強軌跡優先順序和狀態-動作Q值時改善了學習。此外，該框架能成功從離線資料中學習，為即時腦機介面設定不實用或資料有限的情況提供了實用替代方案。
近日，一篇發表於arXiv的研究論文深入探討了如何利用功能性近紅外光譜（fNIRS）採集的腦訊號來指導機器人強化學習。該研究由Julia Santaniello等人完成，提出了一種新穎的離線學習方法，旨在克服即時腦機介面（BCI）在實際應用中的諸多限制。
研究人員設計了兩種實驗條件來比較不同互動模式對智慧體訓練的影響：被動觀察任務和主動演示任務。在被動任務中，智慧體僅透過觀察人類操作者的行為進行學習，而在主動任務中，人類操作者直接演示所需動作。透過對比這兩種條件，團隊發現主動任務能夠提供更豐富、更直接的訓練訊號，從而更有效地引導智慧體的學習過程。
為了將神經訊號有效融入強化學習演算法，研究者測試了多種整合策略，其核心思想是對演算法引數進行增強而非替換。具體而言，神經訊號被用於動態調整軌跡優先順序和狀態-動作Q值。這種引數增強方法不僅保留了原有演算法的穩定性，還顯著提升了學習效率。實驗結果表明，當神經訊號用於增強軌跡優先順序和Q值時，智慧體的學習效能得到明顯改善。
此外，研究還考察了模型粒度（即神經訊號取樣的細節程度）和噪聲對學習效果的影響。結果顯示，該框架對噪聲具有一定的魯棒性，並且適當的模型粒度有助於更好地利用神經資訊。
該框架的一個重要優勢是能夠在離線資料上成功學習，這意味著即使在沒有即時BCI設定的環境中，也能有效訓練機器人。這對於資料收集困難或即時互動不現實的場景（如遠端操作、醫療康復等領域）尤為重要。透過利用預先記錄的神經訊號資料，該方法為實際應用提供了更加靈活和實用的選擇。
這項研究將神經科學與人工智慧相結合，為人機協作開闢了新途徑。未來工作有望將這一框架擴充套件到更復雜的任務和真實的機器人平臺上，從而推動智慧機器人技術的發展。