arXiv 於 2026 年 10 月 20 日(週二)11:15:34 UTC 收錄了 Hamza Kheddar 提交的綜述論文《Reinforcement learning for hardware acceleration and system-level optimization on FPGA and integrated-circuit platforms: A survey》(面向 FPGA 與積體電路平臺的硬體加速及系統級最佳化的強化學習:綜述),稿件編號 arXiv:2610.28699,分類為 cs.LG(主分類),同時交叉歸檔至 cs.AI、cs.AR、cs.PF、cs.RO 與 eess.SY。該文已被《Journal of Systems Architecture》接收,期刊版本 DOI 為 10.1016/j.sysarc.2026.103874;arXiv 版本 DOI 為 10.48550/arXiv.2610.28699,由 DataCite 簽發但登記狀態為 pending。作者為 Hamza Kheddar,第一版檔案大小約 1,201 KB,提供 PDF、實驗性 HTML 與 TeX 原始碼等全文連結,以及音訊摘要。
論文的研究動機在於:強化學習(RL)使嵌入式、邊緣與異構計算系統具備自適應和自主決策能力;而現場可程式設計門陣列(FPGA)與積體電路(IC)在 RL 部署方面具備低延遲、能效高、架構靈活等優勢,但同時也帶來資源受限、實現複雜、硬體與演算法協同設計等難題。作者指出,現有綜述往往侷限於特定演算法或特定平臺,因此本文嘗試給出 FPGA 與 IC 實現的統一分析視角。
在覆蓋範圍上,本綜述梳理了 100 餘項關於 RL 在 FPGA 與 IC 平臺上實現的研究,重點關注體系結構、實現策略、效能評估與應用場景。文獻按 RL 家族組織,包括基於模型的馬爾可夫決策過程、經典的值函式方法、深度強化學習、演員—評論家(actor-critic)、策略梯度以及多智慧體方法。作者進一步按抽象層次、硬體實現策略與應用領域對研究進行分類,考察 RL 演算法如何對映到可重構硬體與固定硬體之上。統一分析涵蓋加速、可重構架構、能效感知控制與系統級最佳化。
在效能比較方面,綜述對資源佔用、延遲、吞吐量、功耗以及文獻報告的效能增益等方面進行評估。最後,作者歸納出反覆出現的體系結構模式、實踐中的侷限、尚未解決的挑戰,以及面向高效 RL 驅動硬體系統的研究方向;並強調該綜述可作為在專用硬體上開發與評估 RL 方案的研究人員的整合性參考。需要注意的是,以上內容均來自論文摘要與後設資料,具體對比資料與結論需查閱全文。