arXiv 於 2026 年 10 月 20 日(週二)11:15:34 UTC 收錄了 Hamza Kheddar 提交的綜述論文《Reinforcement learning for hardware acceleration and system-level optimization on FPGA and integrated-circuit platforms: A survey》(面向 FPGA 與集成電路平台的硬件加速及系統級優化的強化學習:綜述),稿件編號 arXiv:2610.28699,分類為 cs.LG(主分類),同時交叉歸檔至 cs.AI、cs.AR、cs.PF、cs.RO 與 eess.SY。該文已被《Journal of Systems Architecture》接收,期刊版本 DOI 為 10.1016/j.sysarc.2026.103874;arXiv 版本 DOI 為 10.48550/arXiv.2610.28699,由 DataCite 簽發但登記狀態為 pending。作者為 Hamza Kheddar,第一版文件大小約 1,201 KB,提供 PDF、實驗性 HTML 與 TeX 源碼等全文鏈接,以及音頻摘要。
論文的研究動機在於:強化學習(RL)使嵌入式、邊緣與異構計算系統具備自適應和自主決策能力;而現場可編程門陣列(FPGA)與集成電路(IC)在 RL 部署方面具備低延遲、能效高、架構靈活等優勢,但同時也帶來資源受限、實現複雜、硬件與算法協同設計等難題。作者指出,現有綜述往往侷限於特定算法或特定平台,因此本文嘗試給出 FPGA 與 IC 實現的統一分析視角。
在覆蓋範圍上,本綜述梳理了 100 餘項關於 RL 在 FPGA 與 IC 平台上實現的研究,重點關注體系結構、實現策略、性能評估與應用場景。文獻按 RL 家族組織,包括基於模型的馬爾可夫決策過程、經典的值函數方法、深度強化學習、演員—評論家(actor-critic)、策略梯度以及多智能體方法。作者進一步按抽象層次、硬件實現策略與應用領域對研究進行分類,考察 RL 算法如何映射到可重構硬件與固定硬件之上。統一分析涵蓋加速、可重構架構、能效感知控制與系統級優化。
在性能比較方面,綜述對資源佔用、延遲、吞吐量、功耗以及文獻報告的性能增益等方面進行評估。最後,作者歸納出反覆出現的體系結構模式、實踐中的侷限、尚未解決的挑戰,以及面向高效 RL 驅動硬件系統的研究方向;並強調該綜述可作為在專用硬件上開發與評估 RL 方案的研究人員的整合性參考。需要注意的是,以上內容均來自論文摘要與元數據,具體對比數據與結論需查閲全文。