跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

閉環控制:規則對齊的小語言模型與多智能體自我修正

文章摘要

本文研究了一種基於小型語言模型(SLM)的閉環控制框架,通過GRPO對齊的Qwen2.5-1.5B模型,結合動作智能體、數字孿生驗證層和重提示智能體,實現了從自然語言需求規範生成控制策略。在隨機熱控制模擬中,該框架達到91.5%的動作對齊準確率,平均推理延遲3.84秒,展示了在邊緣設備上實現可重構自主控制的可行性。

來源arXiv AI作者: Yuchen Wang, Javal Vyas, Tong Liu, Mehmet Mercangoz
閉環控制:規則對齊的小語言模型與多智能體自我修正
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

邁向自主工業運營的關鍵一步是能夠根據自然語言需求規範創建和重新配置控制策略,且只需極少或無需手動重新設計。在這一背景下,當與能夠執行前檢查候選動作的工廠感知驗證器(例如數字孿生)配對時,由AI代理生成策略成為一種可行的路徑。然而,實際部署受到推理延遲和計算開銷的限制:大型雲模型對於邊緣閉環應用往往速度過慢、不夠透明或對數據敏感。

本研究探討了是否可以將緊湊的小型語言模型(SLM)重新訓練用於控制推理,並將其嵌入驗證器引導的修正循環中。研究團隊使用了通過組相對策略優化(GRPO)對齊的Qwen2.5-1.5B模型,結合了三個組件:(i)動作代理,負責生成候選動作;(ii)符號/數字孿生風格的驗證層,用於檢查動作是否符合物理規則和約束;(iii)重提示代理,它根據驗證結果迭代地引導模型輸出朝向有效動作。這種多智能體架構實現了自我修正的閉環控制。

實驗在隨機熱控制模擬中進行,共30次獨立實驗,每次包含500個控制步驟。結果顯示,該框架實現了平均91.5%的動作對齊準確率,各案例範圍從86.3%到100%。更重要的是,平均推理延遲僅為3.84秒,這對於邊緣部署至關重要。在符號重映射測試中,模型保持了95%的在範圍率,表明即使令牌級一致性有所下降,物理調節仍然穩健。

該研究已被IEEE CCTA 2026接收,表明其學術價值。這些結果支持SLM加驗證器架構作為在邊緣實現可重構自主控制的實用路徑,為工業自動化和智能控制領域提供了新的思路。

展開要點與分析

文章情報

工程師進階

要點

  • 使用1.5B參數的小型語言模型(Qwen2.5-1.5B)通過GRPO進行對齊,用於控制推理
  • 多智能體架構包括動作生成器、符號/數字孿生驗證器和迭代修正的重提示智能體
  • 在30次實驗中平均動作對齊準確率為91.5%(範圍86.3%-100%),推理延遲3.84秒
  • 符號重映射下保持95%的在範圍率,證明了對物理調節的魯棒性

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。