CAX-Agent:用於可靠APDL自動化的輕量級Agent框架
CAX-Agent是一個專為MAPDL有限元模擬自動化設計的輕量級Agent框架,透過三層架構(LLM服務、Agent框架、求解器後端)和恢復階梯策略提升可靠性。實驗評估了三種恢復策略,其中基於模型的恢復(model_only)在完成率、任務評分和零干預率上顯著優於基於規則和無恢復策略。
大型語言模型(LLM)在MAPDL有限元模擬中的應用面臨可靠性挑戰:缺乏結構化執行控制、工具封裝和故障恢復時,輸出不一致且任務失敗頻發。Agent框架透過插入領域特定的編排中介軟體來管理工具生命週期、工作流狀態和恢復升級,從而解決這一問題。
本文介紹了CAX-Agent的架構,這是一個專為MAPDL自動化設計的輕量級Agent框架。CAX-Agent將執行過程組織為三個層次:LLM服務層、Agent框架層和求解器後端層。其核心恢復階梯策略從確定性規則修補逐步升級至模型驅動再生、上下文增強,最終訴諸人工干預。
研究團隊在50個標準結構基準測試上評估了三種恢復策略:無恢復(no_recovery)、僅規則(rule_only)和僅模型(model_only),每種策略重複三次,共450次案例執行。兩位獨立人類評分者在盲評條件下對任務完成情況進行打分,評分者間一致性高(二次加權Cohen's kappa = 0.84,96%的評分對相差不超過1分)。
結果顯示,模型驅動策略(model_only)在各項指標上均最優:完成率0.9267,任務評分3.59/4,總分9.16/10,零干預率0.84。相比之下,僅規則策略(rule_only)的完成率為0.7733,任務評分3.17/4,總分7.03/10,零干預率0.00;無恢復策略(no_recovery)的完成率為0.6933,任務評分2.74/4,總分5.60/10,零干預率0.00。效應量較大(Cliff's delta = 0.81-0.87)。
值得注意的是,基準測試故意採用簡單幾何體以隔離恢復策略效果。研究者討論了這些發現的適用範圍以及更廣泛驗證的方向。