在工業4.0時代，智能體在工業運維中扮演着越來越重要的角色。評估這些智能體需要高度逼真且符合行業標準的場景，這些場景需集成遙測數據、故障模式、維護記錄和領域標準。現有基準如AssetOpsBench依賴手動編寫場景，僅覆蓋有限資產類別，限制了可擴展性。為解決這些問題，研究人員提出一種新的合成場景生成方法，旨在高效擴展工業智能體評估基準。
在最新提交至arXiv的論文《Synthetic Scenario Generation for Evaluation of Industry 4.0 Agents》中，作者團隊將AssetOpsBench擴展至新的資產類別——智能電網變壓器，並集成四種基於IEC標準的診斷工具：健康指數預測、溶解氣體分析、繞組温度評估和負載曲線評估。這些工具使智能體更真實地模擬實際運維環境中的診斷任務，提升評估可靠性。
論文進一步提出ScenarioGeneratorAgent流水線，用於合成工業智能體評估場景。該流水線首先構建基於證據的資產畫像，在不同操作領域內分配覆蓋感知的場景預算，並通過混合驗證與修復循環生成場景候選，確保每個場景滿足模式有效性、工具可達性、物理合理性、標準一致性及去重要求。這些約束確保合成場景質量與手動編寫場景相當。
為提高流水線可擴展性，作者應用兩級緩存、並行焦點組生成、線程池卸載、批量LLM調用和早期拒絕過濾等優化策略。在智能電網變壓器場景生成實驗中，優化後流水線在50個場景生成中實現8倍端到端運行時間縮減，同時保持場景質量。優化後複合質量評分為74.2±1.9，與未優化基線73.8±3.0無顯著差異，表明優化未犧牲質量。
這項研究作者包括Sagar Chethan Kumar等，成果表明基於標準的合成場景生成可高效擴展工業智能體基準，為工業AI評估提供可擴展、高質量的解決方案，有望推動工業4.0智能體在更廣泛場景中的應用。