在工業4.0時代，智慧體在工業運維中扮演著越來越重要的角色。評估這些智慧體需要高度逼真且符合行業標準的場景，這些場景需整合遙測資料、故障模式、維護記錄和領域標準。現有基準如AssetOpsBench依賴手動編寫場景，僅覆蓋有限資產類別，限制了可擴充套件性。為解決這些問題，研究人員提出一種新的合成場景生成方法，旨在高效擴充套件工業智慧體評估基準。
在最新提交至arXiv的論文《Synthetic Scenario Generation for Evaluation of Industry 4.0 Agents》中，作者團隊將AssetOpsBench擴充套件至新的資產類別——智慧電網變壓器，並整合四種基於IEC標準的診斷工具：健康指數預測、溶解氣體分析、繞組溫度評估和負載曲線評估。這些工具使智慧體更真實地模擬實際運維環境中的診斷任務，提升評估可靠性。
論文進一步提出ScenarioGeneratorAgent流水線，用於合成工業智慧體評估場景。該流水線首先構建基於證據的資產畫像，在不同操作領域內分配覆蓋感知的場景預算，並透過混合驗證與修復迴圈生成場景候選，確保每個場景滿足模式有效性、工具可達性、物理合理性、標準一致性及去重要求。這些約束確保合成場景質量與手動編寫場景相當。
為提高流水線可擴充套件性，作者應用兩級快取、並行焦點組生成、執行緒池解除安裝、批次LLM呼叫和早期拒絕過濾等最佳化策略。在智慧電網變壓器場景生成實驗中，最佳化後流水線在50個場景生成中實現8倍端到端執行時間縮減，同時保持場景質量。最佳化後複合質量評分為74.2±1.9，與未最佳化基線73.8±3.0無顯著差異，表明最佳化未犧牲質量。
這項研究作者包括Sagar Chethan Kumar等，成果表明基於標準的合成場景生成可高效擴充套件工業智慧體基準，為工業AI評估提供可擴充套件、高質量的解決方案，有望推動工業4.0智慧體在更廣泛場景中的應用。