インダストリー4.0において、エージェントは産業運用保守で重要な役割を果たしています。これらのエージェントを評価するには、テレメトリ、故障モード、保守記録、ドメイン標準を統合した現実的なシナリオが必要です。既存のベンチマークAssetOpsBenchは手動作成シナリオに依存し、カバーするアセットクラスが限られているため、拡張性に課題があります。この問題に対処するため、研究者らは合成シナリオ生成による効率的な産業エージェントベンチマーク拡張手法を提案しています。
arXivに提出された論文「Synthetic Scenario Generation for Evaluation of Industry 4.0 Agents」では、著者チームがAssetOpsBenchにスマートグリッド変圧器アセットクラスを追加し、4つのIEC準拠診断ツール（健全性指数予測、溶存ガス分析、巻線温度評価、負荷プロファイル評価）を統合しました。これらのツールにより、エージェントは実際の運用環境での診断タスクをより適切にシミュレートでき、評価の信頼性が向上します。
さらに論文では、産業エージェント評価シナリオを合成するパイプラインScenarioGeneratorAgentを提案しています。このパイプラインはまず証拠に基づくアセットプロファイルを構築し、運用ドメイン全体にカバレッジを考慮したシナリオ予算を割り当てます。そしてハイブリッドな検証・修正ループを通じてシナリオ候補を生成し、スキーマの妥当性、ツールの到達可能性、物理的妥当性、標準適合性、重複排除を保証します。これらの制約により、合成シナリオの品質は手動作成シナリオと同等になります。
パイプラインの拡張性を向上させるため、著者らは2レベルキャッシング、並列フォーカスグループ生成、スレッドプールオフロード、バッチLLM呼び出し、早期拒否フィルタリングなどの最適化戦略を適用しました。スマートグリッド変圧器シナリオ生成実験では、最適化後パイプラインにより50シナリオのエンドツーエンド実行時間が8倍短縮され、品質も維持されました。最適化後の複合品質スコアは74.2±1.9で、未最適化ベースラインの73.8±3.0と有意差はなく、最適化によって品質が損なわれていないことを示しています。
この研究の著者はSagar Chethan Kumarらであり、結果は標準に基づく合成シナリオ生成が産業エージェントベンチマークを効率的に拡張できることを示しています。これは産業AI評価のためのスケーラブルで高品質なソリューションを提供し、インダストリー4.0エージェントのより広範な応用を促進することが期待されます。