AIエージェントは、経済的に価値のある長期的な業務オペレーションタスク、例えば購買発注管理や製造工程の最適化などを遂行し始めています。しかし、こうしたエンタープライズレベルの作業向けの訓練・評価環境を構築するには、現実性、検証可能性、拡張性のバランスを取るという大きな課題があります。特に、「アーティファクトドリフト（artifact drift）」と研究者が呼ぶ、ある共通の失敗モードが問題を引き起こしています。アーティファクトドリフトとは、指示（instruction）、環境（environment）、オラクル（oracle、正解生成器）、検証器（verifier）が独立した疎結合なプロセスで作成される結果、タスクの要件に矛盾が生じ、解けない、報酬がハッキング可能、あるいは一貫性のないベンチマーク環境が生成される現象を指します。
この問題に対処するため、研究チームはAnchorを提案しました。Anchorは、ドメイン専門家による業務ワークフローの仕様を制約最適化問題（constraint optimization program）として形式化するタスク生成パイプラインです。単一のパラメータ化された仕様から、自然言語の指示、環境設定、ソルバーによって正当性が保証された正解、および状態ベースの検証器を一貫して生成します。パラメータを変更するだけで、難易度が制御され最適解が既知の新しいタスクを容易に作成でき、最終状態の業務的正しさのみに報酬が依存する、フレームワーク非依存の環境を実現します。
Anchorの有効性を示すため、研究チームは企業資源計画（ERP）領域に適用し、ERP-Benchベンチマークを作成しました。ERP-Benchは、本番環境と同等のERPシステム上で動作する、調達および製造ワークフローをカバーする300の長期タスクで構成されています。実験の結果、生成パラメータが実際のタスク難易度を正確に予測できることが確認されました。さらに、最先端の大規模言語モデルを評価したところ、26.1%の試行で明示的なタスク制約を満たしたものの、完全に最適な解に到達したのはわずか17.4%でした。これは、現在のAIモデルが複雑な多段階の業務ロジックを処理する際に、まだ大きな改善の余地があることを明確に示しています。
AnchorとERP-Benchは、経済的価値のあるエージェント作業を評価するための監査可能な評価環境を構築する具体的な方法を提供します。このアプローチは、ベンチマークの一貫性と信頼性を確保するだけでなく、今後の研究のための拡張可能なフレームワークも提供します。著者らは、タスクジェネレータとERP-Benchデータセットを公開し、この分野のさらなる発展を促進しています。本研究は、RLEval '26（ACM AIとエージェントシステム会議のワークショップ）に採択されました。