あなたのエージェントも老化する：デプロイされたシステムのためのエージェントライフスパンエンジニアリング

長期稼働するAIエージェントは、カスタマーサポートボット、自律研究エージェント、継続的監視システムなどとして、永続的な運用システムにますます導入されています。しかし、これらのエージェントは依然として初期化直後のモデルと同じように評価されています。初日ベンチマークは、デプロイ後にエージェントがどの程度信頼性を維持できるかという基本的なシステム問題を見逃しています。モデルの重みが固定されていても、エージェントの実効状態は、対話履歴の圧縮、増大するメモリストアからの検索、更新後の事実修正、定期的なメンテナンスによって絶えず変化します。したがって、信頼性はベースモデルのスナップショット特性だけでなく、完全なエージェントハーネスのライフスパン特性となります。

この課題に対処するため、研究者らはエージェントライフスパンエンジニアリングのための縦断的信頼性ベンチマーク「AgingBench」を導入しました。AgingBenchは、デプロイされたエージェントが劣化するかどうかだけでなく、劣化の形態と修復のターゲットを測定します。このベンチマークはエージェントの老化を4つのメカニズムに分類します：圧縮老化（履歴圧縮による情報損失）、干渉老化（新旧記憶の相互干渉）、修正老化（事実更新後の不整合）、およびメンテナンス老化（システムメンテナンスによる状態変化）です。これらの故障を診断するために、AgingBenchは時間依存グラフとペアワイズ反実仮想プローブを使用し、メモリパイプラインの書き込み、検索、利用の各段階に対する診断プロファイルを生成します。これらのプロファイルは、メモリパイプラインのどの段階に問題があるかを正確に特定し、的を絞った修復を可能にします。

広範な実験設定において、AgingBenchは7つのシナリオ、14のモデル、複数のメモリポリシー、そしてランナー制御および自律エージェントの両方をカバーしました。合計で約400回の実行が行われ、各実行は8から200のセッションに及びました。結果は、エージェントの老化が一次元ではないことを示しています：行動テストは正常でも事実精度が低下することがあり、派生状態追跡は単一モデル内で急激に崩壊することがあり、同じ誤った答えでも診断プロファイルによって異なる修復が必要となることがあります。例えば、診断プロファイルが書き込み段階の圧縮老化を示している場合、履歴保持を増やしたり、より洗練された圧縮アルゴリズムを使用したりする必要があるかもしれません。一方、問題が検索段階にある場合は、検索戦略の最適化やインデックスの追加が必要になるかもしれません。

これらの発見は重要です。なぜなら、信頼性の高いエージェントデプロイには、より強い初期モデルだけでなく、ライフスパン評価、メカニズムレベルの診断、およびステージターゲット修復が必要であることを示しているからです。エージェントが医療、金融、自律的意思決定などの重要な分野にますます活用されるにつれて、それらの長期的な信頼性を確保することが極めて重要になります。AgingBenchは、エージェントライフスパンエンジニアリングのための体系的な方法論とツールを提供し、この分野をより成熟し信頼性の高い方向に推進することが期待されます。