近年、人工知能エージェントは静的な環境で顕著な進歩を遂げていますが、現実世界での継続学習能力には依然として限界があります。このギャップを埋めるために、Zheyuan Zhang ら7人の著者によって開発された AgentOdyssey が提案されました。これは、プロシージャル生成されたオープンエンドテキストゲームを通じて、エージェントのテスト時継続学習を評価する新しいフレームワークです。2026年5月29日にarXivに提出されました。
AgentOdyssey の核心は、従来の機械学習の「テスト時には学習しない」という前提を覆す点にあります。従来の評価では、エージェントは訓練後に固定され、テスト段階で新しい知識やスキルを獲得できませんでした。一方、AgentOdyssey はエージェントを継続的で長期間にわたる環境に置き、展開中に学習と推論を同時に行うことを要求します。つまり、エージェントは効果的に探索し、新しい世界知識やスキルを獲得し、関連するエピソード経験を保持し、長期的な行動を計画する必要があります。
この目標を達成するために、AgentOdyssey は豊富なエンティティ、動的な世界ルール、長期タスクを含むテキストゲームを自動生成します。これらのゲームは規模が大きく、構造も多様であり、エージェントの適応能力を総合的に試します。評価はタスクの進捗だけでなく、世界知識獲得、エピソード記憶、オブジェクトとアクションの探索、アクションの多様性、モデルコストなどの診断テストも含む多面的なものです。
実験では、異なるサイズのベースモデル（GPT-3.5やGPT-4など）や短期記憶を持つバリアントを含む多様なエージェントパラダイムがテストされました。結果として、強力なベースモデルほどパフォーマンスが向上するものの、最良のエージェントでさえ人間のパフォーマンスに遠く及ばず、大きな改善の余地があることが示されました。特に注目すべきは、短期記憶が複数のエージェントパラダイムで顕著な効果を示したことであり、これはテスト時継続学習の重要な要素であることを示唆しています。
AgentOdyssey の登場は、継続学習能力を持つエージェントを評価・設計するための標準化されたプラットフォームを提供します。現在のエージェントの探索効率、知識記憶、長期計画における根本的な限界を明らかにし、記憶と推論の統合など今後の研究の方向性を示しています。フレームワークが公開されることで、研究者はカスタムテスト環境を生成し、この分野の急速な発展を促進することができるでしょう。