汎用エージェントは何を記憶すべきか？
新しい論文は、複数の環境と目標にわたって準最適に行動するための汎用AIエージェントのメモリ要件を形式的に説明しています。研究によれば、類似した観測ボトルネックを共有しながらも互換性のない最適行動を必要とする2つのドメインでは、どのような均一に準最適なポリシーでもそのボトルネックで異なるメモリ分布を誘導しなければなりません。分離定理は、成功するエージェントは現在の状態観測のみに依存できず、ドメイン関連情報をメモリに保存する必要があることを示しています。さらに、メモリに関連目標の価値を推定するのに十分な情報が含まれている場合、そのメモリを使用してエージェントの局所的な遷移ダイナミクスを近似的に再構築できます。これらの結果は、メモリをドメイン識別、遷移モデル再構築、計画を支える基質として特徴付けています。
Khurram Yamin氏ら6名の著者による論文「汎用エージェントは何を記憶すべきか？」がarXivで公開されました（論文ID: 2606.18746）。この論文は、複数の環境と目標にわたって準最適に行動できる汎用AIエージェントのメモリ要件に関する形式的な理論的枠組みを提供しています。研究の核心は、異なるタスクドメインが同一の観測パターン（観測ボトルネック）を共有しているが、最適な行動が矛盾する場合に焦点を当てています。このような状況では、すべてのドメインで均一に準最適なパフォーマンスを達成するポリシーは、そのボトルネックにおいて異なるメモリ分布を維持しなければならないことが示されました。この発見は重要な分離定理を導きます：十分に成功したエージェントは現在の状態観測のみに依存することはできず、ドメインを正しく識別して適切な行動を選択するために、メモリ内にドメイン固有の情報を保持する必要があります。
さらに、論文はメモリの内容と遷移ダイナミクスの関係を探求しています。エージェントのメモリに関連する目標の価値関数を推定するのに十分な情報が含まれている場合、そのメモリ情報を用いてエージェントがいる環境の局所的な遷移ダイナミクスを近似的に再構築できることが示されました。これは、メモリが単にドメインを区別する「鍵」であるだけでなく、環境のダイナミクスを理解し計画を立てるための基盤でもあることを意味します。
これらの結果を総合すると、メモリは汎用エージェントがドメイン識別、遷移モデル再構築、計画を実現するための「基質」として位置づけられます。本研究は、汎用AIシステムの記憶機構を理解し設計するための厳密な数学的基盤を提供し、将来のマルチタスク・マルチ環境に適応可能なエージェントの開発に重要な指針を与えるものです。論文の詳細はarXivで確認できます。