近年、オープンエンド画像テキスト生成（OpenITG）タスクが注目を集めているが、既存のモデルは訓練データが静的であることを前提としており、現実の動的なデータ分布変化に適応することが難しい。この問題に対処するため、複数の研究機関の研究者らは、効率的継続的アライメント（ECA）と呼ばれるインクリメンタル学習手法を提案した。本手法は、モデルが新しい画像カテゴリを連続的に学習しつつ、既存の知識を忘却しないことを目的としており、国際機械学習会議（ICML 2026）に採択された。
研究チームは、OpenITGにおけるインクリメンタル学習の主要な課題として、モデルが新しいタスク固有の特徴を獲得する際に、既存のクロスモーダルアライメント表現への干渉を最小限に抑えなければならない点を挙げる。さらに、過去のタスクの生データにアクセスできないという制約もある。ECAは「継続的アライメント」という新たな概念を導入し、事前学習済み視覚言語モデル（VLM）内のアライメントモジュールを段階的に適応させることで、高品質なクロスモーダル表現を維持する。
ECAフレームワークは3つの中核メカニズムで構成される。第一に、クエリ混合モジュール（MoQ）は学習可能なタスク固有クエリトークンにより、モデルが様々なタスクに柔軟に対応できるようにする。第二に、フィッシャー動的拡張（FeDEx）はフィッシャー情報行列に基づく指標を用いてパラメータの重要度を評価し、モデル構造を動的に拡張することで重要なパラメータの上書きを防ぐ。第三に、埋め込み辞書と辞書リプレイ（DR）は過去のタスクの特徴埋め込みを辞書に保存し、新しいタスクの訓練中にリプレイすることで古い知識を効果的に保持する。
ECAの性能を評価するため、研究チームはより現実的なシナリオを反映した4つの新しいインクリメンタル学習ベンチマークを構築した。実験結果は、ECAが破滅的忘却を大幅に軽減し、ベースライン手法と比較してインクリメンタル学習の性能を向上させることを示している。コードとベンチマークはオープンソースとして公開されており、コミュニティでの利用とさらなる研究が可能である。
本研究の意義は、オープンエンド画像テキスト生成におけるインクリメンタル学習に対し、サンプルストレージを必要としない効率的な解決策を提供し、動的環境におけるモデルの継続的学習と応用を促進する点にある。オープンエンド画像テキスト生成は、画像から説明的なテキストを生成する重要なマルチモーダルタスクである。現実世界では新しい画像カテゴリが次々と現れるため、モデルは以前に学習した知識を忘れずに継続的に学習する必要がある。ECAは継続的アライメントを通じて、過去のデータにアクセスすることなく破滅的忘却を効果的に解決する。その中核的な革新には、クエリ混合モジュール（MoQ）が各タスクに特化したクエリトークンを学習し、タスク固有の特徴を抽出すること、フィッシャー動的拡張（FeDEx）がフィッシャー情報行列を用いてパラメータの重要度を評価し、モデル容量を動的に拡張すること、辞書リプレイ（DR）が過去のタスクの特徴埋め込みを保存・再生して記憶を強化することが含まれる。4つの新しく構築されたベンチマークにおいて、ECAは複数の指標で最良の性能を達成し、既存手法を大幅に上回った。この研究は、オンライン学習シナリオにおけるマルチモーダルモデルに新たな道を開き、理論的価値と実践的な展望を持つ。