StrLoRA：マルチモーダル大規模言語モデルのためのストリーミング継続的視覚命令チューニング
本研究は、動的に変化するタスクのストリームから学習する必要があるストリーミング継続的視覚命令チューニング（StrCVIT）設定において、正則化された2段階エキスパートルーティングフレームワークStrLoRAを提案する。タスク認識エキスパート選択とトークンレベルの重み付けにより、既存手法を大幅に上回る性能を示した。
近年、マルチモーダル大規模言語モデル（MLLM）は視覚理解や対話など様々なタスクで優れた性能を示している。しかし、モデルが連続的なデータストリームから新しい能力を獲得し、既存の能力を強化し、忘却を軽減することは重要な課題である。既存の継続的視覚命令チューニング（CVIT）手法は、各フェーズが単一の固定タスクであるタスク増分設定に依存しており、実際のタスクが動的に混在する状況に対応できない。
このギャップを埋めるために、研究チームはストリーミング継続的視覚命令チューニング（Streaming CVIT, StrCVIT）設定を導入した。この設定では、モデルは動的に混合されたタスクを含むデータチャンクのストリームから学習し、新しい能力の獲得、繰り返し出現する能力の強化、忘却の軽減を同時に行う必要がある。既存手法はこの設定で性能が低下することが示された。
そこで、研究者らはStrLoRAを提案する。これは正則化された2段階エキスパートルーティングフレームワークである。第1段階では、テキスト命令を用いてタスク認識エキスパート選択を行い、関連するエキスパートのスパースサブセットを活性化することでタスク間干渉を低減する。第2段階では、このサブセット内でトークンレベルのエキスパート重み付けを適用し、重みは局所視覚トークンと大域命令表現間のクロスモーダル注意により計算される。非定常ストリーム全体での安定性を維持するために、ルーティング安定性正則化が現在のルーティング分布を指数移動平均履歴参照に合わせる。
新しく構築されたStrCVITベンチマークでの広範な実験により、StrLoRAは既存手法を大幅に上回り、継続的に進化するデータストリームからモデルの能力を効果的に向上させることが示された。
具体的には、StrLoRAのタスク認識エキスパート選択機構により、命令内容に基づいて最適なエキスパートを動的に活性化できる。例えば、画像キャプションタスクを処理する場合、テキスト命令が視覚意味論に関連するエキスパートを選択する一方、数学的推論に関係するエキスパートは無視される。第2段階のトークンレベル重み付けは、局所視覚トークンと大域命令表現のクロスモーダル注意を用いて各エキスパートの出力への貢献度を細かく調整し、命令に最も関連する視覚領域に焦点を当てる。ルーティング安定性正則化は、現在のルーティング分布と履歴分布のずれを制約することで、連続データストリームにおけるパラメータの急激な変動を防ぎ、学習の安定性を維持する。
実験では、物体検出、画像分類、視覚質問応答など複数の視覚タスクを含むStrCVITベンチマークを構築し、データストリーム内でタスクが動的に混合されるシナリオをシミュレートした。EWC、LwF、MASなどの古典的連続学習手法や、LoRAベースの最新変種を含む複数のベースラインと比較し、StrLoRAは特に長系列学習タスクにおいて優れた忘却耐性を示し、複数の指標で顕著な改善を達成した。また、アブレーション研究により、タスク認識選択とトークンレベル重み付けが性能向上の鍵であることが確認された。
要約すると、StrLoRAは動的データストリーム下でのマルチモーダル大規模言語モデルの継続学習に対して効率的かつ頑健な解決策を提供し、現実のシナリオで知能システムが継続的に進化することを促進する可能性がある。