マルチソース転移学習は、複数の事前学習済みソースモデルの知識を活用してターゲットタスクの性能を向上させることを目的としています。しかし、既存手法にはスケーラビリティのボトルネックが存在します。従来のパラメータ融合手法では、すべてのK個のソースモデルを同時にメモリにロードする必要があり、メモリコストはO(K)です。また、推論時に全モデルをデプロイすることは実運用上非現実的です。この問題に対して、研究チームはGRASP（Gradient-Aligned Sequential Parameter Transfer）を提案しました。これは勾配アライメントを用いた逐次パラメータ転送手法で、O(1)のメモリ消費で優れた知識統合を実現します。
GRASPの主要な革新は3つあります。第一に、逐次処理により、進化するターゲットモデルに一度に1つのソースモデルをマージします。第二に、パラメータ単位の勾配アライメントにより、最適化方向がターゲットドメインと整合するパラメータのみを選択的に転送し、負の転移を回避します。第三に、反復ファインチューニングにより、次のソースを統合する前に転送された知識を適応させます。この設計により、GRASPは任意の数のソースを融合する際にメモリ使用量が一定であり、ソース数が増えてもメモリは増加しません。
研究チームは3つの継続学習ベンチマーク（Yearbook、CLEAR-10、CLEAR-100）で広範な実験を行いました。これらのデータセットは10年から108年にわたる時間的分布シフトを含み、4種類のアーキテクチャ（パラメータ数1.3M～25.6M）を使用しました。結果として、GRASPはすべてのデータセットとアーキテクチャで平均精度93.5%を達成し、従来のアンサンブル手法の71.7%を大幅に上回りました。さらに、GRASPは以前にマージされたモデルを逐次処理し、メモリを増やすことなく任意の数のソースにスケールするため、リソース制約のある環境や継続的に進化するソースドメインに特に適しています。
本研究成果はarXiv（arXiv:2606.14900）で公開され、Mary Isabelle Wisellらによって執筆されました。GRASPは、マルチソース学習を実際のアプリケーションで効率的に展開するための新たなソリューションを提供し、特にエッジデバイスやリアルタイムシステムにとって重要です。この手法はメモリのボトルネックを解決するだけでなく、勾配アライメントにより転移の質を向上させ、動的なマルチソース環境における機械学習研究の基盤を築くものです。