継続学習（Continual Learning, CL）は、事前学習済みの深層ニューラルネットワークの能力を活用する実用的なパラダイムですが、新しいタスクに適応する際に、可塑性と安定性（Plasticity-Stability）のバランスが優れた事前学習モデルを選択することが重要な課題となっています。ロジットシフトはCLシナリオにおけるモデルの適応性を示す自然な代理指標として用いられますが、その計算には膨大な計算コストがかかるため、大規模なモデル選択の妨げとなっています。さらに、既存の理論解析は隠れ層の幅が均一であると仮定しており、実際のアーキテクチャに見られる幅や深さの不均一性を無視しているため、効率的な代替手段を提供できていません。
この問題に対処するため、研究チームはアーキテクチャ駆動型シフト（Architecture-driven Shift, ADS）という新しい枠組みを提案しました。ADSはロジットシフトをアーキテクチャ依存成分とデータ依存成分に分解し、これら二つの組み合わせがロジットシフトの傾向を捉えられることを明らかにしました。しかも、この計算は少数のデータサンプルで実行可能です。具体的には、事前タスクで良好に最適化されたモデルにおいて、ADSが高いほど現在のタスクの訓練後に大きなロジットシフトが生じます。この結論は三つのメカニズム要素に基づいています。（1）重み行列勾配のスペクトルノルムが層幅に応じてスケーリングすること、（2）新しいタスクの最適化経路の長さ、（3）広いネットワークにおける漸近的なタスク競合。これら三つの要素がADSの理論的基盤を構成しています。
ADSの有効性を検証するため、研究者らは175以上の多様なアーキテクチャで広範な実験を実施しました。その結果、ADSと実際のロジットシフトの間には強い単調相関が存在し、最も弱い場合でもスピアマンの相関係数は0.731に達しました。さらに、ADSは信頼性の高いCLモデル選択で広く用いられる指標である期待キャリブレーション誤差（expected calibration error）の軽量プロキシとして機能することが、三つのデータセットと六つのシナリオで実証されました。
本研究は、継続学習におけるモデル選択に効率的な新たな道を開きました。計算オーバーヘッドを大幅に削減することで、大規模な事前学習モデルの評価をより実用的なものにします。今後の研究では、さらに多様なシナリオや大規模モデルへのADSの適用が期待されます。