LiMoDE:動的エキスパート混合の視点から見るロボットの生涯操作の再考
本論文では、ロボットの生涯操作における破滅的忘却とスキル転送の問題を解決するため、動的エキスパート混合(MoE)に基づく二段階学習スキームLiMoDEを提案する。第一段階ではマルチタスク事前学習で動的MoEを用いて事前知識を学習し、第二段階では生涯MoE適応メカニズムにより新しいタスクに適応する。シミュレーションと実世界のタスクで有効性を実証した。
近年、汎用ロボットの構築が注目される中、継続的なタスク適応のために事前知識を活用する方法が大きな課題となっています。従来の手法はパラメータ効率の良いファインチューニングによる単一タスク適応で破滅的忘却を軽減してきましたが、再利用可能なスキルの抽出やスキル間の相互作用のモデル化には失敗していました。最近の研究ではプロンプト学習によるアプローチも試みられていますが、本論文では異なる視点から、動的エキスパート混合(Mixture of Dynamic Experts)に基づくアーキテクチャ的アプローチを提案します。
提案手法LiMoDEは、二段階の学習スキームを採用します。第一段階のマルチタスク事前学習では、動的MoE構造を導入します。この構造は、動作情報に基づいて異なる数の異種エキスパートを活性化し、様々な短期操作に対処することで、事前知識を効果的に学習します。第二段階のタスク適応段階では、生涯MoE適応機構(LiMoEAM)を設計します。この機構は、新しいタスクごとに生涯エキスパートを学習し、事前学習で凍結されたエキスパートと動的に組み合わせることで、適応中の知識転送を促進します。
LiMoDEは、シミュレーション上の生涯学習ベンチマークと実世界のタスクの両方で評価されました。広範な実験により、適度な追加の訓練可能パラメータと推論オーバーヘッドを導入するだけで、優れた性能と強力な生涯適応能力を達成することが示されました。この研究成果は、継続的に学習できる汎用ロボットの実現に向けた新たな道を開くものと期待されます。