REFACTOR-VLA：教師なし型付き運動プログラムのライブラリ学習

Apple の機械学習研究チームは、論文『REFACTOR-VLA: Unsupervised Library Learning of Typed Motor Programs』を発表し、視覚・言語・動作（VLA）モデルが再利用可能な「型付き運動プログラム」のライブラリを教師なしで学習する手法を提案した。著者は Riyaaz Shaik 氏と Chandru Venkataraman 氏で、2026年9月に公開された。

OpenVLA、π0、RT-2、RDT-1B などの主流 VLA モデルは、いわゆる「モノリシック」な構造を持つ。つまり、生のモーター指令やごく短い動作断片を直接出力するだけで、振る舞いを明確な境界を持つ再利用可能な抽象化として整理しない。このため、複数ステップからなる長期的なタスクでは性能が劣り、モデルが何を学習したのか解釈しにくい。従来のスキル発見手法も、2つの動作系列が「行動的に等価」であることをどう判定するかという核心的問題を回避してきた。AtomicVLA や AtomSkill は対比埋め込みのクラスタリングで系列をグループ化し、BLADE や LRLL は LLM に等価性判定を頼るが、LLM はロボット自身のダイナミクスに合わせて較正されていない。

REFACTOR-VLA は「覚醒/睡眠」型アーキテクチャを採用する。睡眠相では、学習済み潜在世界モデル Mφ 上で動作をロールアウトした結果に基づく行動等価カーネル（BEK）を使い、運動プログラムの断片をクラスタリングする。覚醒相では、Hindley–Milner 型システムに着想を得た語彙から型付きラムダ項（単純で構造化されたプログラム）を生成し、そのラムダ項をライブラリ条件付き整流流動作デコーダが実際の動作へ変換する。最小記述長（MDL）基準と報酬保持ゲートの両方を通過した抽象化だけがスキルとして採用される。

学習は3つのフェーズで構成される。フェーズAで潜在世界モデル Mφ をウォームアップし、フェーズBでスキルライブラリを使う方策を最適化し、フェーズC（睡眠相）で動作断片を再利用可能なスキルへクラスタリングする。完全な LIBERO ベンチマークによる評価では、2つの主要な発見が得られた。第1に、世界モデルを1億8800万から4億3000万パラメータへ単純に拡大すると、4つのタスクスイートすべてで性能が悪化し、世界モデルを大きくすれば常に良いという考えは否定された。第2に、学習目標の変更が大きな効果をもたらす。フェーズAで InfoNCE 損失を補助的な教師付き対比損失として追加すると、フェーズCのスキルクラスタリング品質が大幅に向上した。n=3 のマルチシード設定で正規化相互情報量（NMI）を測定した結果、Object 0.462±0.021、Spatial 0.867±0.025、Goal 0.915±0.013、LIBERO-10 0.754±0.010 となった。