GLM 5.2 ビジョン機能搭載

AIモデルの分野で画期的なブレークスルーが起きた。Basetenチームは、オープンソース言語モデルGLM 5.2に視覚機能を追加することに成功し、しかも元のテキスト専用性能を完全に保持した。鍵となったのは、わずか5000万パラメータの2層MLPプロジェクターだけを訓練し、Kimi K2.6のビジョンタワーから抽出した画像特徴をGLMの埋め込み空間にマッピングしたことだ。GLM本体のパラメータは一切変更せず、Kimiの視覚エンコーダも凍結したままである。

GLM 5.2は現在入手可能な最高のオープンソース言語モデルの一つだが、QwenやKimi、Minimaxなどのフラッグシップモデルとは異なり、画像入力をネイティブでサポートしていなかった。この制限が研究チームの挑戦意欲を刺激した。テキスト能力を損なわずにGLMに視覚機能を後付けできるか？答えは「イエス」であり、その方法は驚くほどシンプルで効率的だった。

視覚言語モデルは通常、「ビジョンタワー」と呼ばれるモジュールで画像を処理する。典型的なビジョンタワーは、前処理（畳み込み層でピクセルをパッチに分割しトークン列を生成）、Transformerエンコーダ（フルアテンション、因果マスクなし）、プロジェクタ（エンコーダ出力を言語モデルの埋め込み空間に写像）の3つの主要コンポーネントからなる。Kimi K2.6のビジョンタワーはパラメータ数がわずか4.66億であり、メインモデルの0.04%未満である。チームはその優れたベンチマーク性能と、Megatron、vLLM、SGLang、TRT-LLMなどのフレームワークでのサポートの充実から、Kimi K2.6のビジョンタワーを採用した。

訓練は教師あり微調整（SFT）と強化学習（RL）の2段階で行われた。SFTでは、66k枚の公開画像とそれに対応する簡単な質問応答ペアを使用し、バッチサイズ64、学習率5e-4で2エポック実施した。驚くべきことに、約900ステップ（1エポックは1035ステップ）で損失が急激に低下し、プロジェクタが突然「グロッキング」し、画像特徴と言語空間の正確なアライメントを学習したことが示された。このグロッキング現象は訓練において極めてまれである。

SFT完了後、チームはモデルの汎化能力をテストした。訓練データに「ホーキング」という名前が一度も出現していないにもかかわらず、モデルはスティーブン・ホーキングを26%の確率で正しく識別した。他の一般的な回答にはアインシュタイン、ファインマン、オッペンハイマーが含まれていた。これはプロジェクタが学習した特徴の汎化が極めて強いことを示している。

ただし、SFT段階では簡単なQAペアのみを使用したため、モデルは推論能力を欠いていた。推論を回復するため、RL段階が開始された。ここでもプロジェクタのみを訓練対象とした。初期段階では、GLMはほとんど推論を生成せず、最初の4バッチ（512サンプル）では推論がまったく見られなかった。しかし5バッチ目で初めて単一の推論トレースが生成され、この一度の更新がモデルを推論トレース生成に向かわせ、報酬曲線は急速に0.8近くまで上昇した。GLMは画像の存在下で迅速に推論能力を再獲得した。

最終的に、視覚機能を備えたGLM 5.2はMMMU-Proベンチマークで55%の精度を達成し、Claude 4.5 Haikuに匹敵する。研究チームはユーザーが試用できるインターフェースを公開している。この成果は、極めて小さな付加モジュールと的を絞った訓練により、強力な言語モデルに視覚機能を効率的に付与しつつ、元の長所を保持できることを示しており、将来のマルチモーダルモデル開発に新たな道を開くものである。