Induction LabsのPhoton-1：1回の事前学習でデスクトップをシミュレートし、チェッカーをプレイし、ビリヤード物理をモデル化

Induction Labsは先日、想像モデルアーキテクチャに基づく疎な混合専門家（MoE）ネットワークであるPhoton-1を発表した。パラメータ数は106B（活性化パラメータは5B）で、最大のブレークスルーは、アクションラベルを一切必要とせず、コンピュータ画面の録画ビデオのみを分析することでタスク実行能力を学習できる点にある。従来のビデオエージェントは各フレームに対応する具体的な操作を知る必要があったが、Photon-1は次のフレームの潜在表現を予測することで、ユーザーの行動パターンを暗黙的に学習する。

Photon-1は、有限スカラー量子化（FSQ）に基づく高効率なビジョンエンコーダを採用し、各フレームを960個の離散トークンに圧縮する。各トークンは8次元ベクトルで、各次元は{-1, -1/2, 0, 1/2, 1}の5つの値のいずれかを取り、合計5^8通りの符号化が可能である。この符号化により、1フレームあたり約2.2KBとなり、OCRやマルチモーダル表現と比較して100倍以上の圧縮率を実現しつつ、テキスト、レイアウト、状態変化の情報を保持する。この高い圧縮率を達成するため、Photon-1は差分潜在エンコーダを用いてフレームをペアで符号化し、フレーム内容そのものではなくフレーム間の差分を表現する。

データセットに関しては、Induction Labsは内部インデックスから20億の公開ビデオを収集し、フィルタリングにより約200万のコンピュータ画面録画に絞り込んだ。さらに内部のキーフレーム検出モデルで冗長フレームを除去し、最終的に5億7500万フレームのデータセットを得た。サンプリングレートは1フレーム/秒で、合計18年分のビデオに相当し、5520億トークンからなる。Photon-1はこのデータセットで1エポックだけスクラッチから事前学習され、コンテキスト長32Kで約30,000 H200 GPU時間（計算量約4.4×10²² FLOPs）を消費した。トレーニングはPyTorchで実装され、ビジョンエンコーダとMoE層にカスタム融合カーネルを用い、エンドツーエンドのモデル利用効率（MFU）40%を維持した。

想像から行動への変換のため、研究チームは3万5千件未満のコンピュータ使用軌跡でPhoton-1をファインチューニングし、アクションと命令形式を学習させた。推論時、モデルはまず次のフレームの状態を予測し、その状態に到達するためのアクションを出力する。さらに、仮想マシン上で実際のデスクトップ環境（LXQt、Xfce、MATE、GNOME、Plasma）を大規模に実行し、プログラムによる検証で報酬を与えるオンライン強化学習を実施した。

性能比較において、Photon-1の事前学習計算量は0.044×10²⁴ FLOPsであり、Gemini 3.1 Flash-Liteの約1.2×10²⁴ FLOPsと比較して約27分の1である。内部のコンピュータ使用ベンチマークでは、Photon-1がGemini 3.1 Flash-Liteを上回り、推論コストも約3分の1であった。ただし、これはInduction Labsの内部評価であり、独立した検証は行われていない点に注意が必要である。

さらに驚くべきはPhoton-1の汎化能力である。デスクトップビデオのみで事前学習されたにもかかわらず、ファインチューニング後には国際チェッカー（公開棋譜2万局）とビリヤード物理シミュレーション（合成データ1万局面）の両方で、同規模のビジョンエンコーダベースラインやLing-flash-2.0大規模言語モデルベースラインを有意に上回った。ビリヤードタスクでは、Photon-1の平均絶対誤差（MAE）は0.47であり、LLMベースラインの1.15、ビジョンベースラインの1.44を大きく下回った。また、モデルは強化学習を通じて、仮想マシン内のChatGPTクローンを使ってコンテンツを作成したり知識質問に回答したりする能力を獲得し、人間の操作者の行動選好を反映した。

印象的な成果ではあるが、Induction Labsは現在、モデルの重み、API、ライセンスを公開しておらず、本研究は研究結果に留まる。詳細なテクニカルレポートが公式サイトで公開されている。