モデル工場の中身 — Poolside AI 共同CEO Eiso Kant

オープンvsクローズド、米国vs中国のモデル所有権と主権AIをめぐる議論が白熱する中、Poolside AIが新モデルLaguna S 2.1をリリースし、10倍近い規模のモデルを凌駕する結果を示した。共同CEOのEiso Kantによれば、このモデルは総パラメータ118B、アクティブパラメータ8Bという小型ながら、Thinking Machinesの約1兆パラメータモデルを複数のベンチマークで上回ったという。

Eisoは最新のポッドキャストで、2015年にAndrej KarpathyのRNNに関する記事に触発され、コード言語モデルに特化したスタートアップSourcedを立ち上げた経緯を語った。しかし2019年まで市場はほとんど関心を示さず、最終的に1200万ドルを費やして失敗。ChatGPTの登場で自身の信念が正しかったと確信し、Poolsideをオープンソースに回帰させた。

現在、Poolsideは「モデル工場」と称するエンドツーエンドのシステムを構築。70名未満の研究者が毎月1万～2万の実験を実行し、ストリーミングデータ直接投入、不変データとバージョン管理コードによる再現性確保により、モデルサイクルを6ヶ月から5～8週間に短縮した。エージェントがコード記述、実験起動、評価を自律的に行い、将来のモデル訓練パイプラインも改良している。

Eisoはモデル構築の90%はエンジニアリングであり、改善の95%はデータまたは計算効率に帰着すると主張。強化学習は事前学習の段階に組み込まれるべきであり、次トークン予測はウェブからの知識抽出が不十分だと指摘。エージェントに関しては、数十のツールを呼び出す代わりにスクリプトを直接書くべきであり、MCPや従来のツール呼び出しは「愚か」と断じた。

業界構造については、5社の寡占より100社の基盤モデル企業が存在すべきとし、規制が誤って2～3社の独占を固定化するリスクを警告。Poolsideは最近5億ドルの資金調達を完了し、AGIへの道筋としてコーディングと長期間ソフトウェアタスクを重視。訓練戦略は最初からモデルを訓練することであり、大規模モデルからの蒸留は行わない。社名「Poolside」は野心を下げないという決意の表れだ。

今後は視覚能力を優先するが、音声にはすぐには取り組まない。言語が知識と推論を符号化するのに最も計算効率の良いモダリティだと確信。AI安全性に関しては、グローバルな競争環境では一方的な安全対策は機能しないと指摘。現在、強化学習の壁時計時間が最大のボトルネックであり、NVIDIAとTSMCのハードウェアが基盤モデルの進歩を支えている。