Interconnects (Nathan Lambert)

Z.aiがリリースしたGLM-5.2は、オープンウェイトモデルにとって大きな飛躍を表し、エージェントおよびコーディングベンチマークでクローズドソースモデルに匹敵または凌駕します。Claude Fableの禁止の中でリリースされ、経済的・地政学的影響を浮き彫りにし、オープンモデルとクローズドモデルをめぐる議論を引き起こしています。

本記事は、オープンソースAIの禁止や過度な規制は重大な誤りであると主張する。オープンソースソフトウェアは、技術教育、イノベーション、競争に不可欠であり、数兆ドルの経済価値を生み出してきた。AI分野では、オープンソースモデルが独占に対抗し、安全性と透明性を提供する。中国への懸念からオープンソースを制限するのではなく、国内での支援を強化すべきである。

Ai2退職後のキャリアチェンジにあたり、著者はブログInterconnectsの現状を共有。ブログが自身の目標にどう貢献するか、Arcee AIとMercorへのアドバイザリー契約、コメントの有料化や有料記事増加による運営方針について述べる。

このポッドキャストでは、InstructGPTから2026年のマルチティーチャーオン・ポリシー蒸留（MOPD）時代に至るポストトレーニングレシピの進化を掘り下げます。Nathan LambertとFinbarr Timbersが、OLMo-3のようなオープンソースモデルの課題や、フロンティアラボが専門教師と蒸留を活用して性能限界を押し上げる方法を分析します。

AnthropicはClaude Fable 5を発表しました。これは一般公開された中で最も高性能なモデルです。同社は、サイバーセキュリティ、生物学、蒸留などの分野で分類器を使用し、Opus 4.8にフォールバックする安全対策を導入しました。しかし、最先端のLLM開発リクエストに対しては、ユーザーに通知せずにプロンプトを変更するなど静かな介入を行い、信頼を損ねています。この記事は、その不整合を批判し、AI安全性とオープンソースへの影響を考察しています。

Nathan Lambertが、Allen Institute for AI（Ai2）での経験を振り返ります。彼はOlmoモデルの開発に携わり、Tülu 3などのプロジェクトを主導しました。オープンリサーチの重要性を強調し、一介の研究者からAI分野で著名な存在へと成長した道のりを語ります。

2026年のAIはさらなる加速を続け、オープンモデルはエージェント能力で遅れをとり、GoogleのGeminiはClaude CodeやCodexに対抗できず、アメリカのオープンモデルが台頭し、AnthropicとOpenAIの競争が激化、既存の権力構造がAIに関与し始めている。

今月はオープンフロンティアラボから次々に新モデルがリリースされました。CAISIの評価ではオープンモデルは米国フロンティアに遅れをとっており、ギャップが拡大しているとされていますが、評価手法には疑問が呈されています。注目モデルとしてMiMo-V2.5-Pro、Gemma-4、Kimi-K2.6、Laguna-XS.2、DeepSeek-V4-Flashなどが紹介されています。

本記事では、フロンティアモデルの計算資源の約80%が研究開発に使用され、最終トレーニングではないと説明。中国のようなオープンエコシステムは重複する研究開発コストを削減する。オープンモデルは将来の開発コストを下げるが、導入コストはクローズドソリューションより高い。著者は競争力維持のためにオープンモデルコンソーシアムの必要性を主張。

中国の主要なAIラボを訪問した著者は、謙虚で実用的なファストフォロワー文化を発見した。中国の研究者（多くは学生）は、エゴが少なく、哲学的な議論よりも構築に集中している。エコシステムは初期の国内AI需要を示すが、データ産業は未発達で、Nvidiaチップへの渇望が強い。

オープンモデルとクローズドモデルの性能差は単一の数値では測れず、ベンチマークの進化、実世界での性能、訓練パラダイムの変化が関与する。ベンチマークの信頼性は低下し、フロンティアラボは収益維持のために常に革新を迫られている。中国のオープンモデルはベンチマークで優れるが、ロバストネスや実用面では課題がある。

この記事は、ATOMレポートの更新、RLHF本の完成と予約開始、ポストトレーニングコースの制作、そして2つの研究論文への関与など、著者の最近の取り組みをまとめたものです。

本記事は、Claude Mythosモデルの発表後に生じたオープンウェイトAIモデルに対する恐怖の波を分析する。著者は、過去の誇張された恐怖と同様であると主張し、全面禁止ではなく詳細な研究を求める。

本記事では、2026年のオープンモデル競争環境、成功要因（性能、出身国、ライセンス、ツールサポート、ファインチューニング容易性）を探り、Googleの最新Gemma 4シリーズを分析。オープンモデルの成功はベンチマークスコアよりも、使いやすさとエコシステムのサポートに依存すると論じる。

今号は、OCR、RAG検索、音声文字起こし、コンピュータ使用、コード編集、数学定理証明など、多様なユースケースをカバーするさまざまなオープンモデルを取り上げています。NVIDIA、Cohere、Sarvam、Mistralなど、より幅広いビルダーからのモデルが含まれており、ドメイン固有でコスト効率の高いモデルへの業界の推進力を示しています。

本稿は、再帰的自己改善（RSI）と実際の「ロッシー自己改善」（LSI）の違いを考察する。自動化可能な研究の狭さ、並列エージェントの収穫逓減、リソースのボトルネックなどの摩擦により、AIの進歩は指数関数的ではなく線形的であると主張する。

ベンチマークでは漸進的な改善に過ぎないが、Codex上のGPT 5.4は実用面でユーザビリティ、速度、コンテキスト管理において真の向上をもたらす。ただし、魅力ではClaudeが依然として勝る。