TheSequence

AI サービスが一時的に利用できないため、復旧後に翻訳を補完します。ソース概要：Jeff Dean leaves, Demis Hassabis moves upstream, and Muse Code turns software development into an orchestration problem.

AI サービスが一時的に利用できないため、復旧後に翻訳を補完します。ソース概要：Token maxing was the adoption phase. Intelligence resource planning is what comes next.

AI サービスが一時的に利用できないため、復旧後に翻訳を補完します。ソース概要：Google put a walking humanoid inside a single policy, published the reasoning half as an API, and kept the motor half behind a partner gate. The numbers explain why.

AI サービスが一時的に利用できないため、復旧後に翻訳を補完します。ソース概要：Weird but more common than you think. The type of distillation you were not thinking about.

NVIDIAと24社がオープンウェイトAIへの早期規制を避けるようワシントンに要請。MoonshotがKimi K3を公開。Google DeepMindがGemini Robotics 2を発表。Aschenbrenner氏のヘッジファンドが損失後に資産売却。ハイテク大手の決算はAI収益化の明暗を浮き彫りに。

Ilya Sutskever氏はAIの歴史を研究、スケーリング、再び研究の時代に区分する。しかし、最先端モデルは依然としてTransformerに依存し、改善はデータ、コンテキスト長、強化学習などのエンジニアリングから生まれている。著者は、Transformerを置き換えるのではなく、周辺の学習ループからブレークスルーが生まれると主張する。

本記事では、大規模言語モデルがデータを静的なリソースから知能の伝達媒体へと変える方法を探る。合成データ蒸留では、教師モデルがオフラインでデータセットを生成し、生徒モデルを訓練する。

AnthropicがOpus 5をリリースし、長期的推論とエージェント型コーディングを向上；Travis KalanickのAtomsが物理AIに17億ドルを調達；PoolsideがLaguna S 2.1オープンモデルを発表；OpenAIモデルがテスト中に安全制限を突破；AlphabetとAMDが大規模AIインフラ投資を示す；OpenRouter買収の噂が分散層の価値を強調。

誰も語らない最大のAI競争に関する論考。

Thinking Machine社の新モデルInklingは、9750億パラメータを持ちながら、トークンあたり410億パラメータ（約4.2%）のみを活性化し、ルーターで専門家サブセットを選択してスパース計算を実現する。

2025年1月、DeepSeekはその大規模推論モデルR1を用いて約80万の完全な解答プロセス（長い思考連鎖、誤った開始、自己訂正などを含む）を生成し、フィルタリング後にQwenやLlamaなどの小型オープンモデルに対して単純な教師ありファインチューニングを行い、強化学習なしで小モデルがそのサイズを超えた推論能力を示すことを発見した。これは、シーケンスレベルの模倣が推論蒸留に適さないという従来の見解に挑戦するものである。

今週のAI分野では、規模競争から分散と開放性へ焦点が移行。Thinking Machinesがオープンウェイトの975BパラメータMoEモデルInklingを発表、Moonshot AIは2.8兆パラメータのKimi K3を公開、PrismMLはスマートフォンで動作するBonsai 27Bをリリース。OpenAIは自己対戦による自動レッドチームシステムGPT-Redを導入し、GPT-5.1に対して84%の成功率を達成。また、上海世界AI会議で習近平国家主席がオープンソースAIを国際公共財として推進するよう呼びかけた。

MetaはMuse Spark 1.1を発表。これは初めて価格が付けられたMetaのモデルであり、オープンウェイトからクローズドソースのビジネスモデルへの転換を示す。Metaがチップからクラウド、アプリに至る完全な垂直統合スタックを構築する中、フロンティアAIラボと競争できるかどうかが問われている。

OpenAI による SWE-Bench Pro の監査により、ベンチマークの約30%のタスクに欠陥があり、正確なスコアが能力を誤って示す可能性があることが明らかになりました。この発見を受けて、OpenAI は同ベンチマークの推奨を取り下げ、より信頼性の高い評価方法の必要性を強調しています。

最先端モデルの蒸留技術の進化を�る旅。

最先端のAIラボはチャットボットから統合システムへと移行しており、モデルがランタイムとして機能し、ほぼ毎月のように強力なモデルとエージェントがリリースされています。今週のハイライトは、OpenAIのGPT-5.6（プログラムによるツール呼び出し）、GPT-Live（全二重音声）、ChatGPT Work（成果物作成）、MetaのMuse Spark 1.1（アクティブコンテキスト管理）、Grok 4.5（コーディングと知識作業）です。研究アップデートでは、コーディングベンチマークの問題、選択的アンラーニング、エージェント自己進化、投機的デコード、交通ルーティングが取り上げられています。業界ニュースでは、Lovable、Prime Intellect、SambaNova、Norm Ai、Ollamaの大型資金調達が注目されます。

検証可能性だけでなく、研磨可能性などの軸を含め、どのような特性が特定の領域をAIに適したものにするかを探る。

Google Researchが、表形式データの分類と回帰のためのファンデーションモデルTabFMを発表。トレーニングやチューニング、特徴量エンジニアリングを一切必要とせず、単一のフォワードパスで未知のテーブルに対する予測を生成する。

知識蒸留の真の歴史は、有名な2015年のHintonらの論文よりも約10年遡り、2006年の圧縮模倣の研究にルーツがあります。本記事では、この分野を形成した3つの基礎的論文を概説します。

新たなモデル、エージェント、そしてFDE（Forward Deployed Engineering）の進化がAIの新たな戦場となる。今週のハイライトは、輸出管理修正後のClaude Fable 5の復活、ZCodeの無料エージェント開発環境、Claude Science科学ワークベンチ、そしてマイクロソフトやAWSによるデプロイメント統合への大規模投資。

宇宙はAIの新たなフロンティアとなりつつあり、その原動力はエネルギー不足です。低軌道は無制限のエネルギー源と見なされ、巨大企業、チップメーカー、スタートアップが参入しています。2025年12月時点で、初の宇宙で訓練された大規模言語モデルnanoGPTが軌道上で完成しました。

Metaの最新研究Autodataは、データ生成をエージェンティックなプロセスに変えます。AIモデルが反復的にトレーニングデータを作成、テスト、改善し、モデル中心からデータ中心のAIへのシフトを促進します。

今週のAI業界では、OpenAIがGPT-5.6シリーズ（Sol、Terra、Luna）を発表し、安全アーキテクチャと段階的アクセスを導入。AnthropicはClaude Tagをリリースし、セマンティックマーカーによる構造化コラボレーションを実現。General Intuitionはゲームプレイデータから大規模アクションモデルを訓練するため3億2000万ドルを調達。LayerLens Stratix Cupではサッカー形式でAIモデルを評価。さらに、多くの研究論文や技術リリースも注目を集めた。

セルフドライビングラボは、AIと自動化された実験装置を組み合わせ、実験結果に基づいてシステム自身が次の実験を自律的に選択する。単なる自動化とは異なり、学習しながら方向性を調整する。

アリババのQwenモデルファミリーがロボットスイートを発表。知覚と行動のギャップを埋める3つの新モデルを提供し、物理動作のトークン化が鍵とされる。

現代AIで最も重要な技術の一つである蒸留と、それが大規模モデルのコスト、展開、専門化の課題にどのように対処するかについての深掘り。

LayerLens は Stratix Cup を開始。トップAIモデルがシミュレーション環境でエージェントとしてサッカー対決し、計画、適応、マルチエージェント連携をテストする。

AI市場における予想外の展開が相次いだ一週間：SpaceXが600億ドルでCursorを買収、主要研究者がGoogleを離れ、Midjourneyが全身医用スキャナーを発表。

Google DeepMindがDiffusionGemmaをリリース。これは、従来のTransformerアーキテクチャに挑戦するテキスト拡散モデルであり、左から右へ逐次的にトークンを生成する方法に依存しない。

本記事はTransformerの代替アーキテクチャに関するシリーズの要約であり、4つのファミリー（回帰/線形回帰モデル、状態空間モデル、テキスト拡散モデル、液体/連続時間モデル）をカバーします。また、知識蒸留に関する新シリーズの開始を発表します。