TheSequence

セルフドライビングラボは、AIと自動化された実験装置を組み合わせ、実験結果に基づいてシステム自身が次の実験を自律的に選択する。単なる自動化とは異なり、学習しながら方向性を調整する。

アリババのQwenモデルファミリーがロボットスイートを発表。知覚と行動のギャップを埋める3つの新モデルを提供し、物理動作のトークン化が鍵とされる。

現代AIで最も重要な技術の一つである蒸留と、それが大規模モデルのコスト、展開、専門化の課題にどのように対処するかについての深掘り。

LayerLens は Stratix Cup を開始。トップAIモデルがシミュレーション環境でエージェントとしてサッカー対決し、計画、適応、マルチエージェント連携をテストする。

AI市場における予想外の展開が相次いだ一週間：SpaceXが600億ドルでCursorを買収、主要研究者がGoogleを離れ、Midjourneyが全身医用スキャナーを発表。

Google DeepMindがDiffusionGemmaをリリース。これは、従来のTransformerアーキテクチャに挑戦するテキスト拡散モデルであり、左から右へ逐次的にトークンを生成する方法に依存しない。

本記事はTransformerの代替アーキテクチャに関するシリーズの要約であり、4つのファミリー（回帰/線形回帰モデル、状態空間モデル、テキスト拡散モデル、液体/連続時間モデル）をカバーします。また、知識蒸留に関する新シリーズの開始を発表します。

先週のAI業界は大きな動きがあった。AnthropicがClaude Fable 5とMythos 5を発表、AppleがSiri AIを公開、SpaceXが史上最大のIPOを実施、BezosのPrometheusが120億ドルを調達。これらの出来事は、AIがチャットウィンドウを超えて拡大していることを示している。

エージェント時代の新しいビジネスソフトウェアパラダイム。

論文「言語モデルには睡眠が必要」は、LLMが訓練後に学習できなくなる「前向性健忘」に悩まされていると指摘し、記憶を定着させるための睡眠のようなメカニズムを提案している。

トランスフォーマーアーキテクチャは、現在AIの参照アーキテクチャであり、そのスケーラビリティから産業標準となっていますが、アテンション機構の計算コストが高くつきます。この記事では、トランスフォーマーが最終的なアーキテクチャなのか、それとも最初の真にスケーラブルなアーキテクチャに過ぎないのかを探ります。

新しいAIサッカートーナメント、主要モデルのリリース、資金調達、AnthropicのS-1。

エヌビディアのジェンスン・フアンはAIスタックを5層のケーキとして描き、調和を強調する。しかし戦略家の目には、それは5つの利益プールの垂直戦争に映る。真の支配は、希少層とその隣接する「継ぎ目」を所有することにかかっている。

Claude Opus 4.8は2026年5月28日にリリースされました。バージョン番号の小幅な増加にもかかわらず、信頼性において大きな進歩を遂げています。具体的には、キャリブレーションの改善によりコードの欠陥を検出する頻度が約4倍向上し、サイレントツール呼び出しのスキップを修正し、長期タスクのための圧縮リカバリを改善し、動的ワークフロー、適応的思考、そして4.7よりも2.5倍高速で3倍安価な高速モードを備えています。このリリースは、ベンチマークスコアではなく、エージェントの信頼性に焦点を当てており、プロダクション環境でのエージェントループに重要なアップデートです。

本稿ではTransformerアーキテクチャの限界と、低レイテンシ・プライベートなオンデバイス知能に向けた液体モデルの可能性について考察する。

AnthropicがClaude Opus 4.8をリリース、営業利益に近づく；OpenRouterやCognitionが大型調達；SnowflakeがAWSと60億ドル契約；教皇レオ14世がAIのリスクを警告。業界はモデル中心の競争からトークン単位の経済へ移行している。

現代のAI時代のほとんどにおいて、スケーリング則が進歩を推進してきたが、今や再帰——モデルやシステムが再検討、修正、探索、シミュレーションする能力——が新たな拡張次元になりつつある。この変化は、単一の前方伝播から反復計算へのパラダイムシフトを示している。

本記事は、LLMにおけるチェーン・オブ・ソート（CoT）推論を非効率だと批判する。推論が残差ストリームを離れ、離散トークンになることを強制するためだ。サピエント・インテリジェンスのHRM-Textは、潜在空間で推論を行うことでこの問題に対処し、固定深度のトランスフォーマーに可変の内部深度を提供し、現在の推論パラダイムに挑戦する。

テキスト拡散モデルは、自己回帰型のパラダイムに挑戦し、ノイズから繰り返しノイズ除去することでテキストを生成し、生成をタイピングではなく編集として捉えます。この分野を定義する3つの主要システム：LLaDA（スケーリングの証明）、Mercury（商用速度の優位性）、Gemini Diffusion（フロンティア検証）があり、新しいアーキテクチャクラスの3つのフェーズ（科学的証明、産業展開、フロンティア検証）を代表しています。

先週のAI業界は大きな転換点を迎えた：GoogleがGemini Omniとエージェント優先プラットフォームを発表、Andrej KarpathyがAnthropicに加入しClaudeを活用した事前学習の加速に着手、AnthropicはxAIのColossusと450億ドルの計算リース契約を締結、CerebrasのIPOで時価総額約950億ドルに、SpaceX、OpenAI、Anthropicが今後6ヶ月以内に上場を計画し、総評価額は3兆ドルを超える可能性がある。また、HRM-Text効率的事前学習、AIレビュアーの評価、NVIDIAの統合AR-拡散モデルなど、複数の最先端研究が発表された。

AIエージェントの次フェーズは、より優れたモデルだけでなく、ファイルシステム、ターミナル、ブラウザなどへのアクセスによって定義される。エージェント用サンドボックスの市場が台頭している。

シンキングマシンズのインタラクティブモデルは、リアルタイムの会話、視覚、音声、ツール使用を一つの継続的な学習システムに統合します。

テキスト拡散モデルは、生成ドリフトや反転の呪いなどの限界を克服し、言語生成における自己回帰型トランスフォーマーモデルに代わる信頼できる選択肢として浮上しています。

先週のAI業界では、CerebrasのIPOにより時価総額が約950億ドルに急騰、Thinking Machinesが対話をモデル自体に組み込んだ「インタラクションモデル」を公開、元SalesforceチーフサイエンティストのRichard Socherが自己改善型AIシステムを目指すRecursive Superintelligenceを立ち上げ、元AlibabaのQwen責任者である林俊陽氏が約20億ドルの評価額で新たなAIラボを設立するなど、重要な動きがあった。

AIシステムがチャットボットからエージェントへと進化する中で、評価は計算能力、データ、モデルに並ぶ第4の柱になりつつある。各企業は汎用的なベンチマークではなく、自社のワークフローに合わせた動的な評価スイートを構築する必要がある。

Anthropicの新しい自然言語オートエンコーダにより、研究者はLLMの活性化に対する直接的な英語の説明を得ることができ、解釈可能性における重要な一歩となります。

状態空間モデル（SSM）は、線形時間計算量と一定メモリを実現し、Transformerの支配的なパラダイムに挑戦しています。この記事では、SSMの数学的基盤、発展の経緯、および言語モデリングなどのタスクでの性能について概説します。

今週のAIは、科学化、製品化、投機化が同時に進む市場の様相を示した。Anthropicは自然言語オートエンコーダを発表し、モデルの内部状態を言語で解釈する新手法を提案。OpenAIは新しい音声モデルでAIをネイティブインターフェースへと押し上げる。SubQは1200万トークンのコンテキストウィンドウを主張し、RAGアーキテクチャに挑戦。DeepSeekやMoonshotなどの中国AIラボの評価額が急騰し、市場はAIを戦略的資産として捉えている。全体として、AIはモデル競争からインフラ競争へと移行している。

AIエージェントがソフトウェアを再構築し、エージェント経済の支配者は既存の巨人ではないと論じる。

NVIDIAのNemotron 3 Nano Omniは、ビデオ、オーディオ、画像、テキスト処理を単一の効率的なモデルに統合し、個別モデルのパイプラインによる損失を回避するマルチモーダル推論モデルです。