推論コスト

オープンソースAIは、クローズドモデルとの能力格差を縮め、推論コストは36か月で50倍低下し、オープンウェイトがAPIトラフィックの過半数を占めるに至った。開発者の79%がオープンモデルを採用する一方、本番展開に成功するのは51%にとどまる。オープンは、単なるコスト選択ではなく、主権選択として世界中で推進されている。

LLMのスケーリングはGPUを追加することではなく、各リクエストから無駄な処理を取り除くことです。この記事では、レイテンシとコストを削減する12の実践的な方法を紹介します。

LangChainとNVIDIAが協業し、LangChain Deep Agents Code、NVIDIA Nemotron 3 Ultra、OpenShellを組み合わせた、オープンでガバナンスが効くエンタープライズエージェント向けブループリント「NemoClaw」を発表。評価では、リーディングパフォーマンスを約10分の1の推論コストで実現。

NVIDIA Nemotron 3 Ultraは、最も広く採用されているAIエージェントオーケストレーションプラットフォームにおいて、トップクローズドモデルよりも低コストでリーディングパフォーマンスを提供。LangChainがNemotron 3 Ultra向けにDeep Agentsハーネスをチューニングした結果、オープンモデルで最高の精度を達成し、より多くのタスクを高いスループットで完了、実行あたりの推論コストは主要クローズドモデルの10分の1に抑えられました。

AI推論コストが二極化：コモディティモデルは価格低下、フロンティアモデルは高騰。企業のAI支出は労働コストの10～20%に達するが、効率の転換点が存在。オープンウェイトモデルはフロンティアに迫る性能で大幅に低コスト。

Together AIは、MiniMax M3やGLM-5.2などのフロンティアオープンモデル向けに、トークンベースの料金設定と99%のアップタイムSLAを備えた予約推論容量「Provisioned Throughput」を発表。専有APIと比較して最大90%のコスト削減を実現します。

イジングモデルに基づく熱力学計算デバイスは、低消費電力AI推論とエッジコンピューティングに大きな可能性を示していますが、大規模モデルのトレーニング方法は限られています。本研究は、高温ギブスサンプリングされたイジングシステムの時間平均挙動とニューラルネットワーク推論の理論的対応関係を、イジングマシンハードウェア上での熱力学推論用の深層畳み込みネットワークをトレーニングするためのスケーラブルな逆伝播アルゴリズムに変換します。CIFAR-10で94.9%、CIFAR-100で76.0%の精度を達成しました。さらに、推論コストと精度のトレードオフに関する数学的理論を開発し、最適な推論スケジュールを計算するアルゴリズムを示します。最後に、ハードウェア開発と高温熱力学AIモデルの未来への影響を議論します。

アンドリュー・ネスビットによる仮想的なインシデントレポート。競合ベンダーの2つのAIレビューエージェントがパッケージの悪意性をめぐって意見の相違ループに陥り、莫大な推論コストとプレスリリースを引き起こす様子を描く。

現代のビデオ拡散モデルはスケーリングにより生成品質を向上させるが、推論コストが増大する。Solビデオ推論エンジンは、トレーニング不要のエージェント型高速化フレームワークであり、キャッシュ、スパースアテンション、トークンプルーニング、量子化、カーネル融合の5つの技術を組み合わせる。3つの異なる規模のビデオモデルで検証し、2倍以上のエンドツーエンド高速化を達成し、VBench品質をほぼ維持した。

拡散言語モデル（DLM）では双方向注意機構により既存のKVキャッシュ手法が機能せず、精度がほぼゼロになる。本論文は双方向プレフィックスキャッシュ（bicache）を提案し、安全なレイヤー深さを動的に特定して共有プレフィックスKVを再利用することで、スループットを36.3%～98.3%向上させ、精度低下はわずか0～1.8%に抑える。

Mate SecurityのCEOであるAsaf Wienerは、AI推論コストの高騰に直面し、単なるコスト削減ではなく、すべてのバックエンドエンジニアが自身のワークロードのモデル選択、評価、ルーティングを担当するように会社を再構築しました。ワークロードレベルでのコスト可視化により、品質とコストの最適化が可能となり、特定のタスクではオープンソースモデルがフロンティアAPIを凌駕することもあります。Wienerは、AIネイティブ企業の唯一の構造的優位性は、その日に利用可能な最良のモデルに対して出荷することであり、それを可能にするのは、法的ポリシーのレビューサイクルを回避し、適応性を重視する「実行モード」の文化であると主張しています。

本論文では、DAStatFormerを提案する。これは、マルチドメイン統計的特徴を抽出し、ゲート付き注意機構で融合するハイブリッドマルチブランチTransformerであり、DASイベント分類において99.4%の精度を達成し、パラメータ数と推論コストを大幅に削減する。

本記事では、AIハードウェア市場におけるメモリボトルネックの問題を深く掘り下げる。GPUのテンソル演算速度はメモリ帯域幅をはるかに上回り、デコードフェーズではほとんどの演算ユニットがアイドル状態になる。チップ層（Groq、Cerebrasなど）、推論エンジン層（RadixArk、Inferact）、KVキャッシュ基盤（TensorMesh/LMCache）、パッケージング・相互接続層（CoWoS）など、各層の異なるアプローチを分析し、持続可能な企業はスタック内の他の部分に内部化できないコントロールポイントを掌握する必要があると指摘する。

GEM-4Dは、高密度な4D対応関係の監視を注入することでロボット操作を向上させる幾何学的に基づいたビデオワールドモデルです。事前学習済みの幾何学基盤モデルから蒸留されたこの監視により、追加の推論コストなしで外観と幾何学的構造を同時に捉えます。逆動力学モジュールにより、一貫性のあるビデオ展開を実行可能なロボット軌道に変換します。GEM-4Dはビデオ予測と幾何学的整合性で最先端の性能を達成し、実世界の操作成功率を61%から81%に向上させます。

Tensor Cacheは、スライディングウィンドウソフトマックスアテンション（L1）と、ウィンドウから排除されたKVペアで満たされる固定サイズの外積高速重みメモリ（L2）を組み合わせた2レベルキャッシュです。最小限のメモリオーバーヘッドでウィンドウ外の長いコンテキストへのアクセスを可能にし、メモリと品質のフロンティアを改善します。

潜在キャッシュフロー（LCF）は、キーとバリューを共同で翻訳・圧縮し、アダプタサイズをCache-to-Cache（C2C）の4%に削減。異なるコンテキストにも対応可能。実験では、共有コンテキストで13MBのLCFアダプタが956MBのC2Cより高精度、異なるコンテキストではテキストベース通信より23%高精度で8.5倍高速。

UCCIは、アイソトニック回帰を用いてトークンレベルのマージン不確実性をクエリごとの誤差確率にマッピングし、制約付きコスト最小化によってエスカレーションしきい値を選択する校正優先ルーターです。NER本番ワークロードにおいて、UCCIはmicro-F1=0.91で推論コストを31%削減し、ECEを0.12から0.03に低減します。

視覚言語モデルは、言語バックボーンにますます長い視覚トークンシーケンスを入力することで知覚を改善しますが、その結果生じる推論コストは基本的なスケーリング問題を提起します：マルチモーダルモデルが成長するにつれて、実際に必要な視覚トークンの数はいくつか、固定予算の下でどのように割り当てるべきか？既存のトレーニング不要のプルーニング手法は、デコーダ注意、視覚的類似性、条件付き多様性などのワンショットプロキシでこれに答えることが多い。著者らは、視覚トークンプルーニングはタスク条件付き証拠探索として捉えるべきだと主張し、特に積極的な圧縮とモデルスケール全体で考慮する。彼らはF^3Aを提案する。これは言語モデルが画像トークンを消費する前に動作するトレーニング不要のルーターである。F^3Aは軽量な質問条件付きキューを構築し、凍結されたスパースセンシングヘッドを介して視覚グリッドトークンとマッチングし、粗い証拠の位置特定、局所的な洗練、カバレッジ保存競争、未カバー領域の回復を通じて固定の視覚トークン予算を割り当てる。モデルトレーニングや追加のLLMフォワードパスは不要で、元のマルチモーダルプロンプトとデコードパイプラインを保持する。

最近の研究では、ユニバーサルマルチモーダル埋め込み（UME）がチェーン・オブ・ソート（CoT）推論から大きな利益を得ることが示されていますが、明示的なCoTトレースの生成は計算コストが高くなります。本論文では、明示的なCoTを潜在的な思考トークンに置き換えることを提案します。これらのトークンは潜在変数として解釈され、観測変数として明示的なCoTトレースを生成できます。CoT生成損失で思考トークンを最適化し、コントラスト損失で埋め込みトークンを最適化することで、一定の推論コストで高性能な推論認識表現を実現します。導入されたTTE-Flash-2Bモデルは、MMEB-v2ベンチマークで明示的なCoTモデルを上回り、思考トークンはテキストおよび視覚的に解釈可能です。15のビデオデータセットでのゼロショット評価では、思考トークン数の増加に伴うスケーリング動作が示され、タスク要件に基づく適応的な思考予算配分のパイロット研究が動機付けられました。

最新の大規模言語モデル（LLM）は数百万トークンのコンテキストを処理できるようになったが、Key-Value（KV）キャッシュは対話履歴に比例して線形に増加し、メモリがデバイス制限を超える原因となる。既存の圧縮手法はコンテキスト全体を処理した後にキャッシュ退避を行うため、ピークメモリ使用量が制御不能になり、クエリ依存の退避はキャッシュセマンティクスを単一クエリに絞り込み、マルチターン対話で失敗する。本稿では、固定メモリ予算下での長期対話型質問応答（LongConvQA）のための、学習不要のKVキャッシュ管理フレームワークEpiCacheを提案する。EpiCacheはブロック単位のプリフィルによりキャッシュ成長を制限し、エピソード的KV圧縮によりトピック関連コンテキストを保持する。3つのベンチマークで、EpiCacheは最大30%の精度向上、4-6倍圧縮下でフルキャッシュに近い精度を達成し、レイテンシとピークメモリをそれぞれ最大2.4倍、3.7倍削減した。

Google CloudはNext '26でCloud Storage Rapidファミリーを発表。Rapid BucketとRapid Cacheにより、AIおよび分析ワークロード向けに超低レイテンシ、高スループットのオブジェクトストレージを提供する。

フローマッチングは学習された速度場を積分してデータを生成し、NFEが推論コストを決定する。本論文では速度ヤコビアンをひずみ速度と渦度に分解し、ひずみは指数関数的誤差増幅を、渦度は線形寄与をすることを証明。重み付きヤコビアン正則化を提案し、低NFEで誤差を大幅に低減する。

SuperhumanはDIY vLLMスタックからDatabricks FMAPI Provisioned Throughputに移行し、カスタムLLMを200K+ QPS、サブ秒P99レイテンシで提供しています。共同最適化により、FP8量子化、CPUボトルネック解消、Hopperアーキテクチャのアテンションカーネル最適化を通じて、GPUあたりのスループットが60%向上（H100ポッドあたり750 QPSから1,200 QPS）し、品質の低下はありません。Databricks FMAPIは、本番グレードの負荷分散、オートスケーリング、高速コンテナ起動により、250以上のGPUに確実にスケールします。

ドメイン訓練された小規模言語モデルOlava Extractと最先端の大規模言語モデルを構造化契約抽出で比較した研究。OlavaのマクロF1は0.812、マイクロF1は0.842、推論コストは78～97%削減され、幻覚が少なく、大規模モデルの必要性に疑問を投げかける。

Zero Latency（旧Hyphastructure）は、AI推論ワークロードをレイテンシ、データグラビティ、バースト制約に基づいて適切なエッジ容量にルーティングする分散型AI推論グリッド「Zerogrid」のクローズドベータ版を発表した。ベータ版はフォーチュン1000企業、一次通信事業者、ファイバーオペレーター、エンタープライズDevOpsプラットフォームに提供される。Zerogridのアーキテクチャは分散型仮想発電所をモデルとしており、米国内のエッジコンピューティングクラスタを統合し、前日およびリアルタイムでワークロードをディスパッチする。共同設立者Michael Huertaは、エネルギー分野での分散型インフラ経験をAI推論に応用し、クラウドやオンプレミスでは解決できない制約に対処すると述べている。

Tomofun 社は、GPU インスタンスから AWS Inferentia2 ベースの EC2 Inf2 インスタンスに移行することで、Furbo ペットカメラの推論コストを 83% 削減し、高精度と低レイテンシを維持しました。この記事では、BLIP モデルの適応、アーキテクチャ、ストレステストを含む移行プロセスを詳しく説明します。

AIが研究から生産へ移行するにつれ、AIネイティブチームの課題はモデル構築から、効率的で信頼性が高く大規模なモデル運用へとシフトしています。推論コストは生産AIシステムの総ライフタイムコストの80～90%を占めます。Together AIはFlashAttention-4やATLASなどの研究と、フルスタックのハードウェア最適化、インテリジェントなスケジューリングにより、効率的な推論を実現し、顧客のユニットエコノミクスを改善します。

Transformerは系列モデリングを支配しているが、長いコンテキストではO(N²)のKVキャッシュコストが問題となる。新しいRNNは、より大きな状態、データ依存のゲーティング、LLM時代のトレーニングレシピを採用し、O(1)の推論コストでTransformerのパープレキシティに匹敵する。

著者は、FireConnect 経由で Claude Code 上で GLM 5.2 Fast を使用し、通常1か月相当の GPU スケジューラのリクレーム機能を、わずか4日間と218ドルの推論コストで実装しました。記事では、高速推論によるコンテキストスイッチの排除、低コストによるトークン使用の制限からの解放、複雑な並行処理ロジックを扱えるモデルの品質について詳述しています。