Inklingの登場：Thinking Machinesによるマルチモーダル大規模モデル

Thinking Machinesは2026年7月15日、画期的なオープンソースのマルチモーダルモデル「Inkling」を発表しました。Inklingは約1兆パラメータを持ち、画像、テキスト、音声入力をネイティブで受け付ける初の大規模オープンモデルの一つです。コンテキストウィンドウは最大100万トークンで、非常に長いシーケンスを処理できます。このモデルは、テキスト、画像、音声、動画を含む45兆トークンで学習されており、クロスモーダル推論に重点を置き、ファインチューニングによるドメイン適応を目的としています。

Inklingのアーキテクチャはデコーダーオンリーの混合エキスパート（MoE）モデルで、総パラメータは9750億ですが、推論時にアクティブになるのは410億パラメータのみです。スパースゲーティング機構により、256のエキスパートから6つのルーティングエキスパートと2つの共有エキスパートが選択されます。相対アテンションを採用し、従来のRoPEの代わりに位置情報を直接学習します。また、ハイブリッドアテンションにより、グローバルアテンションとスライディングウィンドウアテンションを5:1の比率で組み合わせ、計算効率を向上させています。短い1D畳み込み（SConv）は、局所的な表現を強化し、アテンションとMoEモジュールを局所表現から解放します。

画像処理には、単純な階層的MLPパッチファイアを使用し、ピクセルを段階的にマージしてパッチごとの埋め込みを生成します。音声処理では、離散化されたメルスペクトログラムを用い、100ミリ秒のオーディオチャンクをメルスケールに変換し、精密なメルビンに分類します。これらのマルチモーダルタワーは比較的シンプルで、別個のエンコーダを必要としません。

推論サポートでは、InklingはBF16およびNVFP4精度でHugging Faceに公開されています。BF16チェックポイントには2TBのVRAMが必要ですが、NVFP4バージョンは600GBで済みます。transformers、SGLang、vLLMなどの主要な推論エンジンが即日サポートされています。transformers 5.14.0ではany-to-anyパイプラインが利用可能で、推論努力レベル（noneからmaxまで）を指定できます。ローカルデプロイには、llama.cppとUnslothの量子化バージョン（1ビット精度でVRAM消費を95%削減）が使用できます。また、Hugging Faceの推論プロバイダを通じてOpenAI互換APIによるリモートアクセスも可能ですが、音声サポートは現在開発中です。

Inklingのリリースは、オープンモデルにおけるマルチモーダル推論の重要なマイルストーンです。巨大なパラメータ数と効率的なアーキテクチャにより、次世代のマルチモーダルアプリケーション開発の強力な基盤を提供します。研究者や開発者は、ファインチューニングを通じて特定のドメインタスクに適応させることができます。Thinking Machinesは、このモデルで複数のデモを構築し、その可能性に自信を示しています。