ThinkyがInklingを発表：975B-A41Bのマルチモーダルモデル、米国最強のApache 2.0オープンモデル（Inkling-Small 276B-A12Bも）

Thinky社は初のフルLLMシリーズInklingを発表した。これは混合エキスパート（MoE）モデルで、総パラメータ数975B、活性化パラメータ41Bを誇る。テキスト、画像、音声の入力に対応し、最大1Mトークンのコンテキストウィンドウを備え、Apache 2.0ライセンスで公開される。今回のリリースは米国オープンソースAIの重要なマイルストーンと見なされるが、一部のベンチマークでは中国のオープンソースフラッグシップモデルやトップクローズドモデルに及ばない。

Inklingのプリトレーニングには45兆トークンのマルチモーダルデータ（テキスト、画像、音声、動画）が使用された。アーキテクチャ面では、スライディングウィンドウアテンション（ローカル対グローバル層比5:1、ウィンドウサイズ512）やRoPEの代わりに相対位置エンコーディングを採用。アテンションとFFNストリームにショートコンボリューション層を追加し、MoEには2つの共有エキスパートを設定、DeepSeekスタイルの補助損失なし負荷分散を実装。最適化にはmuPとMuonC/AdamCの重み減衰法を用い、投機的復号向けに8つのMTPヘッドを備える。

性能面では、Artificial Analysisのインテリジェンス指数で41点を獲得し、Nemotron 3 UltraやGemma 4など米国オープンモデルを凌駕。Agentic Web App Arenaでは9位となり、Claude Opus 4.6やGemini 3.5 Flashと同等の評価を得た。ただし、一部の批評家はAgenticおよびMultimodalベンチマークでGLM 5.2やKimi K2.6に劣ると指摘。また、モデルが完全に独立して訓練されたかどうかについては議論があり、他のオープンモデルからの蒸留を使用したとの見方もある。

エコシステムのサポートは広範囲に及び、vLLM、SGLang、Modal、Baseten、Databricks、Hugging Faceなどが即日対応。NVIDIAはGB300 NVL72での訓練を確認し、NVFP4チェックポイントを提供。vLLMはBlackwellおよびHopper向けに最適化し、最大380トークン/秒/ユーザーを達成。コミュニティでは、畳み込みやアテンションの置き換えによるスループット向上も報告されている。

価格はTinkerプラットフォームで、64Kコンテキストの場合入力100万トークンあたり1.87ドル、出力4.68ドル。256Kコンテキストでは入力3.74ドル、出力9.36ドル。小型バージョンのInkling-Small（276B総パラメータ/12B活性）もプレビューとして公開され、コスト効率で競争力を持つ。

総じて、Inklingは米国オープンソースマルチモーダルモデルの重要な進歩だが、その真価と長期的影響は今後の評価を待つ必要がある。