Thinking Machines Lab、276B総パラメータ・12B活性のオープンウェイト多モーダルMoEモデル「Inkling-Small」を公開

Thinking Machines Labは、オープンウェイトのMixture-of-Experts（MoE）モデル「Inkling-Small」を公開した。総パラメータ数は276B、毎回の推論で活性化されるのは12Bのみで、975B総/41B活性のフラッグシップモデル「Inkling」の約4分の1の規模にあたる。モデルはNVIDIA GB300 NVL72システムで学習され、テキスト・画像・音声をネイティブに処理。コンテキストウィンドウは最大100万トークンで、思考の強さ（thinking effort）も調整できる。ウェイトはApache 2.0ライセンスでHugging Faceに公開されている。

デプロイ面では、量子化チェックポイントが鍵となる。モデルカードによると、BF16チェックポイントには少なくとも600GBの集約VRAMが必要で、NVIDIA B300×4またはH200×8に相当する。一方、NVFP4チェックポイントは180GBまで下がり、B300（SM100+）1枚でW4A4、H200×2でW4A16で動作する。対応ランタイムはSGLang、vLLM、TokenSpeed、Unsloth、Hugging Face。このシングルGPU対応により、スタートアップはB300を1台借りてセルフホストでき、中規模企業は既存のH200を活用できる。金融、医療、保険、通信、公共部門といった規制産業向けにはプライベートウェイトの選択肢が生まれる。ユースケースはコーディングエージェント、端末自動化、文書・チャート理解に加え、音声ではコールセンター分析、音声インターフェース、会議要約などに広がる。

アーキテクチャは、42層のデコーダーのみのTransformerで、スパースMoEフィードフォワードを採用。各トークンは256個の専門家のうち6個にルーティングされ、さらに2個の共有専門家が常に活性化する。アテンションはローカル層とグローバル層のハイブリッド。画像は40×40ピクセルのパッチに分割され、4層のhMLPで変換。音声はdMelスペクトログラムとして表現され、どちらも軽量な埋め込み層を通してテキストトークンと共同処理される。数値精度はBF16、MXFP8、NVFP4に対応。音声入力は16kHz WAVで、理想的には2分以内。出力はテキストのみ。

Inkling-Smallは、より大きなInklingの後に学習を開始したため、研究チームは事前学習データの混合比や機械学習のレシピを修正できた。初期チェックポイント「Inkling-Small (preview)」は、Inklingを教師とするオンライン方策蒸留（on-policy distillation）を使って後学習され、そこからエージェント型コーディングの強化学習を2週間継続して拡張した。

ベンチマークでは、小型モデルが推論とエージェント型コーディングで教師モデルを上回っている。Humanity’s Last Exam（テキストのみ）では31.6%（Inklingは29.7%）、SWE-bench Verifiedは80.2%（bash-onlyハーネス、Inklingは77.6%）、Terminal-Bench 2.1は最高64.7%、Toolathlon Verifiedは54.4%（Inklingは45.5%）、GPQA Diamondは89.5%、AIME 2026は95.5%、IFBenchは82.2%、ARC-AGI-2は36.5%から40.1%に上昇した。一方、事実性は後退し、SimpleQA Verifiedは43.9%から20.6%に、AA Omniscience指数は2.1から-9.0に、Tau 3 Bankingは23.7%から15.5%に低下。すべての評価はeffort 0.99、温度1.0で実施され、コーディング評価では256Kトークンの軌跡制限が使われた。外部スコアはArtificial Analysis、Scale AI、ARC Prizeから取得している。

マルチモーダル性能は低コストでInklingに迫る。MMMU Proは74.0%、CharXiv RQは77.4%（Pythonでチャートをクロップ・ズーム・検査する場合は81.3%）、Audio MCは54.9%、MMAUは77.0%、VoiceBenchは90.1%。認識論的側面では、現実世界の予測問題の大規模コーパスに対して適切なスコアリングルールに基づく強化学習でキャリブレーションを訓練。検索なしのForecastBenchでBrier Indexは61.3±0.46となり、Inklingの60.1±0.54を上回った。安全性はStrongREJECT 98.4%、FORTRESS敵対的71.6%、FORTRESS良性96.9%。Thinking Machines Labは、既存のオープンウェイトエコシステムと比べて実質的なリスク上昇はないと結論づけ、消費者向け展開ではLlama Guardなどの下流モデレーションを重ねることを推奨している。両モデルはTinkerで期間限定割引の対象となっており、Tinker Playgroundでテキスト・画像・音声チャットを試せる。公式のインタラクティブな解説ページも公開され、スパースルーティング、ベンチマーク順位、マルチモーダル融合、ハードウェア要件の4つの観点からモデルの特徴を説明している。