本文にスキップ
AI News HubLIVE
サイト内リライト3 分で読了

Thinking Machines Lab、975BパラメータのオープンウェイトマルチモーダルMoE「Inkling」をリリース:41Bアクティブパラメータ、思考努力制御可能

記事の要約

Thinking Machines Labは2026年7月15日、スクラッチからトレーニングした初のモデル「Inkling」をApache 2.0ライセンスで公開しました。総パラメータ数9750億、アクティブパラメータ410億、1Mトークンのコンテキストウィンドウを備え、テキスト・画像・音声を入力として受け付けます。中核的な差別化要因は制御可能な思考努力であり、ユーザーは呼び出しごとにトークン予算を調整してコストとパフォーマンスのバランスを取ることができます。

ソースMarkTechPost著者: Asif Razzaq
Thinking Machines Lab、975BパラメータのオープンウェイトマルチモーダルMoE「Inkling」をリリース:41Bアクティブパラメータ、思考努力制御可能
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

Thinking Machines Labは2026年7月15日、スクラッチからトレーニングした初のモデル「Inkling」のオープンウェイト(Apache 2.0ライセンス)を公開しました。このモデルはカスタマイズのベースとして位置づけられており、中核的な差別化要因は制御可能な思考努力(reasoning_effort)にあります。

Inklingとは

Inklingは混合専門家(Mixture-of-Experts)トランスフォーマーで、総パラメータ数9750億、アクティブパラメータ410億、最大100万トークンのコンテキストウィンドウをサポートします。学習データはテキスト、画像、音声、動画からなる45兆トークンです。入力はテキスト、画像、音声を受け付け、出力はUTF-8テキストのみです。また、小型版のInkling-Small(2760億パラメータ、120億アクティブ)もプレビューされており、多くのベンチマークで大型版に匹敵する性能を示しています。

アーキテクチャ

66層のデコーダのみのトランスフォーマーで、スパースMoEを採用。各MoE層には256のルーティング専門家と2つの共有専門家があり、トークンごとに6つのルーティング専門家が活性化されます。ルーターはシグモイドベースで、補助損失なしの負荷バランスバイアスを使用。アテンションはスライディングウィンドウとグローバル層を5:1の比率で交互に配置し、8つのKVヘッドを採用。位置エンコーディングにはRoPEではなく相対位置埋め込みを使用。マルチモダリティはエンコーダフリーで、音声はdMelスペクトログラム、画像は40×40ピクセルのパッチに変換されます。学習はNVIDIA GB300 NVL72システム上で、MuonとAdamオプティマイザーを使用。強化学習は3000万回以上のロールアウトでスケールされ、対数線形に改善されました。

制御可能な思考努力

強化学習中、システムメッセージとトークンコストを変更することで思考努力を設定し、モデルは異なるトークン予算を割り当てることを学習しました。公開範囲では努力度を0.2から0.99まで設定可能で、transformersではreasoning_effort引数として公開されています。効率データは具体的で、Terminal Bench 2.1でNemotron 3 Ultraと同等の性能を3分の1のトークンで達成しています。

パフォーマンス

努力度0.99、温度1.0で評価。主なベンチマーク結果:HLE(テキストのみ)29.7%、AIME 2026 97.1%、GPQA Diamond 87.2%、SWEBench Verified 77.6%、Terminal Bench 2.1 63.8%、MCP Atlas 74.1%、SimpleQA Verified 43.9%、IFBench 79.8%、FORTRESS Adversarial 78.0%。FORTRESS Adversarialでは比較したオープンウェイトモデル中最高。MMMU Pro 73.5%、VoiceBench 91.4%。Design ArenaのAgentic Web Devリーダーボードで1257点。

導入とファインチューニング

BF16チェックポイントには最低2TBの集約VRAM(NVIDIA B300×8またはH200×16)が必要。NVFP4バージョンでは600GBに削減(B300×4でW4A4、H200×8でW4A16)。サポートランタイム:SGLang、vLLM、TokenSpeed、Unsloth、Hugging Face transformers。ファインチューニングはTinker上で64Kおよび256Kコンテキストで利用可能。APIはTogetherAI、Fireworks、Modal、Databricks、Basetenから提供。

ユースケース

  1. 音声とビジョンのエージェント:16kHz WAV通話とスクリーンショットを処理し、構造化チケットを出力。2. コスト階層型エージェントパイプライン:低努力でルーティングとトリアージ、高努力で困難な修復を実行。3. ドメインファインチューニング:金融判断やチャート分析(CharXiv RQで82.0%)に有効。

強みと弱み

強み:Apache 2.0ライセンス、100万トークンコンテキスト、テキスト・画像・音声入力対応。制御可能な努力によりTerminal BenchでNemotron 3 Ultraと同等の性能を3分の1のトークンで達成。FORTRESS Adversarialで最高スコア(78.0%)。初日からtransformers、SGLang、vLLM、llama.cpp、5つのホスト型APIをサポート。マルチトークン予測ドラフター搭載。

弱み:HLE、Terminal Bench 2.1、SWEBench VerifiedでGLM 5.2やKimi K2.6に劣る。BF16には2TBのVRAMが必要、NVFP4 W4A4にはSM100+ハードウェアが必要。SimpleQA Verifiedが43.9%とDeepSeek V4 Proの57.0%に及ばない。Inkling-Smallのウェイト未公開、音声・画像出力非対応。Terminal Bench 2.1の数値は内部ハーネスを使用。ロールプレイや間接プロンプトに対する安全性リスクが残存する。

全体として、Inklingはカスタマイズ可能で思考努力を制御できるオープンウェイトのマルチモーダルモデルであり、コストと品質に応じて推論を動的に調整する必要があるシナリオに特に適しています。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • Inklingは975BパラメータのMixture-of-Expertsトランスフォーマーで、41Bのアクティブパラメータ、1Mトークンのコンテキストウィンドウ、マルチモーダル入力(テキスト、画像、音声)をサポート。
  • 強化学習による制御可能な思考努力(reasoning_effort)により、推論時のトークン予算を動的に調整でき、Terminal BenchでNemotron 3 Ultraと同等の性能を3分の1のトークンで達成。
  • 対敵的ロバスト性ベンチマークFORTRESSで78.0%とオープンウェイトモデル中トップだが、実行には2TB(BF16)または600GB(NVFP4)の集約VRAMが必要。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。