Inkling-Smallは、Thinking Machines社がリリースした最新のオープンウェイトモデルで、前身のInklingの能力をはるかに低い計算コストで提供することを目的としています。合計2760億パラメータを持ち、推論ごとにアクティブになるのはわずか120億パラメータで、Mixture-of-Expertsアーキテクチャにより効率的なスケーリングを実現しています。トレーニングはNVIDIA GB300 NVL72システムで行われ、Inklingのネイティブなマルチモーダル推論(音声と画像)、可変思考努力、最大100万トークンのコンテキストウィンドウを継承しています。
パフォーマンスベンチマークでは、Inkling-Smallは特にエージェンツール使用と推論タスクにおいて、いくつかの主要指標でInklingに匹敵するかそれを上回っています。Terminal-Bench 2.1、HLE(テキストのみ)、IFBenchにおいて、Inkling-Smallは大幅に少ない計算量で競争力のあるスコアを達成し、優れた効率性を示しています。モデルの可変思考努力により、ユーザーはコストとパフォーマンスのバランスを調整でき、幅広いアプリケーションに適応できます。
Inkling-Smallの顕著な利点の1つは、改善されたトレーニングプロセスです。Inklingより後にトレーニングを開始したため、開発チームは事前トレーニングのデータ混合と機械学習レシピを改良することができました。ポストトレーニングでは、Inklingを教師とするオンポリシー蒸留を使用し、その後2週間の継続的な強化学習でエージェントコーディング能力を強化しました。その結果、Inkling-Smallは推論およびエージェントコーディングベンチマークでInklingを上回りましたが、知識カバレッジと正確性ではInklingが依然として優位に立っています。
Inkling-Smallは、さまざまなドメインにわたる強力なジェネラリストモデルです。Humanity's Last Examでは31.6%のスコアを記録し(Inklingは29.7%)、SWEBench-Verifiedでは80%を超えています。また、音声インテリジェンスや視覚推論などのマルチモーダルタスクでも優れた性能を発揮します。ネイティブなマルチモーダルアーキテクチャは、音声をdMelスペクトログラム、画像を40×40ピクセルのパッチとして処理し、ドキュメント分析やチャート理解などの実世界のアプリケーションに対応します。
安全性とアライメントも優先されています。Inkling-SmallはInklingの安全ポストトレーニングレシピを継承し、デプロイ前のテストとレッドチーム評価を受けています。StrongREJECTやFORTRESSなどのベンチマークでは、Inklingや他のオープンウェイトモデルと同等のパフォーマンスを示し、有害なリクエストの拒否と適切な応答のバランスをとっています。
Inkling-Smallの完全なウェイトはオープンソースとして公開されており、Tinkerで微調整したり、Tinker Playgroundでテキスト、画像、音声チャットに使用できます。効率性、パフォーマンス、オープン性の組み合わせにより、Inkling-Smallは高度なAI機能をよりアクセスしやすくする重要な一歩を示しています。