本日、Thinking Machines Labの最新オープンウェイトモデルInklingがBasetenプラットフォームで初日から利用可能になったことを発表できることを誇りに思います。
Inklingは、テキスト、画像、音声入力を受け付け、テキスト出力を生成する汎用マルチモーダル自己回帰Transformerモデルです。45兆トークンのテキスト、画像、音声、動画で事前学習されています。混合専門家（MoE）アーキテクチャを採用し、総パラメータ数は9750億、アクティブパラメータは410億、コンテキストウィンドウは最大100万トークンです。
Thinking Machines Labは「Inkling」という名前を、初期段階のアイデアがやがてより大きなものに成長する可能性を象徴するものとして選びました。Inklingは非常に知識豊富な汎用ベースモデルとして構築されており、ファインチューニングによって拡張できます。エージェントやツール使用システム、コーディングアシスタント、チャットボット、検索拡張生成システムなど、AI搭載アプリケーションを構築する開発者向けに設計されています。
技術的には、Inklingは66層のスパースMoE Transformerで、256個の専門家と2個の共有専門家を持ち、各トークンは6個の専門家を通ります。これにより、9750億すべてのパラメータを毎回活性化することなく、幅広い能力を活用できます。評価では、推論、コーディング、視覚、音声、安全性において高いパフォーマンスを示しています。
オープンウェイトはカスタマイズと展開の柔軟性を提供しますが、インフラストラクチャへの負荷も大きく、BF16チェックポイントには少なくとも2 TBのGPUメモリ、NVFP4チェックポイントには600 GBが必要です。9750億パラメータのモデルを本番運用することは容易ではありません。
Basetenは、Inklingの展開に必要な自動スケーリング、重み配布、クロスクラウド容量管理などのインフラストラクチャを提供します。Baseten Inference Stackは、需要の変化に応じてレプリカを追加・削除するオートスケーラー、モデル重みを計算リソースの近くに配置しコールドスタートを2〜3倍高速化する配信ネットワーク、20以上のクラウドからGPUをグローバルプールに統合するマルチクラウド容量管理を備えています。
Inklingは本日からBaseten Model APIsとDedicated Inferenceで利用可能です。皆さまがどのようなアプリケーションを構築されるか楽しみにしています。