Together AI、Thinking Machines Labの新モデルInklingを初日から提供

Thinking Machines Labは本日、Inklingをリリースしました。これは、トークン効率的な推論、ネイティブなマルチモーダル理解、および幅広いタスクの汎用性のために設計された新しいマルチモーダル混合専門家（MoE）モデルです。Together AIはThinking Machines Labチームと協力し、推論プラットフォーム上でInklingを開発者に提供できることを嬉しく思います。

Inklingはテキスト、画像、音声入力を受け付け、統一されたデコーダアーキテクチャを介してテキスト出力を生成します。制御可能な推論努力をサポートし、開発者は各タスクのニーズに応じてモデルが適用する推論の深さを調整できます。そのポストトレーニングは、科学的推論、コーディング、エージェントワークフロー、予測、およびキャリブレーションされた予測など、幅広い能力に及びます。

アーキテクチャ面では、Inklingは従来のデコーダのみのTransformerを超えたいくつかの革新を導入しています。クエリ条件付き相対注意、モデル全体にわたる短い因果畳み込み、および共有エキスパートシンクを備えた混合専門家アーキテクチャなどです。これらのコンポーネントは、効率的なモデル実行を維持しながら、強力な推論とマルチモーダル能力をサポートするように設計されています。Together AIでは、Inklingは最適化されたFlashAttention-4ベースの注意カーネルで動作し、プロダクションでのクエリ条件付き相対注意メカニズムを効率的にサポートします。

Inklingの概要：

• トークン効率的で制御可能な推論：開発者は推論努力を調整して、推論の深さ、トークン使用量、およびレイテンシのバランスを取ることができます。
• ネイティブマルチモーダル入力：Inklingは音声、画像、テキスト入力を受け付け、単一のモデルでテキスト出力を生成します。
• 幅広いタスクの汎用性：モデルは推論、コーディング、エージェント、予測、およびキャリブレーションされた予測タスクにわたってポストトレーニングされています。
• 差別化されたアーキテクチャ：グループ化クエリ注意、学習された相対位置バイアス、短い因果畳み込み、および共有シンクMoEルーティングを組み合わせています。
• 強力な予備評価：最高の努力設定で、科学的推論、数学、コーディング、エージェント、ビジョン、およびオーディオベンチマークで強力な結果を示しています。
• Together AIで利用可能：開発者はサーバーレス経由でInklingにアクセスでき、1MコンテキストウィンドウとOpenAI互換APIを提供します。

予備評価では、Inklingは大学院レベルの科学的推論と競技数学で強力なパフォーマンスを示し、その汎用性を実証しています。同じモデルが知識集約型推論、数学的問題解決、ソフトウェアエンジニアリング、ブラウザベースのタスク、視覚文書理解、および音声理解で優れた結果を出しています。さらに、Inklingは予測およびキャリブレーションされた予測タスクでポストトレーニングされており、不確実性の表現と適切にキャリブレーションされた推定値の生成が重要なアプリケーションにも役立ちます。

Together AIでInklingを実行する理由：

• 初日からのアクセス、ゼロセットアップ：Inklingは本日よりTogether AIサーバーレスで利用可能です。容量を待つ必要も、インフラをプロビジョニングする必要も、GPUを管理する必要もありません。
• フルマルチモーダル入力サポート、単一エンドポイント：Inklingはネイティブにテキスト、画像、音声を受け付けるため、個別のパイプラインや前処理サービスは不要で、Together AIサーバーレスは単一のAPI呼び出しで3つの入力タイプすべてを処理します。
• 制御可能な推論努力、インフラ管理不要：Inklingの調整可能な推論努力設定により、リクエストごとに深さ、レイテンシ、およびトークン消費のトレードオフを制御できます。Together AIでは、APIを介してそのダイヤルを直接制御できるため、コストと速度の調整がインフラレベルではなくリクエストレベルで行われます。

Inklingは、総パラメータ数975B、トークンあたりアクティブパラメータ40B、コンテキストウィンドウ1MのデコーダのみのMoEモデルです。RoPEや絶対位置埋め込みの代わりに、学習されたクエリ条件付き相対バイアスを介してトークン位置を注意に組み込んでいます。各注意層は、従来のクエリ-キー類似度スコアと、トークン間の相対距離に基づく追加スコアを組み合わせます。Inklingはスライディングウィンドウと全因果注意をネットワーク全体で混合しており、標準アーキテクチャでは5つのローカル注意層の後に1つの全注意層を使用し、ほとんどの層が最近のコンテキストに効率的に焦点を当てつつ、定期的にシーケンス全体の情報を統合します。

モデルはまた、sconvと呼ばれる軽量なチャネル単位の因果畳み込みを導入しており、4トークンの受容野を持ちます。sconvは注意の前後、および注意とフィードフォワードサブレイヤーの出力に適用されます。これらの短い畳み込みは、各層に別の完全な注意操作のコストをかけずに、隣接トークン間で情報を組み合わせる追加のメカニズムを提供します。Inklingのフィードフォワード層は、共有エキスパートシンクを備えたMoEアーキテクチャを使用しています。すべてのトークンに対して、ルータは少数のルーティングエキスパートを選択すると同時に、共有エキスパートに重みを割り当てます。従来の共有エキスパートMoE設計とは異なり、Inklingは共有エキスパートと選択されたルーティングエキスパートを一緒に正規化し、共有パスが各トークンで動的に混合重みを競うことを可能にします。

画像および音声入力に対しては、軽量な埋め込みタワーが画像パッチと量子化音声特徴をテキストトークンと同じ幅の埋め込みに変換し、これらの埋め込みをモデルの入力シーケンスに直接挿入して、同じデコーダスタックで処理します。この統一設計により、視覚質問応答、文書分析、音声理解、マルチモーダルエージェント、および複数の入力タイプを組み合わせたワークフローなどのアプリケーションが可能になります。

Inklingは本日よりTogether AIサーバーレスで利用可能です。開発者は、テキスト、画像、音声アプリケーションを統一モデルで構築し、初期実験から専用のプロダクション容量までスケールアップできます。