Baseten の研究ラボである Base Labs は、mammoth-1（27B）と elephant-1（9B）の公開からわずか 8 日後に、新たなモデル joey-1 を追加した。パラメータ数 2B の意思決定モデルで、現時点で最も高速かつ安価な選択肢という位置づけだ。公式の説明によると、平均 2000 トークンのリクエストを本番環境で処理した場合の P50 エンドツーエンド遅延は 20 ミリ秒で、elephant-1 の 49 ミリ秒と比べて約 2.5 倍速い。価格は 100 万トークンあたり 0.01 ドルで、mammoth-1 の 10 分の 1 に抑えられている。
Base Labs は、大規模言語モデルの用途の多くは文章生成ではなく判断にあると指摘する。チケットをどの担当者に振るか、あるメッセージをフラグ対象とすべきか、あるリクエストを承認すべきか——従来はこうした問いに対してもテキストを生成させ、そこから答えを抽出していたため、呼び出しごとにコストと遅延が上乗せされ、判断が連鎖するワークフローではその負荷が積み重なっていた。これに対し意思決定モデルは、1 回のフォワードパスでラベルとそのラベルに対する較正済みの信頼度スコアを直接返すため、オーバーヘッドを大きく削減できる。
joey-1 が適するのは、判断の件数が多く 1 回あたりのコストがプロジェクトの採算を左右する場合や、その判断が他の処理の前提となり遅延がすべての応答に加算される場合だ。公式の試算では、1 件あたり約 500 トークンのサポートチケットを月 1000 万件分類する場合、50 億トークンとなり、joey-1 では月約 50 ドル、mammoth-1 では月約 500 ドルになる。joey-1 を一次対応として使い、不確実な場合に elephant-1 や mammoth-1 へエスカレーションする構成が想定されている。
3 モデルは Base Labs が同一のデータミックスで訓練しており、API も共通のため、切り替えは 1 行の変更で済む。mammoth-1 は精度が最も重要な判断に、elephant-1 はバランスの取れた既定値として、joey-1 は高スループットで遅延に敏感な呼び出しに向く。公式によれば、各モデルは同じパラメータ規模のクラスで最も高性能な部類に入り、テキストと画像の入力に対応し、コスト効率と低遅延を重視して設計されている。
joey-1 は Qwen3.5-2B を基に、elephant-1 や mammoth-1 と同じデータとレシピを用いて Baseten Training Jobs でポストトレーニングされた。3 モデルは Baseten Model APIs でも専用デプロイでも利用できる。Model APIs では 16k のコンテキストウィンドウを備え、低遅延ワークロード向けに最適化される。専用デプロイでは 262k のコンテキストウィンドウ全体が利用でき、微調整済みの重みにも対応し、LLM ワークロードとの同一配置などを通じて TTFT や TPS をさらに改善できる。
Base Labs は API を変えずに更新済みの重みや新機能を継続的に提供する方針で、利用側は統合を変更せずに改善の恩恵を受けられる。joey-1 は Baseten Model APIs で提供中で、既定でデータは保持されず、重みは Hugging Face で公開されている。