在釋出 mammoth-1(27B)和 elephant-1(9B)僅一週之後,Baseten 的研究實驗室 Base Labs 又推出了家族中的新成員 joey-1。這是一款引數量僅 2B 的決策模型,定位是當前最快、最便宜的選項。根據官方公佈的資料,它在生產環境下處理平均 2000 token 的請求時,P50 端到端延遲為 20 毫秒,比 elephant-1 的 49 毫秒快約 2.5 倍,價格則為每百萬 token 0.01 美元,只有 mammoth-1 的十分之一。
Base Labs 提出,許多大模型的實際用途並不在於生成文字,而在於做出判斷:工單應該分配給誰、某條訊息是否應當被標記、某個請求是否應予批准。傳統做法是讓 LLM 生成文本再從中解析答案,這會為每次呼叫增加成本與延遲,而在多步決策鏈條中,這種開銷會不斷累加。決策模型則不同,它在一次前向計算中直接返回一個標籤及該標籤經過校準的置信度分數,從而顯著壓縮開銷。
因此,joey-1 適合那些決策量大、單次呼叫成本決定專案經濟性,或者該決策是其他流程前置環節、其延遲會疊加到每一個響應上的工作負載。官方給出的例子是:每月對約 1000 萬張、每張約 500 token 的客服工單進行分類,相當於 50 億 token,使用 joey-1 每月成本約 50 美元,而使用 mammoth-1 則約為 500 美元。joey-1 可以作為第一道防線承擔高頻呼叫,當它給出不確定結果時,再升級到 elephant-1 或 mammoth-1 處理。
三款模型均由 Base Labs 使用相同的資料混合訓練,並共享同一套 API,因此在它們之間切換隻需改動一行程式碼。這讓整個家族更像一套統一的工具組合:mammoth-1 用於準確率最關鍵的任務,elephant-1 是均衡的預設選擇,joey-1 則面向高併發、對延遲敏感的呼叫。按照官方說法,三款模型在各自權重級別中都處於領先位置,均支援文本與影像輸入,並針對成本效率和低延遲進行了最佳化。
在架構上,joey-1 由 Base Labs 基於 Qwen3.5-2B 後訓練而來,使用與 elephant-1、mammoth-1 相同的資料和配方,並藉助 Baseten Training Jobs 完成。三款模型既可經由 Baseten Model APIs 呼叫,也可作為專屬部署使用。在 Model APIs 上,模型支援 16k 上下文視窗,針對低延遲工作負載最佳化;專屬部署則可解鎖完整的 262k 上下文視窗,支援微調權重,並能透過與 LLM 工作負載同機部署等方式進一步降低首 token 延遲、提升吞吐。
Base Labs 表示會持續釋出更新後的權重與新能力,且保持 API 不變,屆時使用者無需改動整合即可獲得改進。joey-1 現已在 Baseten Model APIs 上線,預設不保留資料,權重也已在 Hugging Face 開放。