跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

一美分做出決策:推出 joey-1,我們最快的決策模型

文章摘要

Baseten 旗下研究實驗室 Base Labs 發佈 joey-1(2B),這是一款面向高併發、低延遲場景的決策模型,P50 延遲僅 20 毫秒,價格為每百萬 token 0.01 美元,並已在 Baseten Model APIs 上線、在 Hugging Face 開放權重。

一美分做出決策:推出 joey-1,我們最快的決策模型
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在發佈 mammoth-1(27B)和 elephant-1(9B)僅一週之後,Baseten 的研究實驗室 Base Labs 又推出了家族中的新成員 joey-1。這是一款參數量僅 2B 的決策模型,定位是當前最快、最便宜的選項。根據官方公佈的數據,它在生產環境下處理平均 2000 token 的請求時,P50 端到端延遲為 20 毫秒,比 elephant-1 的 49 毫秒快約 2.5 倍,價格則為每百萬 token 0.01 美元,只有 mammoth-1 的十分之一。

Base Labs 提出,許多大模型的實際用途並不在於生成文字,而在於做出判斷:工單應該分配給誰、某條消息是否應當被標記、某個請求是否應予批准。傳統做法是讓 LLM 生成文本再從中解析答案,這會為每次調用增加成本與延遲,而在多步決策鏈條中,這種開銷會不斷累加。決策模型則不同,它在一次前向計算中直接返回一個標籤及該標籤經過校準的置信度分數,從而顯著壓縮開銷。

因此,joey-1 適合那些決策量大、單次調用成本決定項目經濟性,或者該決策是其他流程前置環節、其延遲會疊加到每一個響應上的工作負載。官方給出的例子是:每月對約 1000 萬張、每張約 500 token 的客服工單進行分類,相當於 50 億 token,使用 joey-1 每月成本約 50 美元,而使用 mammoth-1 則約為 500 美元。joey-1 可以作為第一道防線承擔高頻調用,當它給出不確定結果時,再升級到 elephant-1 或 mammoth-1 處理。

三款模型均由 Base Labs 使用相同的數據混合訓練,並共享同一套 API,因此在它們之間切換隻需改動一行代碼。這讓整個家族更像一套統一的工具組合:mammoth-1 用於準確率最關鍵的任務,elephant-1 是均衡的默認選擇,joey-1 則面向高併發、對延遲敏感的調用。按照官方説法,三款模型在各自權重級別中都處於領先位置,均支持文本與圖像輸入,並針對成本效率和低延遲進行了優化。

在架構上,joey-1 由 Base Labs 基於 Qwen3.5-2B 後訓練而來,使用與 elephant-1、mammoth-1 相同的數據和配方,並藉助 Baseten Training Jobs 完成。三款模型既可經由 Baseten Model APIs 調用,也可作為專屬部署使用。在 Model APIs 上,模型支持 16k 上下文窗口,針對低延遲工作負載優化;專屬部署則可解鎖完整的 262k 上下文窗口,支持微調權重,並能通過與 LLM 工作負載同機部署等方式進一步降低首 token 延遲、提升吞吐。

Base Labs 表示會持續發佈更新後的權重與新能力,且保持 API 不變,屆時用户無需改動集成即可獲得改進。joey-1 現已在 Baseten Model APIs 上線,默認不保留數據,權重也已在 Hugging Face 開放。

展開要點與分析

文章情報

工程師進階

要點

  • joey-1 參數量為 2B,P50 端到端延遲 20 毫秒,處理 2000 token 請求比 elephant-1 快約 2.5 倍。
  • 價格低至每百萬 token 0.01 美元,僅為 mammoth-1 的十分之一。
  • 決策模型以單 token 直接返回標籤與校準置信度,避免生成文本帶來的額外成本與延遲。
  • 三款模型共享 API,可在 joey-1、elephant-1、mammoth-1 之間一行切換,形成分級處理方案。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。