跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

一美分做出决策:推出 joey-1,我们最快的决策模型

文章摘要

Baseten 旗下研究实验室 Base Labs 发布 joey-1(2B),这是一款面向高并发、低延迟场景的决策模型,P50 延迟仅 20 毫秒,价格为每百万 token 0.01 美元,并已在 Baseten Model APIs 上线、在 Hugging Face 开放权重。

一美分做出决策:推出 joey-1,我们最快的决策模型
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在发布 mammoth-1(27B)和 elephant-1(9B)仅一周之后,Baseten 的研究实验室 Base Labs 又推出了家族中的新成员 joey-1。这是一款参数量仅 2B 的决策模型,定位是当前最快、最便宜的选项。根据官方公布的数据,它在生产环境下处理平均 2000 token 的请求时,P50 端到端延迟为 20 毫秒,比 elephant-1 的 49 毫秒快约 2.5 倍,价格则为每百万 token 0.01 美元,只有 mammoth-1 的十分之一。

Base Labs 提出,许多大模型的实际用途并不在于生成文字,而在于做出判断:工单应该分配给谁、某条消息是否应当被标记、某个请求是否应予批准。传统做法是让 LLM 生成文本再从中解析答案,这会为每次调用增加成本与延迟,而在多步决策链条中,这种开销会不断累加。决策模型则不同,它在一次前向计算中直接返回一个标签及该标签经过校准的置信度分数,从而显著压缩开销。

因此,joey-1 适合那些决策量大、单次调用成本决定项目经济性,或者该决策是其他流程前置环节、其延迟会叠加到每一个响应上的工作负载。官方给出的例子是:每月对约 1000 万张、每张约 500 token 的客服工单进行分类,相当于 50 亿 token,使用 joey-1 每月成本约 50 美元,而使用 mammoth-1 则约为 500 美元。joey-1 可以作为第一道防线承担高频调用,当它给出不确定结果时,再升级到 elephant-1 或 mammoth-1 处理。

三款模型均由 Base Labs 使用相同的数据混合训练,并共享同一套 API,因此在它们之间切换只需改动一行代码。这让整个家族更像一套统一的工具组合:mammoth-1 用于准确率最关键的任务,elephant-1 是均衡的默认选择,joey-1 则面向高并发、对延迟敏感的调用。按照官方说法,三款模型在各自权重级别中都处于领先位置,均支持文本与图像输入,并针对成本效率和低延迟进行了优化。

在架构上,joey-1 由 Base Labs 基于 Qwen3.5-2B 后训练而来,使用与 elephant-1、mammoth-1 相同的数据和配方,并借助 Baseten Training Jobs 完成。三款模型既可经由 Baseten Model APIs 调用,也可作为专属部署使用。在 Model APIs 上,模型支持 16k 上下文窗口,针对低延迟工作负载优化;专属部署则可解锁完整的 262k 上下文窗口,支持微调权重,并能通过与 LLM 工作负载同机部署等方式进一步降低首 token 延迟、提升吞吐。

Base Labs 表示会持续发布更新后的权重与新能力,且保持 API 不变,届时用户无需改动集成即可获得改进。joey-1 现已在 Baseten Model APIs 上线,默认不保留数据,权重也已在 Hugging Face 开放。

展开要点与分析

文章情报

工程师进阶

要点

  • joey-1 参数量为 2B,P50 端到端延迟 20 毫秒,处理 2000 token 请求比 elephant-1 快约 2.5 倍。
  • 价格低至每百万 token 0.01 美元,仅为 mammoth-1 的十分之一。
  • 决策模型以单 token 直接返回标签与校准置信度,避免生成文本带来的额外成本与延迟。
  • 三款模型共享 API,可在 joey-1、elephant-1、mammoth-1 之间一行切换,形成分级处理方案。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。