跳到主要内容
AI News HubLIVE
站内改写4 分钟阅读

专业化胜过规模:大多数AI采购决策忽视的战略变量

文章摘要

Dharma-AI的研究表明,在特定企业领域,经过领域微调的30亿参数专用模型在质量、成本和稳定性上均优于所有测试的商业前沿API,成本低约52倍。文章指出,训练历史与部署任务之间的分布对齐程度,比参数数量更能决定模型性能。

专业化胜过规模:大多数AI采购决策忽视的战略变量
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在过去三年里,企业AI战略几乎建立在一个稳定的假设之上:最安全的选择通常是可用的最大前沿模型。较小的模型主要被认为适用于那些能够容忍质量下降以换取更低成本的工作负载。这一假设背后的逻辑很直接:能力似乎随参数数量扩展,前沿提供商始终在主要基准测试中领先,而选错模型的成本往往被认为高于为领先模型付费的成本。

这一推理有其合理性。但如今的实证记录中已经出现了一个结果,而支撑上述假设的比较集合难以轻易解释它。今年早些时候,Dharma发布了一项基准测试,其中一个30亿参数的模型——通过任何资源充足的企业都能复制的微调流程实现专业化——在质量上超过了所有被测试的商业前沿API。差距并不小,也不是买家会忽视的指标。成本差距与质量差距方向相反:得分最高的模型同时也是运营成本最低的,其幅度足以在任何有意义的规模上改变采购的计算方式。

这一结果并非孤例。它是Dharma在其他领域观察到的模式中迄今测量最严谨的实例,也是越来越多专业化研究开始记录的现象(Subramanian等,2025;Pecher等,2026)。但它确实提出了一个值得明确追问的问题:当最大的模型并非表现最好的模型时,究竟是哪个变量在起作用?

采购默认并非偶然出现。它之所以出现,是因为在过去三年的大部分时间里,它都是正确的。当GPT-4发布时,它在重要基准测试上超过了所有较小的模型。这一模式在Claude 3、Gemini 1.5以及2025年每一代前沿发布中不断重复并有所改进。能力随参数数量和训练计算量扩展(Kaplan等,2020)——这是OpenAI的缩放定律多年前正式确立的经验关系。教训随之而来:选择可用最大模型的买家,平均而言就是在选择表现最好的工具。在缺乏更具区分度的信号的情况下,默认选择规模是理性的举动。

这一假设之所以站得住脚,是因为在产生它的大多数比较中,它都是正确的。改变的不是这一假设一直错误,而是它所依赖的比较集合可能并不完整。缺失的是一种不同类型的模型。不是更小的前沿模型,而是专业化模型——其训练历史通过一系列微调步骤被刻意拉近到它将被要求执行的任务,从而使一个较小的基础模型适应其部署领域。本文开头描述的论文,是最早将成本、质量和生产稳定性并排测量、进行这种比较的研究之一。

论文中使用的基准测试是一个特定领域的评估:针对印刷文档、手写文本以及法律和行政记录的巴西葡萄牙语OCR。基准测试本身并非本文重点。重要的是它测量了什么,以及它进行了哪些比较。

在提取质量方面,比较中得分最高的模型是专业化的30亿参数模型。它在基准测试的综合得分上达到0.911,该得分结合了编辑距离相似度和n-gram重叠度。最接近的前沿替代方案——Claude Opus 4.6——得分为0.833。其下依次为:Gemini 3.1 Pro为0.820,GPT-5.4为0.750,Google Vision为0.686,Google Document AI为0.640,GPT-4o为0.635,Amazon Textract为0.618,Mistral OCR 3为0.574。专业化模型排名第一,而与Claude Opus 4.6之间近八個百分点的差距,比比较中任何相邻名次之间的差距都要大。

在成本方面,差距要大得多。专业化的30亿参数模型每百万页的运行成本比Claude Opus 4.6低约52倍——这一差距是根据推理基础设施成本与已公布的API定价计算得出的。以帕累托前沿绘制的质量-成本图显示,专业化模型位于图表的左上方,商业API则位于右下方。

在生产稳定性方面,同一模型产生了所评估的最低文本退化率——该指标衡量生成进入自我强化循环并无法产生可用输出的频率。30亿参数模型在该基准测试上录得0.20%;次接近的专业化模型为0.40%;更大的通用开源基线则更高;商业API未直接在该指标上进行基准测试。

这三项发现——质量、成本和稳定性,均由同一个30亿参数专业化模型领先——是本文的实证锚点。它们共同构成的实证案例比任何单一发现都更有力。论文并未声称,本文也未声称,该结果能推广到所有企业AI工作负载。它声称的是,在该基准测试上,实验中最小型的专业化模型在所有重要维度上都位居第一。

这就引出了显而易见的问题。比较中最小型的模型在质量、成本和稳定性上都胜出。仅凭参数数量无法解释这一结果。自然而然的后续问题——确定真正起作用的变量——正是讨论接下来要进入的地方。

其中一部分是直觉性的。一个专注于部署任务的30亿参数模型,往往能超过一个参数量大得多、但其参数分散在任务永远不会触及的材料——其他语言、其他语料库、其他领域——上的模型。论文进一步指出:重要变量之一不仅是参数如何分配,还包括模型的训练历史如何被拉近到任务上。在报告的实验中,这一变量比任何其他被测试的变量——包括参数数量——都更可靠地预测了相对表现。

论文直接指出了这一点。在讨论中,作者将这一结果描述为支持以下主张:“上下文专业化可能比单纯的模型参数数量更具决定性。”决定模型是否表现最佳的不是参数数量,而是其训练轨迹被拉近到部署任务的程度。一个在更广泛分布上训练的更大模型,排名低于一个在更窄分布上训练的较小模型。更窄的训练才是产生胜利的变量。

这与采购默认所引导的思考模型性能的方式不同。在默认框架下,参数数量是主导变量,训练历史是次要的修饰因素。在论文提出的框架下,优先级发生了逆转。与任务的分布对齐成为主导变量。参数数量则成为影响给定对齐步骤能产生多少收益的若干因素之一。专业化不是弥补小规模的方法,而是实现对齐的方法。

数字印证了这一框架。30亿参数的Nanonets-OCR2——在论文开始前已经针对通用OCR进行了专业化——通过监督微调和直接偏好优化在目标领域上微调,达到了0.921的得分和0.20%的退化率。一个架构完全相同的30亿参数通用模型Qwen2.5-VL-3B,经过相同流程,达到0.793的得分和1.41%的退化率。相同的架构,相同的训练,不同的结果。变量在于模型在流程开始前已经朝任务方向行进的距离。

按照论文提出的框架,分布对齐并非OCR所特有。它是模型与其被要求执行的任务之间关系的一种属性。在這一框架下,对于给定的企业工作负载,哪个模型最好的问题,主要是一个其训练历史对齐程度如何的问题——而不是模型有多大的问题。

如果分布对齐是最重要的变量之一,下一个问题就是它如何累积。论文的证据表明,它不是一步到位的。上述结果只是更广泛模式的一个实例:在论文的数据中,专业化的行为与其说是一种二元状态,不如说是一个层级体系,模型可以一步一步地向上移动。

对齐不是模型要么有要么没有的单一事物。它是层级体系上的一个位置,可以一步一步地向上移动。通用模型位于底部;通用领域专家(针对更广泛的工作类别训练)位于其上;领域专家(针对其将被部署的具体工作训练)又位于其上。相同的下游训练会根据模型起始于哪一步而产生不同的结果。

论文对此的证据是结构性的。两对比较直接说明了这一点。在70亿参数规模上:源自Qwen2.5-VL-7B-Instruct——一个通用起点——的最佳微调模型达到了0.906的得分和1.01%的退化率。将相同的训练应用于olmOCR-2–7B——已经针对通用OCR进行了专业化——则达到了0.927的得分和0.40%的退化率。质量提升约为2.3%;退化率下降了近一半。相同的架构、相同的数据、相同的训练流程。变量在于起始位置。在30亿参数规模上(即前面介绍过的比较):Qwen2.5-VL-3B最终为0.793的得分和1.41%的退化率;Nanonets-OCR2–3B最终为0.921的得分和0.20%的退化率。相同的流程、相同的架构类别、不同的起始位置。质量提升约为16%;退化率下降了约七倍。

展开要点与分析

文章情报

投资人进阶

要点

  • 30亿参数专用模型在巴西葡萄牙语OCR基准测试中得分0.911,超过Claude Opus 4.6的0.833。
  • 专用模型每百万页成本比Claude Opus 4.6低约52倍,且文本退化率最低(0.20%)。
  • 相同架构的模型,因起始专业化程度不同,微调后性能差异显著:Nanonets-OCR2-3B达0.921,Qwen2.5-VL-3B仅0.793。
  • 专业化是一个分层过程,从通用模型到领域专家逐步对齐,每一步都带来累积收益。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。