需求工程是系统工程的基石,需求层面的缺陷往往会向下游传播,对开发结果造成不利影响。大型语言模型在需求质量评估方面展现出潜力,但已有研究表明,开箱即用的模型会漏掉相当一部分专家认定的缺陷,在不同质量准则上的表现参差不齐,而且多次运行之间结果波动明显。围绕这一缺口,论文《MARQ:融合系统工程知识的模块化、与LLM无关的需求质量评估器》提出了一个值得关注的问题:如果把专家提炼的系统工程知识注入评估流程,LLM的需求质量评判能否超越其开箱能力。
作者来自Jannatul Shefa等四人团队,论文以arXiv预印本形式于2026年10月26日提交,归入人工智能与软件工程两个分类。他们提出的MARQ是一个模块化、不绑定特定模型的原型系统,核心思路是在LLM之外叠加一层按准则组织的知识栈,把INCOSE的需求质量标准转化为可操作的具体判定依据,从而在评估时向模型提供结构化的领域提示,而不是依赖模型自身对“好需求”的模糊理解。
实验设计上,研究团队使用了一套由专家标注的NASA需求数据集,将MARQ与开箱即用的基线进行对比。参与测试的模型包括Claude Opus 5、GPT-5.6 Sol以及开放权重的Gemma 3 12B,每个模型各运行100次,以便观察执行层面的稳定性,而不只是单次表现。
结果显示,MARQ带来的提升幅度相当可观。三个模型的F1中位数分别为0.80、0.62和0.53,而对应的开箱基线仅为0.55、0.52和0.18。尤其值得注意的是Gemma 3 12B:这一开放权重模型在接入MARQ后,达到了开箱状态下专有模型的水平,尽管其多次运行之间的波动仍然很大。
不过,论文强调这些增益的性质是模型相关的,而非同一种改进在三个模型上简单复制。Claude Opus 5的改善体现在缺陷检测能力增强的同时误报控制也更好;GPT-5.6 Sol的检测率提升、执行间一致性改善,但代价是误报增多;Gemma 3 12B虽然整体表现跃升,稳定性问题却未解决。
在准则层面的分析进一步揭示了细节:性能提升主要集中在“正确性”和“一致性”两类准则上;在单个准则内部,漏检与误报之间存在明显的权衡关系;不同模型在若干准则上的响应方向也不一致。这意味着知识注入并不是一剂通用药方,而需要针对具体准则设计干预方式。
作者据此认为,系统工程知识注入是一条有前景且与模型无关的路径,可以增强基于LLM的需求工程支持的可信度,但同时也表明仍需准则特定的干预措施,并保留人在回路的审核环节。对于希望在需求评审中引入LLM的工程团队而言,这项研究提示:单纯更换更强的模型未必足够,把领域标准显式地编码进评估流程,可能才是提升可靠性的关键所在。