跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

MARQ:融合系统工程知识的模块化、与LLM无关的需求质量评估器

文章摘要

研究人员提出MARQ,这是一个模块化、不依赖特定大模型的原型系统,通过将INCOSE需求质量标准转化为按准则划分的知识栈来增强LLM的需求质量评估能力。在专家标注的NASA需求集上,MARQ使Claude Opus 5、GPT-5.6 Sol和Gemma 3 12B的F1中位数分别提升至0.80、0.62和0.53,但提升的性质因模型而异,且仍需要按准则的针对性干预和人工复核。

来源arXiv AI作者: Jannatul Shefa, Alejandro Salado, Paul Wach, Taylan G. Topcu
MARQ:融合系统工程知识的模块化、与LLM无关的需求质量评估器
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

需求工程是系统工程的基石,需求层面的缺陷往往会向下游传播,对开发结果造成不利影响。大型语言模型在需求质量评估方面展现出潜力,但已有研究表明,开箱即用的模型会漏掉相当一部分专家认定的缺陷,在不同质量准则上的表现参差不齐,而且多次运行之间结果波动明显。围绕这一缺口,论文《MARQ:融合系统工程知识的模块化、与LLM无关的需求质量评估器》提出了一个值得关注的问题:如果把专家提炼的系统工程知识注入评估流程,LLM的需求质量评判能否超越其开箱能力。

作者来自Jannatul Shefa等四人团队,论文以arXiv预印本形式于2026年10月26日提交,归入人工智能与软件工程两个分类。他们提出的MARQ是一个模块化、不绑定特定模型的原型系统,核心思路是在LLM之外叠加一层按准则组织的知识栈,把INCOSE的需求质量标准转化为可操作的具体判定依据,从而在评估时向模型提供结构化的领域提示,而不是依赖模型自身对“好需求”的模糊理解。

实验设计上,研究团队使用了一套由专家标注的NASA需求数据集,将MARQ与开箱即用的基线进行对比。参与测试的模型包括Claude Opus 5、GPT-5.6 Sol以及开放权重的Gemma 3 12B,每个模型各运行100次,以便观察执行层面的稳定性,而不只是单次表现。

结果显示,MARQ带来的提升幅度相当可观。三个模型的F1中位数分别为0.80、0.62和0.53,而对应的开箱基线仅为0.55、0.52和0.18。尤其值得注意的是Gemma 3 12B:这一开放权重模型在接入MARQ后,达到了开箱状态下专有模型的水平,尽管其多次运行之间的波动仍然很大。

不过,论文强调这些增益的性质是模型相关的,而非同一种改进在三个模型上简单复制。Claude Opus 5的改善体现在缺陷检测能力增强的同时误报控制也更好;GPT-5.6 Sol的检测率提升、执行间一致性改善,但代价是误报增多;Gemma 3 12B虽然整体表现跃升,稳定性问题却未解决。

在准则层面的分析进一步揭示了细节:性能提升主要集中在“正确性”和“一致性”两类准则上;在单个准则内部,漏检与误报之间存在明显的权衡关系;不同模型在若干准则上的响应方向也不一致。这意味着知识注入并不是一剂通用药方,而需要针对具体准则设计干预方式。

作者据此认为,系统工程知识注入是一条有前景且与模型无关的路径,可以增强基于LLM的需求工程支持的可信度,但同时也表明仍需准则特定的干预措施,并保留人在回路的审核环节。对于希望在需求评审中引入LLM的工程团队而言,这项研究提示:单纯更换更强的模型未必足够,把领域标准显式地编码进评估流程,可能才是提升可靠性的关键所在。

展开要点与分析

文章情报

投资人进阶

要点

  • MARQ以模块化设计将INCOSE需求质量标准组织成按准则划分的知识栈,可搭配任意LLM使用
  • 在NASA专家标注数据上,三个模型的F1中位数均显著高于开箱即用基线,Claude Opus 5从0.55升至0.80
  • 收益因模型而异:Claude Opus 5同时改善缺陷检测与误报控制,GPT-5.6 Sol以更多误报换取检测率与一致性,Gemma 3 12B达到专有模型的开箱水平但仍高度波动
  • 准则层面收益集中在正确性与一致性,且各准则内存在漏检与误报的权衡,说明需按准则干预并保留人在回路审核

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。