需求工程是系統工程的基石,需求層面的缺陷往往會向下遊傳播,對開發結果造成不利影響。大型語言模型在需求質量評估方面展現出潛力,但已有研究表明,開箱即用的模型會漏掉相當一部分專家認定的缺陷,在不同質量準則上的表現參差不齊,而且多次運行之間結果波動明顯。圍繞這一缺口,論文《MARQ:融合系統工程知識的模塊化、與LLM無關的需求質量評估器》提出了一個值得關注的問題:如果把專家提煉的系統工程知識注入評估流程,LLM的需求質量評判能否超越其開箱能力。
作者來自Jannatul Shefa等四人團隊,論文以arXiv預印本形式於2026年10月26日提交,歸入人工智能與軟件工程兩個分類。他們提出的MARQ是一個模塊化、不綁定特定模型的原型系統,核心思路是在LLM之外疊加一層按準則組織的知識棧,把INCOSE的需求質量標準轉化為可操作的具體判定依據,從而在評估時向模型提供結構化的領域提示,而不是依賴模型自身對“好需求”的模糊理解。
實驗設計上,研究團隊使用了一套由專家標註的NASA需求數據集,將MARQ與開箱即用的基線進行對比。參與測試的模型包括Claude Opus 5、GPT-5.6 Sol以及開放權重的Gemma 3 12B,每個模型各運行100次,以便觀察執行層面的穩定性,而不只是單次表現。
結果顯示,MARQ帶來的提升幅度相當可觀。三個模型的F1中位數分別為0.80、0.62和0.53,而對應的開箱基線僅為0.55、0.52和0.18。尤其值得注意的是Gemma 3 12B:這一開放權重模型在接入MARQ後,達到了開箱狀態下專有模型的水平,儘管其多次運行之間的波動仍然很大。
不過,論文強調這些增益的性質是模型相關的,而非同一種改進在三個模型上簡單複製。Claude Opus 5的改善體現在缺陷檢測能力增強的同時誤報控制也更好;GPT-5.6 Sol的檢測率提升、執行間一致性改善,但代價是誤報增多;Gemma 3 12B雖然整體表現躍升,穩定性問題卻未解決。
在準則層面的分析進一步揭示了細節:性能提升主要集中在“正確性”和“一致性”兩類準則上;在單個準則內部,漏檢與誤報之間存在明顯的權衡關係;不同模型在若干準則上的響應方向也不一致。這意味着知識注入並不是一劑通用藥方,而需要針對具體準則設計干預方式。
作者據此認為,系統工程知識注入是一條有前景且與模型無關的路徑,可以增強基於LLM的需求工程支持的可信度,但同時也表明仍需準則特定的干預措施,並保留人在迴路的審核環節。對於希望在需求評審中引入LLM的工程團隊而言,這項研究提示:單純更換更強的模型未必足夠,把領域標準顯式地編碼進評估流程,可能才是提升可靠性的關鍵所在。