跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

MARQ:融合系統工程知識的模組化、與LLM無關的需求質量評估器

文章摘要

研究人員提出MARQ,這是一個模組化、不依賴特定大模型的原型系統,透過將INCOSE需求質量標準轉化為按準則劃分的知識棧來增強LLM的需求質量評估能力。在專家標註的NASA需求集上,MARQ使Claude Opus 5、GPT-5.6 Sol和Gemma 3 12B的F1中位數分別提升至0.80、0.62和0.53,但提升的性質因模型而異,且仍需要按準則的針對性干預和人工複核。

來源arXiv AI作者: Jannatul Shefa, Alejandro Salado, Paul Wach, Taylan G. Topcu
MARQ:融合系統工程知識的模組化、與LLM無關的需求質量評估器
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

需求工程是系統工程的基石,需求層面的缺陷往往會向下遊傳播,對開發結果造成不利影響。大型語言模型在需求質量評估方面展現出潛力,但已有研究表明,開箱即用的模型會漏掉相當一部分專家認定的缺陷,在不同質量準則上的表現參差不齊,而且多次執行之間結果波動明顯。圍繞這一缺口,論文《MARQ:融合系統工程知識的模組化、與LLM無關的需求質量評估器》提出了一個值得關注的問題:如果把專家提煉的系統工程知識注入評估流程,LLM的需求質量評判能否超越其開箱能力。

作者來自Jannatul Shefa等四人團隊,論文以arXiv預印本形式於2026年10月26日提交,歸入人工智慧與軟體工程兩個分類。他們提出的MARQ是一個模組化、不繫結特定模型的原型系統,核心思路是在LLM之外疊加一層按準則組織的知識棧,把INCOSE的需求質量標準轉化為可操作的具體判定依據,從而在評估時向模型提供結構化的領域提示,而不是依賴模型自身對“好需求”的模糊理解。

實驗設計上,研究團隊使用了一套由專家標註的NASA需求資料集,將MARQ與開箱即用的基線進行對比。參與測試的模型包括Claude Opus 5、GPT-5.6 Sol以及開放權重的Gemma 3 12B,每個模型各執行100次,以便觀察執行層面的穩定性,而不只是單次表現。

結果顯示,MARQ帶來的提升幅度相當可觀。三個模型的F1中位數分別為0.80、0.62和0.53,而對應的開箱基線僅為0.55、0.52和0.18。尤其值得注意的是Gemma 3 12B:這一開放權重模型在接入MARQ後,達到了開箱狀態下專有模型的水平,儘管其多次執行之間的波動仍然很大。

不過,論文強調這些增益的性質是模型相關的,而非同一種改進在三個模型上簡單複製。Claude Opus 5的改善體現在缺陷檢測能力增強的同時誤報控制也更好;GPT-5.6 Sol的檢測率提升、執行間一致性改善,但代價是誤報增多;Gemma 3 12B雖然整體表現躍升,穩定性問題卻未解決。

在準則層面的分析進一步揭示了細節:效能提升主要集中在“正確性”和“一致性”兩類準則上;在單個準則內部,漏檢與誤報之間存在明顯的權衡關係;不同模型在若干準則上的響應方向也不一致。這意味著知識注入並不是一劑通用藥方,而需要針對具體準則設計干預方式。

作者據此認為,系統工程知識注入是一條有前景且與模型無關的路徑,可以增強基於LLM的需求工程支援的可信度,但同時也表明仍需準則特定的干預措施,並保留人在迴路的稽核環節。對於希望在需求評審中引入LLM的工程團隊而言,這項研究提示:單純更換更強的模型未必足夠,把領域標準顯式地編碼進評估流程,可能才是提升可靠性的關鍵所在。

展開要點與分析

文章情報

投資人進階

要點

  • MARQ以模組化設計將INCOSE需求質量標準組織成按準則劃分的知識棧,可搭配任意LLM使用
  • 在NASA專家標註資料上,三個模型的F1中位數均顯著高於開箱即用基線,Claude Opus 5從0.55升至0.80
  • 收益因模型而異:Claude Opus 5同時改善缺陷檢測與誤報控制,GPT-5.6 Sol以更多誤報換取檢測率與一致性,Gemma 3 12B達到專有模型的開箱水平但仍高度波動
  • 準則層面收益集中在正確性與一致性,且各準則記憶體在漏檢與誤報的權衡,說明需按準則干預並保留人在迴路稽核

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。