要求工学はシステムズエンジニアリングの基盤であり、要求の欠陥は下流工程に伝播して開発成果に悪影響を及ぼし得る。大規模言語モデルは要求品質評価に有望とされるが、既存研究によれば、既製のモデルは専門家が指摘する欠陥の多くを見逃し、品質基準ごとに性能がばらつき、実行のたびに結果が変動する。論文「MARQ：システムズエンジニアリング知識を注入したモジュール型・LLM非依存の要求品質評価器」は、専門家由来のシステムズエンジニアリング知識を注入することで、LLMによる要求品質評価を既製の能力以上に高められるかを検討している。
著者はJannatul Shefaら4名で、論文は2026年10月26日にarXivへ投稿され、人工知能とソフトウェア工学の両分野に分類されている。提案システムMARQはモジュール型で特定モデルに縛られないプロトタイプであり、LLMの外部に基準別の知識スタックを重ねる点が特徴だ。INCOSEの要求品質基準を具体的な判定根拠へと変換し、モデル自身が持つ「良い要求」の曖昧な理解に頼るのではなく、構造化された領域知識を評価時に与える仕組みである。
評価は専門家がラベル付けしたNASAの要求データセットを用い、既製モデルのベースラインと比較する形で行われた。対象はClaude Opus 5、GPT-5.6 Sol、オープンウェイトのGemma 3 12Bで、各モデル100回ずつ実行し、単発の成績だけでなく実行間の安定性も観察している。
結果としてMARQの改善幅は顕著だった。F1中央値は3モデルでそれぞれ0.80、0.62、0.53となり、対応する既製ベースラインの0.55、0.52、0.18を大きく上回った。特にGemma 3 12Bは、MARQ適用により既製状態の専用モデルと同等の水準に達した。ただし実行ごとの変動は依然として大きい。
論文は、こうした利得の性質がモデルによって異なり、同じ改善が3モデルにそのまま当てはまるわけではないと強調する。Claude Opus 5では欠陥検出の向上と誤検出の抑制が同時に進んだ。GPT-5.6 Solでは検出率と実行間の一貫性が改善した一方で誤検出が増えた。Gemma 3 12Bは総合性能が跳ね上がったものの、安定性の問題は残ったままである。
基準レベルの分析はさらに細部を示す。性能向上は主に「正確性」と「適合性」の基準に集中しており、個々の基準内では見逃しと誤検出の間に明確なトレードオフが存在する。また、複数の基準でモデルごとに反応の方向が異なっていた。知識注入は万能薬ではなく、基準ごとに合わせた介入設計が必要だということを意味する。
著者らは、システムズエンジニアリング知識の注入が、LLMベースの要求工学支援の信頼性を高めるモデル非依存の有望な道筋だと位置付ける一方、基準特有の介入と人間によるレビューを組み込んだ運用の必要性も指摘している。要求レビューにLLMを導入しようとする実務チームにとって、この研究は、より強力なモデルへ交換するだけでは不十分であり、領域標準を評価プロセスに明示的に組み込むことが信頼性向上の鍵になり得ることを示唆している。