圖解問答（Diagram QA）是計算機視覺和自然語言處理交叉領域的一項重要任務。與傳統的視覺問答不同，圖解問答要求模型不僅要定位包含最終答案的視覺區域，還要識別推理過程中涉及的所有相關區域，這一需求被稱為推理級歸因。然而，建立這種結構化證據既耗時又繁瑣，現有的註釋工具往往與特定資料集的JSON格式緊密耦合，缺乏通用性和靈活性。
針對這一挑戰，來自多家機構的研究人員提出了DIAGRAMS框架，它是一個輕量級、模式驅動的審查框架。DIAGRAMS的核心創新在於透過一個內部元模式和資料集介面卡，將介面邏輯與資料集特定的JSON結構完全解耦。具體而言，該框架接受影像和問答對作為輸入，並可選擇提供候選區域。系統隨後執行基於問答條件的證據選擇，自動提出推理所需的視覺區域。如果輸入缺少問答對或候選區域，DIAGRAMS能夠自動生成這些資訊，並提供人工驗證和細化的介面。這種設計使得框架能夠適應不同的資料集格式，而無需修改底層介面邏輯。
研究團隊在六個不同的圖解問答資料集上進行了實驗，涵蓋了圖表、地圖、電路圖和資訊圖等多種型別。實驗結果表明，模型自動建議的證據與人工最終選擇之間具有較高的一致性：微平均精確率達到85.39%，召回率達到75.30%。這些結果證明，採用“審查優先”的框架能夠顯著減少手動區域建立的工作量，同時保持與最終推理級歸因的高度一致性。
DIAGRAMS框架的另一個重要貢獻是其通用性和可擴充套件性。透過使用元模式和介面卡，該框架可以輕鬆擴充套件到新的資料集格式。研究人員已經發布了公開演示和可安裝的軟體包，以支援資料集審計、有監督的標註建立和基於歸因的評估。這一工具有望推動圖解問答領域的標準化和可重複性研究，為後續的研究和實際應用提供有力支援。