図表質問応答（Diagram QA）は、コンピュータビジョンと自然言語処理の交差点における重要なタスクです。従来の視覚的質問応答とは異なり、Diagram QAではモデルが最終回答を含む領域だけでなく、推論プロセス中に関与するすべての関連領域を特定する必要があります。このプロセスは推論レベルの帰属と呼ばれます。しかし、このような構造化された証拠を作成するのは時間がかかり、既存の注釈ツールは特定のデータセットのJSON形式に密結合されているため、汎用性と柔軟性に欠けています。
この問題に対処するため、複数の研究機関の研究者らはDIAGRAMSを提案しました。これは、軽量でスキーマ駆動のレビューフレームワークです。このフレームワークの中心的な革新は、内部メタスキーマとデータセットアダプタを使用して、インターフェースロジックをデータセット固有のJSON構造から完全に分離した点にあります。具体的には、DIAGRAMSは画像と質問応答ペアを入力として受け取り、オプションで候補領域を提供できます。システムは質問応答条件付きの証拠選択を実行し、推論に必要な領域を自動的に提案します。入力に質問応答ペアや候補領域がない場合、DIAGRAMSはこれらを自動生成し、人間による検証と改良のためのインターフェースを提供します。
研究チームは、グラフ、地図、回路図、インフォグラフィックなどを含む6つの異なる図表質問応答データセットで実験を行いました。実験結果は、モデルが自動提案した証拠と人間の最終選択の間に高い一致があることを示しています：マイクロ平均で適合率85.39%、再現率75.30%を達成しました。これらの結果は、この「レビュー優先」フレームワークが手動での領域作成作業を大幅に削減しつつ、最終的な推論レベルの帰属との高い一致を維持することを証明しています。
DIAGRAMSフレームワークのもう一つの重要な貢献は、その汎用性と拡張性です。メタスキーマとアダプタを使用することで、基盤となるインターフェースロジックを変更することなく、新しいデータセット形式に容易に適応できます。研究者らは公開デモとインストール可能なパッケージを公開し、データセット監査、教師ありアノテーション作成、および帰属に基づく評価をサポートしています。このツールは、図表質問応答分野の標準化と再現可能な研究を推進することが期待されます。