医療分野では、OCR（光学文字認識）によって生成された臨床レポートから半構造化情報を効率的に抽出することが、患者の経時的病歴を再構築する上で重要です。しかし、実際の応用シナリオでは、異種で完全には既知でないキー表現（フィールドヘッダー）とOCRによるノイズという2つの大きな課題があります。既存の評価ではこれらの要因が軽視されることが多く、実環境でのモデルの頑健性を評価することが困難でした。
そこで研究者らは、未知のキーとOCRノイズの下で3つの主要タスク（フィールドヘッダー発見、キー条件付き質問応答、エンドツーエンドのキーと値のペア抽出）を評価するために特別に設計されたベンチマーク「MedStruct-S」を提案しました。このベンチマークは、3,582ページの注釈付き実臨床レポートで構成され、多様なレポートタイプや形式をカバーしています。
MedStruct-Sを用いて、エンコーダオンリーの系列ラベリング（後処理付き）とデコーダオンリーの構造化生成という2つの代表的なパラダイムを評価しました。0.11Bから103Bパラメータにわたる4つのエンコーダオンリーモデルと5つのデコーダオンリーモデルを対象としました。実験の結果、エンコーダオンリーモデルはデコーダオンリーモデルよりもはるかに小さいにもかかわらず、非null値のキー条件付きQAタスクで最高の性能を達成しました。同程度の規模のモデルを比較した場合、エンコーダオンリーモデルは全体的に優れた結果を示しました。モデル規模を制御しない場合、微調整済みのデコーダオンリーモデルが最も強い結果をもたらしました。
これらの発見は、MedStruct-Sが半構造化情報抽出のさまざまな設定においてモデルを選択・比較するための信頼性の高い実用的な基盤を提供することを示しています。このベンチマークの公開により、OCRノイズや未知のキー表現といった困難なシナリオに対処する臨床テキスト分析の研究が促進されることが期待されます。今後の研究では、より複雑なモデルアーキテクチャやノイズ頑健性技術を探求することが可能です。本論文はKSEM 2026に採択されており、最終版はSpringer LNCS/LNAIの会議録で公開される予定です。