在醫療領域,從OCR(光學字符識別)生成的臨牀報告中高效提取半結構化信息,對於重建患者的縱向病史至關重要。然而,實際應用場景往往面臨兩個主要挑戰:異構且不完全已知的鍵表示(字段標題),以及OCR引入的噪聲。現有評估體系通常忽略這些因素,難以衡量模型在真實環境中的魯棒性。
為此,研究人員提出了MedStruct-S基準,專門設計用於在未知鍵和OCR噪聲條件下評估三個關鍵任務:字段標題(鍵)發現、鍵條件問答(QA)以及端到端鍵值對提取。該基準包含3,582頁經過人工標註的真實臨牀報告頁面,涵蓋了多種報告類型和格式。
基於MedStruct-S,研究者評估了兩種代表性範式:編碼器-僅序列標註(配合後處理)和解碼器-僅結構化生成。共涉及四種編碼器-僅模型和五種解碼器-僅模型,參數規模從0.11B到103B不等。實驗結果顯示,儘管編碼器-僅模型的規模遠小於解碼器-僅模型,但在非空值鍵條件QA任務上,它們取得了最佳性能。當比較相似規模級別的模型時,編碼器-僅模型整體表現更優。若不控制模型規模,微調後的解碼器-僅模型則展現出最強的總體結果。
這些發現表明,MedStruct-S為不同半結構化信息提取設置下的模型選擇和比較提供了可靠且實用的基礎。該基準的發佈將推動臨牀文本分析領域的研究,特別是在處理OCR噪聲和未知鍵表示的挑戰性場景中。未來工作可探索更復雜的模型架構和噪聲魯棒性技術。論文已被KSEM 2026接收,最終版本將在Springer LNCS/LNAI會議論文集中發表。