OCR技術是歷史檔案數字化的關鍵工具，但長期以來，評估OCR質量主要依賴字元錯誤率（CER）等聚合指標。這類指標衡量的是轉錄文本與參考文本在字元層面的整體差異，卻未必能回答一個更貼近實際使用需求的問題：姓名、日期、編號等具有實際意義的資訊是否被正確保留。圍繞這一缺口，一篇新論文提出從實體層面分析OCR錯誤，作為歷史文件OCR質量評估的補充視角。
研究團隊使用了一個公開基準，其中包含來自Berrutti檔案的175份文件。為支援實體級評估，他們在此基礎上新增了5,209條人工標註的實體提及，並計劃在論文錄用後公開這批標註資料。這一資源使研究者不僅能統計整體轉錄準確率，還能逐項檢查關鍵實體在OCR輸出中的保留情況與可恢復性。
在實驗設計上，作者比較了三類系統：傳統的序列識別OCR系統、專門針對OCR任務最佳化的視覺語言模型，以及通用視覺語言模型。評估不侷限於全域性轉錄準確率，還引入了不同字元級編輯容差，用以觀察當允許少量字元差異時，實體能否被正確找回。這種設定區分了兩種性質不同的錯誤：一種是實體本身被徹底識別錯誤，另一種只是區域性字元偏差，經過輕度糾錯即可恢復。
實驗結果顯示，OCR系統的排名會隨評估標準而變化。Qwen 3.6在所有測試容差下都取得了最高的實體覆蓋率。與此同時，一些精確匹配覆蓋率較低的系統在容忍小錯誤後表現明顯回升，說明它們的許多錯誤屬於區域性字元層面的偏差，而非實體轉錄在根本上出錯。相反，也有部分系統即使在放寬匹配條件後，仍無法恢復大量實體，表明其錯誤更為嚴重或系統性。
作者由此得出結論：OCR質量不能僅由聚合轉錄指標來完整刻畫。對於歷史檔案數字化而言，評估重點應放在OCR錯誤如何影響有意義資訊的保留與可恢復性上。這項工作的貢獻不僅在於提供了一套帶實體標註的評測資源，也在於提示研究者和實踐者在選擇OCR系統時，應結合具體下游任務對實體準確性的要求，而非只看單一的整體錯誤率。論文提交於2026年10月7日，涉及計算與語言、人工智慧、計算機視覺、機器學習及影像與影片處理等多個方向。