在政府和行政工作流程中,將多個文檔合併為一個文件(即文檔包)是常見做法,但將這些文檔包拆分為原始文檔卻十分困難,尤其對於低資源語言而言。例如,孟加拉國的政府部門經常將多個表格掃描併合併為單個PDF文件,後續處理時需要準確還原每個獨立的表格,而傳統方法依賴OCR或人工標註,效率低下且容易出錯。為了應對這一挑戰,研究人員推出了Khondo(孟加拉語中意為“分割”),這是首個針對孟加拉國政府表單文檔包分割的基準數據集。
與以往基於英文和OCR文本的數據集不同,Khondo採用雙語言(孟加拉語-英語)設計,並且是視覺原生的——即模型直接操作頁面圖像,而非依賴OCR文本。該基準涵蓋了五種拼接方案,從簡單的順序拼接到完全打亂,涉及14個行政領域,包括税務、教育、衞生等多個方面。數據集提供了頁面邊界、領域類型和頁面順序的真實標註,為模型評估提供了可靠的基礎。
研究團隊對多種多模態大語言模型(MLLMs)進行了零樣本評估,結果顯示這些模型在將頁面聚類到原始文檔方面表現尚可,但在頁面被打亂後恢復原始順序時卻遇到了顯著困難。例如,當頁面順序隨機打亂後,模型雖然能識別哪些頁面屬於同一文檔,但無法正確排列它們的順序。為了探索困難根源,研究人員進行了兩項控制實驗:調整提示指令以及改變文檔包的語言。
實驗結果表明,兩者主要影響順序恢復而非聚類。具體來説:(a)明確的頁面順序指令雖然必要但不足以解決問題;(b)英語文檔包的順序恢復比孟加拉語包更可靠。這説明頁面排序是當前的主要挑戰,而語言則是次要但持續存在的因素。這一發現揭示了視覺文檔理解中的一個關鍵瓶頸:即使模型能夠識別內容,對於文檔結構的順序推理仍然薄弱。
Khondo的建立將頁面順序重構確立為基於視覺的低資源文檔理解領域中的一個關鍵開放問題。數據集和代碼已公開在Hugging Face上,供研究社區使用和進一步探索。這項工作不僅推動了孟加拉語文檔處理的技術進步,也為其他低資源語言的文檔理解研究提供了可參考的基準和方法。