跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

Khondo:孟加拉語表單文件包分割的多模態基準

文章摘要

Khondo是首個針對孟加拉國政府表單文件包分割的基準,涵蓋雙語言(孟加拉語-英語)和視覺原生頁面影像,包含五種拼接方案和14個行政領域。零樣本評估顯示多模態大語言模型在聚類頁面方面表現良好,但在恢復原始頁面順序上存在困難,頁面順序重構成為關鍵挑戰。

來源arXiv Computational Linguistics作者: Abu Tyeb Azad, Fahim Ahmed, Ishita Sur Apan, Ezharuddin Jubaer, Sumaiya Karim Katha, Armun Alam, Amin Ahsan Ali, Aman Chadha, Md Mofijul Islam, AKM Mahbubur Rahman
Khondo:孟加拉語表單文件包分割的多模態基準
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在政府和行政工作流程中,將多個文件合併為一個檔案(即文件包)是常見做法,但將這些文件包拆分為原始文件卻十分困難,尤其對於低資源語言而言。例如,孟加拉國的政府部門經常將多個表格掃描併合併為單個PDF檔案,後續處理時需要準確還原每個獨立的表格,而傳統方法依賴OCR或人工標註,效率低下且容易出錯。為了應對這一挑戰,研究人員推出了Khondo(孟加拉語中意為“分割”),這是首個針對孟加拉國政府表單文件包分割的基準資料集。

與以往基於英文和OCR文本的資料集不同,Khondo採用雙語言(孟加拉語-英語)設計,並且是視覺原生的——即模型直接操作頁面影像,而非依賴OCR文本。該基準涵蓋了五種拼接方案,從簡單的順序拼接到完全打亂,涉及14個行政領域,包括稅務、教育、衛生等多個方面。資料集提供了頁面邊界、領域型別和頁面順序的真實標註,為模型評估提供了可靠的基礎。

研究團隊對多種多模態大語言模型(MLLMs)進行了零樣本評估,結果顯示這些模型在將頁面聚類到原始文件方面表現尚可,但在頁面被打亂後恢復原始順序時卻遇到了顯著困難。例如,當頁面順序隨機打亂後,模型雖然能識別哪些頁面屬於同一文件,但無法正確排列它們的順序。為了探索困難根源,研究人員進行了兩項控制實驗:調整提示指令以及改變文件包的語言。

實驗結果表明,兩者主要影響順序恢復而非聚類。具體來說:(a)明確的頁面順序指令雖然必要但不足以解決問題;(b)英語文件包的順序恢復比孟加拉語包更可靠。這說明頁面排序是當前的主要挑戰,而語言則是次要但持續存在的因素。這一發現揭示了視覺文件理解中的一個關鍵瓶頸:即使模型能夠識別內容,對於文件結構的順序推理仍然薄弱。

Khondo的建立將頁面順序重構確立為基於視覺的低資源文件理解領域中的一個關鍵開放問題。資料集和程式碼已公開在Hugging Face上,供研究社群使用和進一步探索。這項工作不僅推動了孟加拉語文件處理的技術進步,也為其他低資源語言的文件理解研究提供了可參考的基準和方法。

展開要點與分析

文章情報

工程師進階

要點

  • 引入Khondo,首個面向孟加拉語表單的文件包分割基準,支援雙語言和視覺原生輸入。
  • 包含順序到完全打亂等五種拼接方案,覆蓋14個行政領域。
  • 多模態大語言模型在頁面聚類上表現良好,但恢復打亂後的頁面順序面臨挑戰。
  • 實驗表明頁面順序重構是主要難點,語言僅起次要作用。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。