多模態大語言模型（MLLMs）在文件理解任務中展現出巨大潛力，特別是在現實世界應用中，例如自動處理表格、發票和政府檔案。然而，對於孟加拉語等低資源語言，由於缺乏高質量標註資料，其應用受到嚴重限制。為填補這一空白，由Abu Tyeb Azad等11位研究人員組成的團隊提出了BaFCo（Bangla Form Comprehension Benchmark），一個專注於孟加拉語表單理解的基準資料集，重點解決文件佈局分析（DLA）和關鍵資訊提取（KIE）任務。該研究已被2026年歐洲計算機視覺會議（ECCV）接收，資料集和程式碼已在Hugging Face上公開。
BaFCo資料集精心挑選了200份來自孟加拉國政府各部門的多頁複雜表單，涵蓋農業、教育、銀行和土地管理等多個領域。這些表單具有豐富的結構和上下文複雜性，例如巢狀表格、多語言文本和手寫區域，為評估MLLMs提供了真實且具有挑戰性的場景。為準確捕捉這些複雜性，研究團隊定義了一套精細的標註模式，包括26種表單實體型別（如文本欄位、核取方塊、簽名區、日期欄位等）和5種粗粒度實體型別（如段落、表格、影像、頁首和頁尾），從而支援多層次的分析任務。這種細粒度的標註使得模型不僅要識別表單中的文本，還要理解其佈局和語義關係。
在實驗部分，研究者評估了來自ChatGPT（如GPT-4o）、Gemini（如Gemini 1.5 Pro）、Claude（如Claude 3.5 Sonnet）、Qwen（如Qwen2-VL-72B）和Kimi（如Kimi k1.5）系列的最新MLLMs。他們採用了零樣本（zero-shot）和鏈式思維提示（chain-of-thought prompting）兩種策略，並在低推理設定（如較低解析度）和高推理設定（如更高解析度或多步推理）下進行測試。結果顯示，當前MLLMs在理解孟加拉語表單方面存在明顯不足，尤其是在準確定位細粒度表單實體（如單個輸入欄位或核取方塊）時表現不佳。即使是效能最好的模型，在細粒度實體識別上的F1分數也遠低於粗粒度實體，這表明現有模型在處理複雜、低資源語言文件時仍有較大改進空間。
BaFCo資料集的釋出為孟加拉語文件理解研究提供了寶貴資源，有助於推動多模態模型在低資源語言場景中的應用。研究人員希望這一基準能夠激勵更多社群關注低資源語言的文件智慧，並促進多語言和多文化AI系統的發展。資料集和程式碼已在Hugging Face上公開，供研究人員使用，論文詳細資訊可在arXiv上獲取。