多模態大語言模型（MLLMs）在文檔理解任務中展現出巨大潛力，特別是在現實世界應用中，例如自動處理表格、發票和政府文件。然而，對於孟加拉語等低資源語言，由於缺乏高質量標註數據，其應用受到嚴重限制。為填補這一空白，由Abu Tyeb Azad等11位研究人員組成的團隊提出了BaFCo（Bangla Form Comprehension Benchmark），一個專注於孟加拉語表單理解的基準數據集，重點解決文檔佈局分析（DLA）和關鍵信息提取（KIE）任務。該研究已被2026年歐洲計算機視覺會議（ECCV）接收，數據集和代碼已在Hugging Face上公開。
BaFCo數據集精心挑選了200份來自孟加拉國政府各部門的多頁複雜表單，涵蓋農業、教育、銀行和土地管理等多個領域。這些表單具有豐富的結構和上下文複雜性，例如嵌套表格、多語言文本和手寫區域，為評估MLLMs提供了真實且具有挑戰性的場景。為準確捕捉這些複雜性，研究團隊定義了一套精細的標註模式，包括26種表單實體類型（如文本字段、複選框、簽名區、日期字段等）和5種粗粒度實體類型（如段落、表格、圖像、頁眉和頁腳），從而支持多層次的分析任務。這種細粒度的標註使得模型不僅要識別表單中的文本，還要理解其佈局和語義關係。
在實驗部分，研究者評估了來自ChatGPT（如GPT-4o）、Gemini（如Gemini 1.5 Pro）、Claude（如Claude 3.5 Sonnet）、Qwen（如Qwen2-VL-72B）和Kimi（如Kimi k1.5）系列的最新MLLMs。他們採用了零樣本（zero-shot）和鏈式思維提示（chain-of-thought prompting）兩種策略，並在低推理設置（如較低分辨率）和高推理設置（如更高分辨率或多步推理）下進行測試。結果顯示，當前MLLMs在理解孟加拉語表單方面存在明顯不足，尤其是在準確定位細粒度表單實體（如單個輸入字段或複選框）時表現不佳。即使是性能最好的模型，在細粒度實體識別上的F1分數也遠低於粗粒度實體，這表明現有模型在處理複雜、低資源語言文檔時仍有較大改進空間。
BaFCo數據集的發佈為孟加拉語文檔理解研究提供了寶貴資源，有助於推動多模態模型在低資源語言場景中的應用。研究人員希望這一基準能夠激勵更多社區關注低資源語言的文檔智能，並促進多語言和多文化AI系統的發展。數據集和代碼已在Hugging Face上公開，供研究人員使用，論文詳細信息可在arXiv上獲取。