BaFCo：孟加拉语复杂表单理解的文档理解基准
BaFCo是一个专为孟加拉语表单理解设计的基准数据集，包含200份多页复杂孟加拉国政府表单，覆盖农业、教育、银行和土地管理等领域，定义了26种细粒度实体类型和5种粗粒度实体类型。评估显示当前多模态大语言模型在定位精细表单实体方面存在局限性。
多模态大语言模型（MLLMs）在文档理解任务中展现出巨大潜力，特别是在现实世界应用中，例如自动处理表格、发票和政府文件。然而，对于孟加拉语等低资源语言，由于缺乏高质量标注数据，其应用受到严重限制。为填补这一空白，由Abu Tyeb Azad等11位研究人员组成的团队提出了BaFCo（Bangla Form Comprehension Benchmark），一个专注于孟加拉语表单理解的基准数据集，重点解决文档布局分析（DLA）和关键信息提取（KIE）任务。该研究已被2026年欧洲计算机视觉会议（ECCV）接收，数据集和代码已在Hugging Face上公开。
BaFCo数据集精心挑选了200份来自孟加拉国政府各部门的多页复杂表单，涵盖农业、教育、银行和土地管理等多个领域。这些表单具有丰富的结构和上下文复杂性，例如嵌套表格、多语言文本和手写区域，为评估MLLMs提供了真实且具有挑战性的场景。为准确捕捉这些复杂性，研究团队定义了一套精细的标注模式，包括26种表单实体类型（如文本字段、复选框、签名区、日期字段等）和5种粗粒度实体类型（如段落、表格、图像、页眉和页脚），从而支持多层次的分析任务。这种细粒度的标注使得模型不仅要识别表单中的文本，还要理解其布局和语义关系。
在实验部分，研究者评估了来自ChatGPT（如GPT-4o）、Gemini（如Gemini 1.5 Pro）、Claude（如Claude 3.5 Sonnet）、Qwen（如Qwen2-VL-72B）和Kimi（如Kimi k1.5）系列的最新MLLMs。他们采用了零样本（zero-shot）和链式思维提示（chain-of-thought prompting）两种策略，并在低推理设置（如较低分辨率）和高推理设置（如更高分辨率或多步推理）下进行测试。结果显示，当前MLLMs在理解孟加拉语表单方面存在明显不足，尤其是在准确定位细粒度表单实体（如单个输入字段或复选框）时表现不佳。即使是性能最好的模型，在细粒度实体识别上的F1分数也远低于粗粒度实体，这表明现有模型在处理复杂、低资源语言文档时仍有较大改进空间。
BaFCo数据集的发布为孟加拉语文档理解研究提供了宝贵资源，有助于推动多模态模型在低资源语言场景中的应用。研究人员希望这一基准能够激励更多社区关注低资源语言的文档智能，并促进多语言和多文化AI系统的发展。数据集和代码已在Hugging Face上公开，供研究人员使用，论文详细信息可在arXiv上获取。