マルチモーダル大規模言語モデル（MLLM）は、特に実世界の人間中心アプリケーションにおいて、文書理解タスクで有望な性能を示しています。例えば、フォームの自動処理や請求書のデータ抽出などが挙げられます。しかし、ベンガル語のような低リソース言語では、高品質なアノテーションデータの不足により、その採用は限られています。このギャップを埋めるために、Abu Tyeb Azad氏ら11名の研究者はBaFCo（Bangla Form Comprehension Benchmark）を提案しました。これはベンガル語フォーム理解に特化したベンチマークデータセットで、文書レイアウト分析（DLA）とキー情報抽出（KIE）に焦点を当てています。本研究成果は2026年の欧州コンピュータビジョン会議（ECCV）で採択され、データセットとコードはHugging Faceで公開されています。
BaFCoデータセットは、バングラデシュ政府の多様な部門から収集された200の複数ページからなる複雑なフォームで構成されています。これらのフォームは農業、教育、銀行、土地管理などの分野にわたり、入れ子状の表や多言語テキスト、手書き領域など、構造的・文脈的に複雑な特徴を持ちます。MLLMを評価するための現実的なシナリオを提供するため、研究チームは26種類のフォームエンティティ（テキストフィールド、チェックボックス、署名欄、日付フィールドなど）からなる細粒度アノテーションスキーマと、5種類（段落、表、画像、ヘッダー、フッター）の粗粒度エンティティセットを定義し、多層的な分析を可能にしました。この細かい粒度のアノテーションにより、モデルはフォーム内のテキストを認識するだけでなく、そのレイアウトと意味的関係を理解する必要があります。
実験では、ChatGPT（GPT-4oなど）、Gemini（Gemini 1.5 Proなど）、Claude（Claude 3.5 Sonnetなど）、Qwen（Qwen2-VL-72Bなど）、Kimi（Kimi k1.5など）シリーズの最新MLLMを評価しました。ゼロショットおよびチェーンオブソートプロンプトを用い、低推論設定（低解像度など）と高推論設定（高解像度や多段階推論など）の両方でテストを実施しました。結果は、現在のMLLMがベンガル語フォームの理解、特に細かいフォームエンティティ（個々の入力フィールドやチェックボックスなど）の正確な位置特定において限界があることを示しています。最も性能の高いモデルでも、細粒度エンティティのF1スコアは粗粒度エンティティよりもはるかに低く、複雑で低リソース言語の文書を処理する際に既存モデルに大きな改善の余地があることが明らかになりました。
BaFCoデータセットの公開は、ベンガル語の文書理解研究に貴重なリソースを提供し、低リソース言語シナリオにおけるマルチモーダルモデルの進展を促進します。研究者らは、このベンチマークが低リソース言語の文書インテリジェンスへのコミュニティの関心を高め、多言語・多文化AIシステムの発展に寄与することを期待しています。データセットとコードはHugging Faceで公開されており、論文の詳細はarXivで入手可能です。