政府や行政のワークフローでは、複数の文書を1つのファイルに連結したドキュメントパケットが一般的に使用されています。例えば、バングラデシュの政府機関では、複数の申請書や証明書をスキャンして1つのPDFにまとめることがよくありますが、その後これらのパケットを元の個別文書に分割することは非常に困難です。特に低リソース言語の場合、従来のOCRテキストベースのアプローチでは精度が低く、手動での作業が強いられていました。この問題に対処するため、研究者らはKhondo（ベンガル語で「分割」の意）を導入しました。これは、バングラデシュ政府フォームのドキュメントパケット分割のための初のベンチマークです。
従来の英語やOCRテキストベースのデータセットとは異なり、Khondoはバイリンガル（ベンガル語-英語）でビジョンネイティブであり、モデルはページ画像を直接処理します。このベンチマークは、順次連結から完全シャッフルまでの5つの連結方式をカバーし、14の行政ドメイン（税務、教育、医療など）にわたります。グラウンドトゥルースとして、ページの境界、ドメインタイプ、ページ順序が提供されており、モデル評価のための堅牢な基盤を提供します。
研究チームは、複数のマルチモーダル大規模言語モデル（MLLM）を用いてゼロショット評価を実施しました。その結果、モデルはページを元の文書にクラスタリングするのはかなり得意である一方、シャッフルされた後に元のページ順序を復元するのは困難であることが明らかになりました。例えば、ページがランダムにシャッフルされた場合、モデルは同じ文書に属するページを特定できるものの、正しい順序に並べ替えることができません。この困難さの原因を特定するため、研究者らは2つの制御実験を実施しました。プロンプト指示を変化させる実験と、パケットの言語を変化させる実験です。
実験結果は、両方の要因がクラスタリングよりも順序付けに影響を与えることを示しました。具体的には、（a）明示的なページ順序指示は必要だが不十分であり、（b）英語パケットはベンガル語パケットよりも信頼性高く順序付けされました。これにより、ページ配置が支配的な課題であり、言語は二次的ではあるが一貫した要因であることが明らかになりました。この発見は、視覚ベースの文書理解において、モデルが内容を認識できる場合でも、文書構造の順序推論が依然として大きな課題であることを示しています。
Khondoは、ページ順序の再構築を視覚ベースの低リソース文書理解における重要な未解決問題として位置づけ、その解決に向けた進捗を測定するための制御されたベンチマークを提供します。データセットとコードはHugging Faceで公開されており、研究コミュニティが利用・拡張できるようになっています。この研究は、ベンガル語文書処理の技術的進歩を促進するだけでなく、他の低リソース言語の文書理解研究にも参考になるベンチマークと方法論を提供します。