arXivに最新論文「Office Comprehension Benchmark」が投稿された。Firoz Shaik氏ら20名の著者によるこの研究は、2026年5月29日に提出され、Word、Excel、PowerPointのネイティブファイル形式（.docx、.xlsx、.pptx）とその変種に対する大規模言語モデル（LLM）システムの理解度を統合的に評価する初の公開ベンチマーク「Office Comprehension Bench（OCB）」を導入している。
OCBは2つの独立したトラックで構成されている。第1のトラックは「ファイル忠実度Q&A（File Fidelity Q&A）」で、オフィス文書の構造的・視覚的知覚をテストする。具体的には、表、グラフ、埋め込み画像、数式、さらにヘッダー、スピーカーノート、名前付き範囲といったアプリケーション固有の要素が含まれる。このトラックでは、モデルが文書のレイアウトや書式の詳細を正確に認識し解釈する能力が求められる。
第2のトラックは「ドメインQ&A（Domain Q&A）」で、12の専門分野にわたる実際の業界文書に基づいた専門家レベルの推論をテストする。クエリは複数文書にまたがる多段階の分析と統合を必要とし、モデルの深い理解と論理的推論能力に高い要求を課す。
評価方法では、各参照回答を原子的で二値評価可能な主張に分解し、LLM審査員のアンサンブルが各主張に対して独立にスコアリングを行う。この細粒度の評価アプローチにより、モデル回答の正確性をより精密に測定できる。
実験結果は注目に値する。デフォルトの推論モードにおいても、最強のフロンティアシステムでさえドメインQ&Aの正答率は約59.3%にとどまった。さらに分析を進めると、同一製品ティア内で思考深度（thinking depth）を増やしても性能は実質的に向上せず、上位の製品ティアに移行しても一定の利得は得られるもののその幅度は限定的であることが判明した。これは、現在のモデルが複雑なオフィス文書の理解において依然として大きな改善の余地を残していることを示している。
研究チームは、この分野の研究を推進するため、データセット、評価ツール、審査プロンプト、および公開リーダーボードを公開している。これらのリソースは、研究者や開発者がオフィス文書理解におけるモデルの能力をより適切に評価し改善するのに役立つだろう。