由 Firoz Shaik 领衔、共 20 位作者合作完成的论文《Office Comprehension Benchmark》于 2026 年 5 月 29 日提交至 arXiv（编号 arXiv:2607.01245v1，主分类为计算与语言 cs.CL，同时跨人工智能、计算机与社会、信息检索和机器学习等领域），并发布了用于评测大语言模型办公文档理解能力的公开基准——Office Comprehension Bench（OCB）。据作者介绍，这是首个同时在 Word、Excel 和 PowerPoint 的原生文件格式（.docx、.xlsx、.pptx）及其变体上联合评估 LLM 系统的公开基准。
OCB 由两个评测轨道组成。第一条是 File Fidelity Q&A（文件保真问答），重点考察模型对办公文档中结构与视觉要素的感知能力，包括表格、图表、嵌入图片、公式，以及页眉、演讲者备注、命名区域等特定应用元素。第二条是 Domain Q&A（领域问答），基于 12 个专业领域的真实行业文档测试专家级推理能力，问题往往需要跨文档进行多步分析与综合。
在评分方法上，该基准将每个参考答案拆解为若干原子化、可按二元判定的陈述（claim），再由一组 LLM 评审模型对回答逐条独立打分，从而降低单一评审带来的偏差。
评测结果显示出当前前沿模型的明显短板：即使是最强的前沿系统，在其默认推理模式下于 Domain Q&A 上的得分也仅约为 59.3%。论文还观察到两个值得注意的现象：在同一产品层级内增加思考深度（thinking depth）并不会显著提升表现；而升级到更高层级的产品则只带来有限的增益。这说明单纯延长推理链条并不能弥补模型在真实办公文档理解上的能力缺口。
为方便社区复现与后续研究，作者公开了数据集、评测工具、评审提示词（judge prompt）以及一个公开排行榜。该工作涉及计算与语言、人工智能、信息检索和机器学习等多个方向，对评估 LLM 在实际办公场景中的可靠性具有参考价值。