近日，一篇题为《Hierarchical Visual Agent: Managing Contexts in Joint Image-Text Space for Advanced Chart Reasoning》的论文在arXiv上发布，该论文已被ACL 2026录用。论文提出了一种名为HierVA的分层视觉代理框架，旨在解决高级图表推理中的核心挑战：如何精确感知微小视觉元素并在多个子图之间进行多步推理。
现有的大多数多模态大语言模型（MLLMs）在理解单一图表方面表现强劲，但在涉及多个子图的复杂推理任务中往往力不从心。例如，当需要比较不同子图中的数据点或执行跨子图的逻辑推理时，MLLMs容易丢失关键上下文或产生错误。HierVA通过引入一个分层代理系统来应对这一问题：系统包含一个高层管理器和多个专业工人。高层管理器负责制定推理计划，并维护一个仅包含关键信息的紧凑上下文；专业工人则执行具体的推理任务，收集视觉证据并返回结果。
值得注意的是，HierVA维护了独立的视觉上下文和文本上下文，并利用缩放（zoom-in）工具来动态限制视觉上下文的范围，从而避免无关信息的干扰。这种方法使得代理能够聚焦于最相关的视觉区域，同时保持对整体任务结构的理解。
研究人员在CharXiv推理子集上进行了实验，结果表明HierVA在所有评估指标上均一致优于强多模态基线模型。进一步的消融研究证实了三个关键设计要素的互补增益：分层架构为长期规划提供了结构，限定视觉上下文减少了噪声干扰，而精炼上下文则通过压缩信息提高了决策效率。
这一工作为复杂图表问答任务提供了新的解决思路，其分层管理和上下文优化策略有望被推广到其他需要多步视觉推理的应用场景，如科学文献理解、自动报告生成等。