近日，一篇題為《Hierarchical Visual Agent: Managing Contexts in Joint Image-Text Space for Advanced Chart Reasoning》的論文在arXiv上釋出，該論文已被ACL 2026錄用。論文提出了一種名為HierVA的分層視覺代理框架，旨在解決高階圖表推理中的核心挑戰：如何精確感知微小視覺元素並在多個子圖之間進行多步推理。
現有的大多數多模態大語言模型（MLLMs）在理解單一圖表方面表現強勁，但在涉及多個子圖的複雜推理任務中往往力不從心。例如，當需要比較不同子圖中的資料點或執行跨子圖的邏輯推理時，MLLMs容易丟失關鍵上下文或產生錯誤。HierVA透過引入一個分層代理系統來應對這一問題：系統包含一個高層管理器和多個專業工人。高層管理器負責制定推理計劃，並維護一個僅包含關鍵資訊的緊湊上下文；專業工人則執行具體的推理任務，收集視覺證據並返回結果。
值得注意的是，HierVA維護了獨立的視覺上下文和文本上下文，並利用縮放（zoom-in）工具來動態限制視覺上下文的範圍，從而避免無關資訊的干擾。這種方法使得代理能夠聚焦於最相關的視覺區域，同時保持對整體任務結構的理解。
研究人員在CharXiv推理子集上進行了實驗，結果表明HierVA在所有評估指標上均一致優於強多模態基線模型。進一步的消融研究證實了三個關鍵設計要素的互補增益：分層架構為長期規劃提供了結構，限定視覺上下文減少了噪聲干擾，而精煉上下文則透過壓縮資訊提高了決策效率。
這一工作為複雜圖表問答任務提供了新的解決思路，其分層管理和上下文最佳化策略有望被推廣到其他需要多步視覺推理的應用場景，如科學文獻理解、自動報告生成等。