近年來，視覺文本壓縮（Visual Text Compression, VTC）作為一種高效處理長上下文的新思路受到廣泛關注。VTC透過將文本渲染為影像，再利用視覺語言模型進行重新編碼，通常能產生比傳統子詞分詞少3到20倍的解碼器令牌，從而大幅降低計算開銷。然而，令牌數量的減少並不能可靠地轉化為下游任務效能的提升：在某些任務上，VTC路徑可以與純文本路徑匹敵甚至超越，但在其他任務上效能卻顯著下降。更令人困擾的是，壓縮比本身無法預測哪種情況會發生。這種不確定性嚴重阻礙了VTC在實際系統中的部署。
針對這一難題，來自Lv Tang等人的研究團隊提出了一種基於測度傳輸（measure transport）的理論框架，將VTC中的資訊損失問題進行形式化。在數學上，他們將文本令牌和視覺令牌視為經驗機率測度，並指出視覺Transformer（ViT）的塊編碼器實際上誘導了一個前推對映（push-forward map）。該對映的傳輸成本可以分解為兩部分：塊內聚合導致的精度成本（precision cost）和塊間碎片化導致的覆蓋成本（coverage cost）。這兩項成本都可以透過不需要下游標籤的探針進行估計。
基於這一分解，論文推匯出了兩個實用的操作機制。第一，一種無需下游標籤的路由準則（routing criterion），能夠針對每個輸入或基準測試例項判斷是採用視覺路徑還是純文本路徑。第二，一種基於傳輸成本的自適應注視機制（adaptive foveation），能夠對高成本區域進行更高解析度的重新編碼，從而減少關鍵資訊的損失。
在Qwen3-4B模型上，研究團隊在24個NLP資料集上進行了全面評估。實驗結果表明，他們所提出的無標籤路由規則在70.8%（17/24）的資料集上匹配了每個資料集的oracle最優決策。與純文本語言模型相比，該方法使平均任務得分提升了3.3%，同時平均令牌數量減少了10.3%。這一工作不僅為理解VTC中的資訊損失提供了堅實的理論基礎，也為高效部署長上下文大語言模型提供了實用的工程工具。未來，這一框架有望進一步擴充套件到多模態理解和影像壓縮等領域。