長期以來,在端側裝置上部署具有全面UI理解能力的視覺語言模型一直面臨著精度與效率的兩難困境。一方面,OCR、螢幕理解、視覺問答和元素定位等任務對精度要求極高;另一方面,移動晶片的計算、記憶體和功耗預算極為嚴格。現有工作要麼犧牲一方換取另一方,要麼止步於模擬而未在實際裝置上驗證。
StepX-Edge的出現打破了這一僵局。該模型僅有0.9B引數,透過架構、訓練和部署的三層協同設計,在極小的引數預算下實現了全面UI理解。在架構上,模型引入了UI感知分層視覺編碼(ULVE)和漸進維度投影聯結器(PDP),專門應對螢幕的極端寬高比和細粒度感知需求。ULVE透過分層處理保留高解析度細節,PDP則逐步降低視覺特徵維度以減少計算開銷。同時,全程採用標準全注意力機制,確保與主流移動NPU運算元的原生相容性,避免了自定義運算元的部署障礙。
訓練方面,研究團隊基於對UI子任務間相互促進效應的觀察,設計了五階段StepX-Curriculum框架。該框架使得OCR、螢幕理解、視覺問答和元素定位四種能力在引數緊張的情況下協同增長,而非相互干擾。每個階段逐步增加任務難度,並從之前階段的知識中受益。部署方面,模型採用了模組級差異化的兩階段量化方案:先進行PTQ(訓練後量化)初始化,再對關鍵層進行QAT(量化感知訓練)微調,將量化後的精度損失控制在1%以內。最終模型以W4A16+KV8的量化配置執行。
StepX-Edge在多個基準測試中展現了卓越效能。在ScreenQA上達到88.76 F1,在中文OCRBench v2上達到57.25,均超越所有2B-2.3B基線模型。在RefCOCO(92.0%)和OCRBench v1(831)上,以更少的引數匹配了1.3B-2.3B通用視覺語言模型的水平。量化後,模型可在驍龍8 Gen5裝置上穩定執行,首令牌延遲約0.84秒,解碼速度98 tok/s,峰值記憶體僅1.4GB。研究團隊表示,他們將開源訓練資料、完整的訓練流程以及量化部署管線,以推動端側UI理解技術的發展。