長年にわたり、端末上で完全なUI理解を持つ視覚言語モデルを展開することは、精度と効率のジレンマに直面してきました。一方ではOCR、画面理解、視覚質問応答、要素グラウンディングの精度要件、他方ではモバイルチップの厳しい計算、メモリ、電力予算があります。既存の研究は一方を犠牲にするか、シミュレーションで止まり実機検証に至っていませんでした。
StepX-Edgeはこの緊張関係を解決します。0.9BパラメータのオンデバイスUI視覚言語モデルであり、アーキテクチャ、トレーニング、デプロイメントの3層協調設計を採用しています。アーキテクチャでは、UI認識階層型視覚エンコーディング（ULVE）とプログレッシブ次元投影コネクタ（PDP）により、画面の極端なアスペクト比と細かい知覚を対象としています。ULVEは階層処理で高解像度の詳細を保持し、PDPは視覚特徴の次元を徐々に削減して計算負荷を軽減します。また、標準的なフルアテンションを全体で使用することで、主流のモバイルNPUオペレータとのネイティブ互換性を確保し、カスタムオペレータによる導入障壁を回避します。
トレーニングでは、UIサブタスク間の相互促進効果に基づいて設計された5段階のStepX-カリキュラムフレームワークを採用し、4つの能力すべてが限られたパラメータ予算のもとで相乗的に成長します。各段階でタスクの難易度を段階的に上げ、前の段階の知識を活用します。デプロイメントでは、モジュールごとに差別化された2段階の量子化スキーム（PTQ初期化後、重要な層にQAT微調整）を採用し、量子化後の精度低下を1%以内に抑えています。最終モデルはW4A16+KV8の量子化構成で動作します。
StepX-Edgeは、さまざまなベンチマークで卓越したパフォーマンスを発揮します。ScreenQAで88.76 F1、Chinese OCRBench v2で57.25を達成し、すべての2B-2.3Bベースラインモデルを上回りました。RefCOCO（92.0%）とOCRBench v1（831）では、はるかに少ないパラメータで1.3B-2.3Bの汎用視覚言語モデルに匹敵します。量子化後、Snapdragon 8 Gen5デバイス上で約0.84秒のTTFT、98 tok/sのデコード、1.4 GBのピークメモリで安定動作します。研究チームは、トレーニングデータ、完全なトレーニングレシピ、および量子化デプロイメントパイプラインをオープンソース化する予定です。