螞蟻集團 Robbyant 開源 LingBot-Vision：面向密集空間感知的 10 億引數邊界中心視覺基礎模型

螞蟻集團旗下的具身智慧公司 Robbyant 近日開源了 LingBot-Vision，這是一系列自監督的視覺 Transformer（ViT），專為密集空間感知任務設計。該系列的模型權重以 Apache-2.0 許可在 Hugging Face 上釋出，包含 ViT-giant、ViT-large、ViT-base 和 ViT-small 四種尺寸，同時提供了技術報告和推理程式碼。

傳統的視覺基礎模型通常針對語義不變性進行訓練：它們學習影像中的內容，卻丟棄了機器人等物理實體系統所依賴的精細空間結構，例如物體邊界、輪廓和深度不連續。LingBot-Vision 顛覆了這一優先順序，將邊界作為原生預訓練訊號，而不是下游任務的輸出。其 10 億引數的骨幹網路在密集空間任務上匹配甚至超越了比它大 7 倍的模型，包括 7B 的 DINOv3。

LingBot-Vision 的核心創新在於掩碼邊界建模。該方法基於 DINO/iBOT 自蒸餾正規化，但引入兩個關鍵改進：邊界強制和分類邊界場。邊界強制讓教師模型線上預測密集邊界場，並強制將邊界令牌加入學生的掩碼集合，使得邊界令牌同時接收幾何和語義目標，而內部掩碼令牌只保留標準語義目標。分類邊界場則將每個通道離散化為 32 個箱子，將邊界預測轉化為逐畫素分類任務，從而利用現代自蒸餾的穩定機制。此外，分類形式自然支援無引數的無假警報（NFA）檢驗，用於驗證邊界線段。

在基準測試中，LingBot-Vision 表現出色。在 NYU-Depth v2 上，其 RMSE 達到 0.296，優於 7B 的 DINOv3（0.309）。在 KITTI 上，它是 2B 引數以下的最佳模型。在語義分割方面，它與蒸餾的 DINOv3 ViT-H+ 相當，在 ADE20K 上落後 1.3 mIoU，在 Cityscapes 上持平，在 VOC12 上領先。在影片目標分割中，透過凍結特徵的餘弦相似度匹配，它在 DAVIS-2017 上達到 70.0 J&F，在 YouTube-VOS 上達到 73.5，與 7B 的 DINOv3 相當。

LingBot-Vision 還作為下游深度補全系統 LingBot-Depth 2.0 的初始化編碼器。僅透過將編碼器從 DINOv2 切換為 LingBot-Vision 並將訓練資料從 300 萬擴充套件到 1.5 億，就在 14 個基準測試上取得了領先結果。值得注意的是，隨著資料量增加，LingBot-Vision 初始化的優勢進一步擴大，而 DINOv2 的收益則趨於飽和。

使用者可以透過官方 GitHub 倉庫輕鬆載入模型。推理程式碼支援從 Hugging Face 自動下載權重，並提取貼片令牌用於下游任務。LingBot-Vision 的釋出標誌著在密集空間感知領域邁出了重要一步，為機器人、自動駕駛等應用提供了強大的預訓練基礎。