跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

DINOv3-MIL:基於基礎模型補丁令牌的腎臟腫瘤和囊腫多標籤檢測

文章摘要

基礎視覺模型在自然影像上訓練後可直接應用於醫學任務,無需領域預訓練。本研究在KiTS23資料集上比較了三種聚合器用於腎臟腫瘤和囊腫檢測,發現門控注意力多例項學習(MIL)效能最佳,腫瘤AUROC為0.74,囊腫為0.80。原型頭部在囊腫檢測上失敗(AUROC 0.51),凸顯了可解釋性與效能之間的權衡。

來源arXiv Computer Vision作者: Vishalakshi M, Sahil Sharma, Pramod Kumar P
DINOv3-MIL:基於基礎模型補丁令牌的腎臟腫瘤和囊腫多標籤檢測
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

基礎視覺模型(如DINOv3)在自然影像上預訓練後,無需額外的醫學領域預訓練即可直接遷移至醫學影像任務,但在處理三維體積資料時,需要聚合每例研究中的數萬個補丁令牌,而聚合器的選擇直接影響模型的解釋能力。

本研究在KiTS23資料集(966個腎臟,97例測試)上,基於凍結的DINOv3 ViT-H/16+特徵,比較了三種聚合器用於腎臟腫瘤和囊腫的多標籤檢測:CLS令牌線性探針、基於55,296個補丁令牌的門控注意力多例項學習(MIL),以及遵循ProtoViT的原型頭部。實驗表明,注意力MIL在腫瘤檢測上取得最高AUROC(0.74,95%置信區間0.64-0.83),在囊腫檢測上取得AUROC(0.80,95%置信區間0.70-0.88),且注意力在標註病灶內的富集程度是隨機水平的7.5至9.8倍。

相比之下,原型頭部在囊腫檢測上表現不佳,AUROC僅為0.51,幾乎相當於隨機猜測,而CLS令牌線性探針的效能介於兩者之間。這一結果揭示了在該令牌規模下,模型可解釋性與檢測效能之間存在明顯權衡。注意力MIL透過端到端學習能夠精準定位病灶,但犧牲了部分可解釋性;原型頭部雖然理論上更易解釋,卻難以泛化至囊腫檢測。

該研究已被MIUA 2026會議接收(海報展示),並將發表於《Frontiers in Medical Technology》。研究結果強調了在醫學影像分析中,針對具體任務選擇合適聚合器的重要性,併為未來將基礎模型應用於三維醫學診斷提供了重要參考。

展開要點與分析

文章情報

工程師進階

要點

  • DINOv3特徵無需領域預訓練即可從自然影像遷移至醫學影像。
  • 門控注意力MIL在腎臟腫瘤和囊腫檢測上優於CLS線性探針和原型頭部。
  • 注意力MIL對腫瘤和囊腫的AUROC分別達到0.74和0.80,注意力高度集中於病灶。
  • 原型頭部在囊腫檢測上失敗(AUROC 0.51),表明可解釋性與效能存在權衡。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。