跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

qZACH-ViT:基於遞迴歸因穩定最佳化的量化感知內在解釋

文章摘要

本文提出qZACH-ViT,一種量化感知的緊湊型醫學影像分類器,結合零令牌、無位置ZACH-ViT骨幹網路和遞迴內在補丁級類別證據。同時引入遞迴歸因穩定最佳化(RASO),透過歸一化匹配分類和歸因梯度並移除衝突成分,提高模型可解釋性。在7個MedMNIST資料集上的實驗表明,混合精度INT8 qZACH-ViT在指標上超越FP32基線,模型縮小70%,CPU速度提升1.41–2.39倍,預測一致性達99.975%。RASO顯著降低充分性誤差並增強輸入噪聲穩定性。

來源arXiv Machine Learning作者: Athanasios Angelakis
qZACH-ViT:基於遞迴歸因穩定最佳化的量化感知內在解釋
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在醫學影像分類領域,緊湊型模型的效率和可解釋性往往難以兼顧。近日,一項名為qZACH-ViT的研究提出了一種量化感知的緊湊型醫學影像分類器,透過創新的遞迴歸因穩定最佳化(RASO)技術,在保持高效能的同時顯著提升了模型的可解釋性。該研究由Athanasios Angelakis等人完成,論文已提交至arXiv(編號2607.15421)。

qZACH-ViT是ZACH-ViT骨幹網路的量化感知擴充套件版本。ZACH-ViT本身是一種無需類別令牌(CLS-token)和無位置編碼的視覺Transformer架構,透過遞迴的內在補丁級類別證據實現解釋。qZACH-ViT在此基礎上引入量化感知訓練,使得模型能夠部署為混合精度INT8格式,具體表現為將210個檢查點轉換為包含16個有符號INT8 MatMulInteger投影(INT32累加)的可執行ONNX圖。

研究團隊還提出了遞迴歸因穩定最佳化(RASO),該方法透過歸一化匹配分類梯度和歸因梯度,並移除與分類相沖突的歸因成分,從而提升解釋的穩定性和質量。在實驗中,研究人員在七個MedMNIST資料集上設定了四種受控條件,每類僅使用50張訓練影像和十個固定隨機種子,共計完成280次執行。結果表明,採用Adam最佳化器的混合精度INT8 qZACH-ViT在所有資料集上均優於FP32 ZACH-ViT基線,平均配對增益為0.0313(按資料集特定主要指標計算);而結合RASO後,平均增益進一步達到0.0368。

在模型部署方面,ONNX工具體積比原始檢查點縮小70%,端到端CPU推理速度提升1.41倍(單執行緒)和2.39倍(四執行緒)。在964,920次原模型到INT8模型的測試比較中,預測一致性高達99.9751%,主要指標的平均絕對變化僅為0.000133,最大變化為0.004386。此外,在3,600對匹配的內在歸因圖中,平均餘弦相似度為0.999955,平均秩相關性為0.9944,平均前10%重疊率為0.9692。

值得注意的是,RASO在充分性誤差和輸入噪聲穩定性方面顯著優於使用相同歸因損失的Adam,但並非在所有預測或可解釋人工智慧(XAI)指標上都佔優。這些結果確立了qZACH-ViT作為可部署的緊湊型內在可解釋模型,而RASO則作為一種針對穩定性的最佳化程式。該研究為醫學影像分類的實用化部署提供了新的思路,平衡了效率、可解釋性和準確性。

展開要點與分析

文章情報

工程師進階

要點

  • qZACH-ViT是一種量化感知的緊湊型醫學影像分類器,支援混合精度INT8部署。
  • RASO最佳化透過匹配分類和歸因梯度、去除衝突成分,提升解釋質量。
  • 在7個MedMNIST資料集上,qZACH-ViT在主要指標上平均提升0.0313(Adam)和0.0368(RASO)。
  • 模型縮小70%,CPU速度提升1.41×(單執行緒)和2.39×(四執行緒),預測一致性達99.975%。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。