來自伊利諾伊大學厄巴納-香檳分校等機構的研究人員最近發表了一篇論文,剖析了深度視覺在科學領域失敗的原因。該研究指出,將深度學習(DL)直接應用於科學成像模態時,可能會產生嚴重的失敗,甚至引發人工智慧安全擔憂。
與日常生活中的RGB影像不同,科學成像中的畫素編碼了精確的物理化學性質,並且可能包含成千上萬個通道。儘管深度學習在處理人類中心的RGB感知任務方面表現良好,但在科學成像領域的有效性仍然不確定。
研究團隊以病理學為例,比較了染色組織的RGB影像與紅外(IR)成像的生物化學定量圖譜。令人驚訝的是,儘管紅外影像資訊更豐富,但基於紅外資料訓練的深度學習模型表現更差,出現了所謂的“降維”現象:模型僅使用一維預測,其大部分表徵能力未被利用。
深入分析發現,紅外資料的先驗資訊與深度學習的“簡單性偏好”發生了不良互動,導致模型崩潰。更嚴重的是,即使在最先進的魯棒化策略下,這一問題依然存在,因為這些策略主要針對RGB影像設計,繼承了相同的先驗-偏好不匹配。
該工作為理解通用深度學習在科學中的侷限性建立了框架,並呼籲研究模態特定的失敗模式,以指導開發專門的、安全的人工智慧演算法。研究者強調,科學成像的獨特性質要求深度學習架構必須針對特定模態進行調整,而非簡單套用現有工具。這項研究於2026年5月5日提交至arXiv,作者包括Ji-Hun Oh、Dou Hoon Kwark、Kianoush Falahkheirkhah、Kevin Yeh、John Cheville、Volodymyr Kindratenko和Rohit Bhargava。論文指出,即使採用當前最先進的魯棒化策略,問題依然存在,因為這些策略主要針對RGB影像設計和驗證,繼承了一樣的先驗-偏好不匹配。這一發現對科學成像中人工智慧的安全應用具有重要警示意義。