基於信息驅動的成像系統設計

許多成像系統產生的測量結果人類無法直接觀察或解讀。智能手機通過算法處理原始傳感器數據生成最終照片，MRI掃描儀採集頻域測量值需要重建後才能供醫生查看，自動駕駛汽車則直接利用神經網絡處理攝像頭和LiDAR數據。這些系統的核心不在於測量結果的視覺效果，而在於它們包含的有用信息量。人工智能能夠提取這些信息，即使信息編碼方式人類無法理解。然而，我們很少直接評估信息含量。傳統指標如分辨率和信噪比分別評估質量的單個方面，難以比較在這些因素間權衡的系統。而訓練神經網絡進行重建或分類的常用方法，則會將成像硬件的質量與算法的質量混為一談。

我們開發了一個框架，能夠直接基於信息含量評估和優化成像系統。在NeurIPS 2025論文中，我們展示了這一信息指標在四個成像領域預測系統性能，並且通過優化該指標獲得的系統設計能夠匹配最先進的端到端方法，同時減少內存和計算需求，無需針對特定任務設計解碼器。

互信息量化了測量結果對物體不確定性的減少程度。兩個系統即使測量結果完全不同，只要互信息相同，它們區分物體的能力就等價。這一單一數字綜合了分辨率、噪聲、採樣及其他所有影響測量質量的因素。一張模糊、有噪聲但保留了區分物體所需特徵的圖像，可能比一張清晰、乾淨但丟失關鍵特徵的圖像包含更多信息。信息統一了傳統上各自獨立的質量指標，將噪聲、分辨率和光譜靈敏度綜合考慮。

過去將信息論應用於成像的嘗試面臨兩個問題：一是將成像系統視為無約束通信信道，忽略鏡頭和傳感器的物理限制，導致估計嚴重失準；二是需要顯式建模成像物體，限制了通用性。我們的方法通過直接從測量結果估計信息，避免了這兩類問題。

高維變量間互信息估計極其困難，樣本需求隨維度指數增長，且估計偏差和方差很大。然而，成像系統的特性使我們可以將這一難題分解為更簡單的子問題。互信息可表示為總測量變異減去噪聲變異：I(X;Y)=H(Y)−H(Y|X)。成像系統的噪聲特性明確（光子散粒噪聲服從泊松分佈，電子讀出噪聲服從高斯分佈），因此我們可以直接計算H(Y|X)，僅需從數據中學習H(Y)。我們通過概率模型（如Transformer或其他自迴歸模型）擬合測量數據集，學習所有可能測量的分佈。我們測試了三種模型：平穩高斯過程（最快）、全高斯模型（中等）和自迴歸PixelCNN（最準確）。該方法提供真實信息的上界，任何建模誤差只會高估而不會低估信息。

我們驗證了信息估計與解碼器性能的關係。在四個成像應用中，信息估計正確預測瞭解碼器性能：更高信息量產生更好的下游任務結果。彩色攝影中，信息估計正確排序了不同濾色器陣列設計的重建質量，且無需重建算法。射電天文學中，信息估計預測瞭望遠鏡配置的重建質量，從而無需昂貴圖像重建即可選擇站點。無透鏡成像中，信息估計預測了不同光學設計在各種噪聲水平下的重建精度。顯微鏡領域，信息估計與神經網絡預測蛋白質表達的準確性相關，避免了對昂貴蛋白質標記實驗的需求。

我們開發的IDEAL（信息驅動編碼器分析學習）方法，利用信息估計的梯度上升來優化成像系統參數。與需要聯合訓練硬件和解碼器的端到端優化不同，IDEAL僅優化編碼器。在彩色濾光器設計測試中，IDEAL從隨機排列起步，逐步改進設計，最終在信息含量和重建質量上與端到端優化相當，同時避免瞭解碼器反向傳播帶來的內存和優化難題。

基於信息的評估為真實條件下成像系統的嚴格評估創造了新可能。當前方法依賴主觀視覺評估、部署時不可用的真值數據或孤立的指標。我們的方法僅從測量結果中提供客觀、統一的指標。IDEAL的計算效率表明，它能夠設計以前難以處理的成像系統。該框架可能擴展到其他感知領域，任何可建模為具有已知噪聲特性的確定性編碼的系統，包括電子、生物和化學傳感器，都將受益於基於信息的評估與設計。