基於資訊驅動的成像系統設計

許多成像系統產生的測量結果人類無法直接觀察或解讀。智慧手機透過演算法處理原始感測器資料生成最終照片，MRI掃描器採集頻域測量值需要重建後才能供醫生檢視，自動駕駛汽車則直接利用神經網路處理攝像頭和LiDAR資料。這些系統的核心不在於測量結果的視覺效果，而在於它們包含的有用資訊量。人工智慧能夠提取這些資訊，即使資訊編碼方式人類無法理解。然而，我們很少直接評估資訊含量。傳統指標如解析度和訊雜比分別評估質量的單個方面，難以比較在這些因素間權衡的系統。而訓練神經網路進行重建或分類的常用方法，則會將成像硬體的質量與演算法的質量混為一談。

我們開發了一個框架，能夠直接基於資訊含量評估和最佳化成像系統。在NeurIPS 2025論文中，我們展示了這一資訊指標在四個成像領域預測系統效能，並且透過最佳化該指標獲得的系統設計能夠匹配最先進的端到端方法，同時減少記憶體和計算需求，無需針對特定任務設計解碼器。

互資訊量化了測量結果對物體不確定性的減少程度。兩個系統即使測量結果完全不同，只要互資訊相同，它們區分物體的能力就等價。這一單一數字綜合了解析度、噪聲、取樣及其他所有影響測量質量的因素。一張模糊、有噪聲但保留了區分物體所需特徵的影像，可能比一張清晰、乾淨但丟失關鍵特徵的影像包含更多資訊。資訊統一了傳統上各自獨立的質量指標，將噪聲、解析度和光譜靈敏度綜合考慮。

過去將資訊理論應用於成像的嘗試面臨兩個問題：一是將成像系統視為無約束通訊通道，忽略鏡頭和感測器的物理限制，導致估計嚴重失準；二是需要顯式建模成像物體，限制了通用性。我們的方法透過直接從測量結果估計資訊，避免了這兩類問題。

高維變數間互資訊估計極其困難，樣本需求隨維度指數增長，且估計偏差和方差很大。然而，成像系統的特性使我們可以將這一難題分解為更簡單的子問題。互資訊可表示為總測量變異減去噪聲變異：I(X;Y)=H(Y)−H(Y|X)。成像系統的噪聲特性明確（光子散粒噪聲服從泊松分佈，電子讀出噪聲服從高斯分佈），因此我們可以直接計算H(Y|X)，僅需從資料中學習H(Y)。我們透過機率模型（如Transformer或其他自迴歸模型）擬合測量資料集，學習所有可能測量的分佈。我們測試了三種模型：平穩高斯過程（最快）、全高斯模型（中等）和自迴歸PixelCNN（最準確）。該方法提供真實資訊的上界，任何建模誤差只會高估而不會低估資訊。

我們驗證了資訊估計與解碼器效能的關係。在四個成像應用中，資訊估計正確預測瞭解碼器效能：更高資訊量產生更好的下游任務結果。彩色攝影中，資訊估計正確排序了不同濾色器陣列設計的重建質量，且無需重建演算法。射電天文學中，資訊估計預測瞭望遠鏡配置的重建質量，從而無需昂貴影像重建即可選擇站點。無透鏡成像中，資訊估計預測了不同光學設計在各種噪聲水平下的重建精度。顯微鏡領域，資訊估計與神經網路預測蛋白質表達的準確性相關，避免了對昂貴蛋白質標記實驗的需求。

我們開發的IDEAL（資訊驅動編碼器分析學習）方法，利用資訊估計的梯度上升來最佳化成像系統引數。與需要聯合訓練硬體和解碼器的端到端最佳化不同，IDEAL僅最佳化編碼器。在彩色濾光器設計測試中，IDEAL從隨機排列起步，逐步改進設計，最終在資訊含量和重建質量上與端到端最佳化相當，同時避免瞭解碼器反向傳播帶來的記憶體和最佳化難題。

基於資訊的評估為真實條件下成像系統的嚴格評估創造了新可能。當前方法依賴主觀視覺評估、部署時不可用的真值資料或孤立的指標。我們的方法僅從測量結果中提供客觀、統一的指標。IDEAL的計算效率表明，它能夠設計以前難以處理的成像系統。該框架可能擴充套件到其他感知領域，任何可建模為具有已知噪聲特性的確定性編碼的系統，包括電子、生物和化學感測器，都將受益於基於資訊的評估與設計。