基于信息驱动的成像系统设计

许多成像系统产生的测量结果人类无法直接观察或解读。智能手机通过算法处理原始传感器数据生成最终照片，MRI扫描仪采集频域测量值需要重建后才能供医生查看，自动驾驶汽车则直接利用神经网络处理摄像头和LiDAR数据。这些系统的核心不在于测量结果的视觉效果，而在于它们包含的有用信息量。人工智能能够提取这些信息，即使信息编码方式人类无法理解。然而，我们很少直接评估信息含量。传统指标如分辨率和信噪比分别评估质量的单个方面，难以比较在这些因素间权衡的系统。而训练神经网络进行重建或分类的常用方法，则会将成像硬件的质量与算法的质量混为一谈。

我们开发了一个框架，能够直接基于信息含量评估和优化成像系统。在NeurIPS 2025论文中，我们展示了这一信息指标在四个成像领域预测系统性能，并且通过优化该指标获得的系统设计能够匹配最先进的端到端方法，同时减少内存和计算需求，无需针对特定任务设计解码器。

互信息量化了测量结果对物体不确定性的减少程度。两个系统即使测量结果完全不同，只要互信息相同，它们区分物体的能力就等价。这一单一数字综合了分辨率、噪声、采样及其他所有影响测量质量的因素。一张模糊、有噪声但保留了区分物体所需特征的图像，可能比一张清晰、干净但丢失关键特征的图像包含更多信息。信息统一了传统上各自独立的质量指标，将噪声、分辨率和光谱灵敏度综合考虑。

过去将信息论应用于成像的尝试面临两个问题：一是将成像系统视为无约束通信信道，忽略镜头和传感器的物理限制，导致估计严重失准；二是需要显式建模成像物体，限制了通用性。我们的方法通过直接从测量结果估计信息，避免了这两类问题。

高维变量间互信息估计极其困难，样本需求随维度指数增长，且估计偏差和方差很大。然而，成像系统的特性使我们可以将这一难题分解为更简单的子问题。互信息可表示为总测量变异减去噪声变异：I(X;Y)=H(Y)−H(Y|X)。成像系统的噪声特性明确（光子散粒噪声服从泊松分布，电子读出噪声服从高斯分布），因此我们可以直接计算H(Y|X)，仅需从数据中学习H(Y)。我们通过概率模型（如Transformer或其他自回归模型）拟合测量数据集，学习所有可能测量的分布。我们测试了三种模型：平稳高斯过程（最快）、全高斯模型（中等）和自回归PixelCNN（最准确）。该方法提供真实信息的上界，任何建模误差只会高估而不会低估信息。

我们验证了信息估计与解码器性能的关系。在四个成像应用中，信息估计正确预测了解码器性能：更高信息量产生更好的下游任务结果。彩色摄影中，信息估计正确排序了不同滤色器阵列设计的重建质量，且无需重建算法。射电天文学中，信息估计预测了望远镜配置的重建质量，从而无需昂贵图像重建即可选择站点。无透镜成像中，信息估计预测了不同光学设计在各种噪声水平下的重建精度。显微镜领域，信息估计与神经网络预测蛋白质表达的准确性相关，避免了对昂贵蛋白质标记实验的需求。

我们开发的IDEAL（信息驱动编码器分析学习）方法，利用信息估计的梯度上升来优化成像系统参数。与需要联合训练硬件和解码器的端到端优化不同，IDEAL仅优化编码器。在彩色滤光器设计测试中，IDEAL从随机排列起步，逐步改进设计，最终在信息含量和重建质量上与端到端优化相当，同时避免了解码器反向传播带来的内存和优化难题。

基于信息的评估为真实条件下成像系统的严格评估创造了新可能。当前方法依赖主观视觉评估、部署时不可用的真值数据或孤立的指标。我们的方法仅从测量结果中提供客观、统一的指标。IDEAL的计算效率表明，它能够设计以前难以处理的成像系统。该框架可能扩展到其他感知领域，任何可建模为具有已知噪声特性的确定性编码的系统，包括电子、生物和化学传感器，都将受益于基于信息的评估与设计。