情報駆動型イメージングシステムの設計

多くのイメージングシステムは、人間が直接見たり解釈したりできない測定値を生成します。スマートフォンはアルゴリズムで生センサーデータを処理し最終写真を生成し、MRIスキャナーは医師が閲覧する前に再構成を必要とする周波数空間測定値を収集し、自動運転車はニューラルネットワークでカメラやLiDARデータを直接処理します。これらのシステムで重要なのは測定値の見た目ではなく、どれだけ有用な情報を含むかです。AIは人間が解釈できない方法でエンコードされていても、この情報を抽出できます。しかし、情報量を直接評価することはほとんどありません。解像度や信号対雑音比のような従来の指標は品質の個別の側面を別々に評価するため、これらの要因間でトレードオフを行うシステムの比較が困難です。一般的な代替手段であるニューラルネットワークによる再構成や分類は、イメージングハードウェアの品質とアルゴリズムの品質を混同します。

我々は情報量に基づいてイメージングシステムを直接評価・最適化するフレームワークを開発しました。NeurIPS 2025の論文では、この情報指標が4つのイメージング領域でシステム性能を予測し、その最適化が最先端のエンドツーエンド手法に匹敵する設計を、より少ないメモリと計算量で、タスク固有のデコーダー設計なしで実現することを示しました。

相互情報量は、測定値がその生成元の物体に関する不確実性をどれだけ減らすかを定量化します。同じ相互情報量を持つ2つのシステムは、たとえ測定値が全く異なっていても、物体を区別する能力において同等です。この単一の数値は、解像度、ノイズ、サンプリング、その他すべての測定品質に影響する要因の複合効果を捉えます。物体を区別するために必要な特徴を保持するぼやけたノイズの多い画像は、それらの特徴を失った鮮明できれいな画像よりも多くの情報を含むことがあります。情報は従来別々だった品質指標を統合し、ノイズ、解像度、スペクトル感度を独立した要素としてではなく一緒に考慮します。

過去の情報理論のイメージングへの応用は2つの問題に直面しました。第一のアプローチはイメージングシステムを制約のない通信チャネルとして扱い、レンズやセンサーの物理的制限を無視したため、非常に不正確な推定値を生成しました。第二のアプローチはイメージング対象の明示的なモデルを必要とし、一般性を制限しました。我々の方法は測定値から直接情報を推定することで両方の問題を回避します。

高次元変数間の相互情報量の推定は非常に困難です。サンプル要件は次元とともに指数関数的に増加し、推定値は高いバイアスと分散に悩まされます。しかし、イメージングシステムにはこの難しい問題をより単純な部分問題に分解できる特性があります。相互情報量は全測定変動からノイズのみの変動を差し引いたものとして書けます：I(X;Y)=H(Y)−H(Y|X)。イメージングシステムのノイズはよく特徴づけられています（光子ショットノイズはポアソン分布、電子読み出しノイズはガウス分布）。この既知のノイズ物理によりH(Y|X)を直接計算でき、H(Y)だけをデータから学習すればよいことになります。H(Y)については、確率モデル（トランスフォーマーや他の自己回帰モデルなど）を測定データセットに適合させ、モデルはすべての可能な測定値の分布を学習します。我々は効率と精度のトレードオフにわたる3つのモデルをテストしました：定常ガウス過程（最速）、完全ガウス（中間）、自己回帰PixelCNN（最も正確）。このアプローチは真の情報の上限を提供し、モデリング誤差は過大評価のみを引き起こし、過小評価は決してしません。

情報推定は、実際のシステムを制限するものを捉えていればデコーダー性能を予測するはずです。我々はこの関係を4つのイメージング応用でテストしました。情報推定はカラー写真、電波天文学、レンズレスイメージング、顕微鏡の4領域でデコーダー性能を予測し、高い情報量が一貫して下流タスクでより良い結果をもたらしました。

色写真では、デジタルカメラは各画素が特定波長のみを検出するように制限するフィルター配列を使用します。我々は従来のベイヤーパターン、ランダム配置、学習配置の3つのフィルター設計を比較しました。情報推定は、どの設計がより良い色再構成を生むかを正しくランク付けし、ニューラルネットワークによるデモザイキングのランキングと一致しましたが、再構成アルゴリズムは不要でした。

電波天文学では、望遠鏡アレイは世界中のサイトからの信号を組み合わせて高い角度分解能を達成します。最適な望遠鏡位置の選択は、各サイトの値が他のすべてに依存するため計算量的に困難です。情報推定は望遠鏡構成全体の再構成品質を予測し、高価な画像再構成なしでサイト選択を可能にしました。

レンズレスイメージングでは、レンズレスカメラは従来の光学系を光変調マスクに置き換えます。その測定値はシーンと視覚的に類似しません。情報推定は、様々なノイズレベルでのレンズ、マイクロレンズアレイ、ディフューザー設計の再構成精度を予測しました。

顕微鏡では、LEDアレイ顕微鏡はプログラム可能な照明を使用して異なるコントラストモードを生成します。情報推定は、細胞画像からのタンパク質発現予測におけるニューラルネットワークの精度と相関し、高価なタンパク質標識実験なしで評価を可能にしました。

情報推定は既存システムの評価以上のことができます。我々のIDEAL（情報駆動型符号器解析学習）法は、情報推定の勾配上昇を使用してイメージングシステムパラメータを最適化します。エンドツーエンド最適化（標準的な計算イメージング設計アプローチ）はイメージングハードウェアとニューラルネットワークデコーダーを共同で訓練し、デコーダー全体を通じた逆伝播が必要で、メモリ制約や最適化の困難を生じます。IDEALは符号器のみを最適化することでこれらの問題を回避します。色フィルター設計でテストしたところ、ランダムなフィルター配置から開始してIDEALは設計を徐々に改善し、最終結果は情報量と再構成品質の両方でエンドツーエンド最適化に匹敵しました。

情報ベースの評価は、実世界条件下でのイメージングシステムの厳密な評価に新たな可能性を開きます。現在のアプローチは主観的な視覚評価、展開時に利用できない真値データ、または全体的な能力を逃す孤立した指標を必要とします。我々の方法は測定値のみから客観的で統一された指標を提供します。IDEALの計算効率は、以前は扱いにくかったイメージングシステムの設計の可能性を示唆しています。デコーダー逆伝播を回避することで、メモリ要件と訓練の複雑さを低減します。このフレームワークはイメージングを超えて他のセンシング領域に拡張される可能性があります。既知のノイズ特性を持つ決定論的符号化としてモデル化できるあらゆるシステム（電子、生物、化学センサーを含む）が情報ベースの評価と設計の恩恵を受けるでしょう。