教師あり学習の分野では、表現学習はしばしば「予測に関連する入力情報を保持すること」と説明される。しかし、固定された教師あり決定問題にとって「関連する」とは具体的に何を意味するのだろうか。arXivに新たに投稿された論文「Bayes-Sufficient Representations in Supervised Learning」（著者：Vasileios Sevetlidis）は、この問いに形式的な答えを与えている。
論文の中心的な定義は次のとおりである。与えられた同時分布と損失関数に対して、ある表現が何らかの予測ヘッドを用いてベイズ最適行動規則を実装できるならば、その表現はベイズ十分であると呼ばれる。この定義の要点は、目的となる情報が固定ではなく損失関数に依存するという点にある。つまり、損失関数が異なれば、必要とされる十分な情報も異なるのである。
ほとんど確実に一意なベイズ行動が存在する場合、論文は「ベイズ商」という概念を導入する。ベイズ商は、同じベイズ最適行動を必要とする入力を同一視する。表現がこの商を細分するとき、その表現は十分であり、商と情報的に等価であるとき、ベイズ最小であるという。これにより、表現に保持される情報が「ちょうど十分」であるかどうかを測る理論的な道具が提供される。
この枠組みは性質誘導（property elicitation）理論と自然に結びつく。性質誘導とは、どのような統計量がある損失関数の最小化によって得られるかを研究する分野である。例えば、0-1損失はベイズクラスの情報を必要とし、二乗損失は条件付き平均を、二値予測におけるBrier損失は条件付き確率を、対数損失や狭義に適切なスコアリング規則は予測分布全体を必要とする。この関連性は、ベイズ十分性が異なる損失下での情報要求を統一的に特徴づけられることを示している。
理論的な区別を説明するため、論文は三種類の実験を提示する。制御された有限実験では、人工的に構成した分布と損失関数を用いて、十分性、最小性、非必須情報の保持の間の差異を明確に示す。学習されたニューラルボトルネック実験では、ニューラルネットワークのボトルネック層で情報容量を制限し、異なる損失の下で学習される表現がどのように変化するかを観察する。さらに、実際のiNaturalist分類精緻化データを用いた実験により、理論が現実のタスクに適用可能であることを検証している。これらの実験は、固定された教師あり問題に対して、分布と損失がベイズ行動を決定し、ベイズ行動がベイズ商を決定し、ベイズ商がベイズ最適予測に必要な最小情報を決定することを共に示している。
本論文は機械学習（cs.LG）および人工知能（cs.AI）に分類され、ACM分類にはI.2.6、I.2.7、G.3、F.1.1が含まれる。論文は2026年6月2日に提出され、PDF、実験的なHTML、TeXソースなど複数の形式で提供されている。この研究は、教師あり学習における表現の情報内容を理解するための厳密なベイズ決定理論の視点を提供し、表現学習、損失関数設計、解釈可能性研究に示唆を与える可能性がある。