在监督学习领域，表征学习通常被描述为保留输入中与预测相关的信息。然而，对于固定的监督决策问题，“相关”究竟意味着什么？arXiv 上新提交的一篇论文《Bayes-Sufficient Representations in Supervised Learning》由 Vasileios Sevetlidis 撰写，对这一问题给出了形式化的回答。
论文的核心定义是：给定联合分布和损失函数，如果一个表征能够通过某个预测头实现贝叶斯最优行动规则，那么该表征就是贝叶斯充分的。这一定义的关键在于，目标信息不是固定的，而是依赖于损失函数。换句话说，对于不同的损失函数，所需要的充分信息也不同。
在几乎必然存在唯一贝叶斯行动的情形下，论文引入了“贝叶斯商”这一概念。贝叶斯商将所有需要相同贝叶斯最优行动的输入归为一类。一个表征如果能够细化这个商（即把每个商类进一步细分），那么它就是充分的；如果它与商在信息上等价，那么它就是贝叶斯最小的。这为衡量表征中保留的信息是否“恰好足够”提供了理论工具。
该框架与性质启发（property elicitation）理论自然衔接。性质启发研究的是，什么样的统计量能够通过最小化某个损失函数来得到。例如，0-1损失要求表征包含贝叶斯类别信息；平方损失要求包含条件均值；在二分类预测中，Brier损失要求包含条件概率；而对数损失或严格适当评分规则则要求包含完整的预测分布。这一联系表明，贝叶斯充分性可以统一地刻画不同损失下的信息需求。
为了说明理论区分，论文展示了三类实验。受控有限实验通过人工构造的分布和损失函数，清晰地展示了充分性、最小性以及保留非必需信息之间的差异。学习到的神经瓶颈实验则训练神经网络模型，在瓶颈层限制信息容量，观察不同损失下学习到的表征如何变化。此外，论文还在真实的 iNaturalist 分类细化数据上进行了实验，验证了理论在现实任务中的适用性。这些实验共同表明，对于固定的监督问题，分布和损失共同决定贝叶斯行动，贝叶斯行动决定贝叶斯商，而贝叶斯商决定了实现贝叶斯最优预测所需的最小信息。
该论文被归类为机器学习（cs.LG）和人工智能（cs.AI），ACM 分类包括 I.2.6、I.2.7、G.3 和 F.1.1。论文于2026年6月2日提交，提供了PDF、实验性HTML和TeX源码等多种格式。这项工作为理解监督学习中表征的信息内容提供了一个严谨的贝叶斯决策论视角，并可能对表征学习、损失函数设计和可解释性研究产生启发。