AI News HubLIVE
站内改写1 分钟阅读

广义无分布半监督学习:风险重写方法

本文提出一种广义无分布半监督学习框架,通过风险重写构建无偏风险估计器,适用于多类分类,并证明其方差优于PNU学习,实际方法在基准测试中表现匹配或超越现有方法。

来源arXiv Machine Learning作者: Yushi Hirose, Hiroo Irobe, Takafumi Kanamori

半监督学习(SSL)是机器学习的核心范式之一,旨在利用少量标注数据和大量未标注数据来提升模型的泛化能力。传统的半监督学习方法通常依赖于数据分布假设,例如流形假设或聚类假设,然而当这些假设在实际数据中不成立时,方法的性能会显著下降。PNU学习作为一种基于风险重写的无分布方法,虽然不依赖于分布假设,但它仅限于二分类问题,而且其方差的最优性尚未得到严格的理论证明。

针对这些局限性,来自日本的研究团队在近期被UAI 2026接收的论文中提出了一种广义无分布半监督学习框架。该框架的核心思想是通过线性组合多个分量风险来构造无偏的风险估计器,从而不仅涵盖了PNU学习作为特例,而且成功将其扩展到了多类分类场景。研究者推导了该估计器能够达到的最小方差,并证明了在面对非对称损失函数时,所提出的估计器可以比PNU学习获得更低的方差。这一理论突破为无分布SSL提供了更坚实的数学基础。

进一步,该团队建立了泛化误差界,直接揭示了方差降低如何转化为学习性能的提升。基于这些理论洞见,他们设计了两种实用的半监督学习算法。这两种方法在标准的二分类和多分类基准数据集上进行了广泛测试,实验结果表明,它们不仅能够匹配现有最先进SSL方法的性能,在多个场景下甚至取得了超越性结果。所有实验均使用了公开数据集,并提供了详尽的超参数设置和代码复现说明。

这项工作的意义在于,它为半监督学习提供了一种不依赖分布假设的通用解决方案,理论上保证了在更广泛的应用场景中具有鲁棒性。论文已被人工智能领域顶级会议UAI 2026录用,并计划于2026年7月11日提交至arXiv。研究代码和预印本已在arXiv上公开,社区有望在近期看到更多的后续改进和应用扩展。该工作对推动无分布学习理论的发展以及降低半监督学习在实际部署中的调参成本具有重要价值。