UMAP(Uniform Manifold Approximation and Projection)是一种流行的非线性降维技术,常用于高维数据的可视化与探索。然而,大多数用户仅关注其最终生成的二维散点图,却忽略了UMAP在计算过程中内部构建的k近邻(kNN)图。这个图在原始高维空间中编码了数据的流形结构,尚未受到二维投影的扭曲影响。本文来自Apple机器学习研究团队,揭示了这一内部表示的未开发价值。
研究者们展示了如何将经典的图算法应用于UMAP的kNN图,从而获得比单纯依赖二维嵌入更深层次的洞察。首先,PageRank算法可以识别出数据集中最具代表性的点,类似于网页排名中的“重要性”度量。其次,k-core分解能够将数据点划分为从密集核心到稀疏外围的不同层次,有助于发现数据的内部结构。最后,聚类系数可以检测到高度相似的紧密邻域,这些邻域可能对应着数据中的自然聚类。
为了验证这些方法的有效性,研究者在MNIST和Fashion MNIST数据集上进行了定量与定性评估。结果表明,基于图的分析不仅计算效率高,而且在样本选择(如使用PageRank)和密度聚类(如使用k-core分解)等任务上,与专门设计的算法(如k-medoids和HDBSCAN)相比,性能相当或具有互补优势。这为数据科学家提供了一套新的工具,用于在高维空间中探索和理解复杂数据集。
此外,该研究团队还在其他相关领域取得了进展。在《生成与对比图表示学习》一文中,他们探索了自监督学习在图上生成节点和图嵌入的方法,适用于节点分类、链路预测等任务。在《最近邻语言模型的规则化训练》中,他们改进了kNN-LM模型,通过引入规则化训练提升了语言模型在记忆库辅助下的性能。这些工作共同展示了图算法和近邻方法在机器学习不同分支中的广泛适用性。