UMAP(Uniform Manifold Approximation and Projection)是一種流行的非線性降維技術,常用於高維資料的視覺化與探索。然而,大多數使用者僅關注其最終生成的二維散點圖,卻忽略了UMAP在計算過程中內部構建的k近鄰(kNN)圖。這個圖在原始高維空間中編碼了資料的流形結構,尚未受到二維投影的扭曲影響。本文來自Apple機器學習研究團隊,揭示了這一內部表示的未開發價值。
研究者們展示瞭如何將經典的圖演算法應用於UMAP的kNN圖,從而獲得比單純依賴二維嵌入更深層次的洞察。首先,PageRank演算法可以識別出資料集中最具代表性的點,類似於網頁排名中的“重要性”度量。其次,k-core分解能夠將資料點劃分為從密集核心到稀疏外圍的不同層次,有助於發現資料的內部結構。最後,聚類係數可以檢測到高度相似的緊密鄰域,這些鄰域可能對應著資料中的自然聚類。
為了驗證這些方法的有效性,研究者在MNIST和Fashion MNIST資料集上進行了定量與定性評估。結果表明,基於圖的分析不僅計算效率高,而且在樣本選擇(如使用PageRank)和密度聚類(如使用k-core分解)等任務上,與專門設計的演算法(如k-medoids和HDBSCAN)相比,效能相當或具有互補優勢。這為資料科學家提供了一套新的工具,用於在高維空間中探索和理解複雜資料集。
此外,該研究團隊還在其他相關領域取得了進展。在《生成與對比圖表示學習》一文中,他們探索了自監督學習在圖上生成節點和圖嵌入的方法,適用於節點分類、鏈路預測等任務。在《最近鄰語言模型的規則化訓練》中,他們改進了kNN-LM模型,透過引入規則化訓練提升了語言模型在記憶庫輔助下的效能。這些工作共同展示了圖演算法和近鄰方法在機器學習不同分支中的廣泛適用性。