UMAP(Uniform Manifold Approximation and Projection)は、高次元データの可視化や探索に広く用いられる非線形次元削減手法です。しかし、多くのユーザーは最終的な2次元埋め込みにのみ注目し、UMAPが内部で構築するk近傍(kNN)グラフを見逃しています。このグラフは、2次元投影による歪みを受ける前の、元の高次元空間におけるデータ多様体を符号化しています。Appleの機械学習研究チームによる本論文は、この内部表現の未活用の可能性を明らかにしています。
研究者らは、UMAPのkNNグラフに標準的なグラフアルゴリズムを適用することで、2次元埋め込みだけでは得られない深い洞察を得られることを示しました。まず、PageRankアルゴリズムはデータセット内で最も代表的な点を特定します。次に、k-core分解はデータ点を密なコアから疎な周辺まで層状に分け、内部構造を明らかにします。最後に、クラスタリング係数は類似性の高い密な近傍を検出し、自然なクラスタに対応する可能性があります。
これらの手法の有効性を検証するため、MNISTおよびFashion MNISTデータセットで定量的・定性的評価が行われました。結果として、グラフベースの分析は計算効率が高いだけでなく、代表点選択(PageRank)や密度ベースのクラスタリング(k-core分解)などのタスクにおいて、専用アルゴリズム(k-medoids、HDBSCANなど)と同等か補完的な性能を示しました。これにより、データサイエンティストは高次元空間での複雑なデータセットを探索・理解するための新しいツールを手に入れることができます。
さらに、同研究チームは他の関連分野でも進展を見せています。「生成的・対比的グラフ表現学習」では、ラベルなしデータからグラフのノードやグラフ全体の埋め込みを自己教師あり学習で生成する手法を探求しています。「最近傍言語モデルの正則化訓練」では、kNN-LMモデルを改善し、メモリバンクを活用した言語モデルの性能を向上させています。これらの研究は、グラフアルゴリズムと近傍手法が機械学習のさまざまな分野で広く応用可能であることを示しています。