最近、arXivに投稿された論文「Graph Transductive Sharpening: Leveraging Unlabeled Predictions in Node Classification」は、半教師ありノード分類タスクに新たな訓練目的の改善アプローチを提案しています。Brown Zazら5人の著者によるこの研究は、「伝導シャープニング」(Transductive Sharpening, TS)と呼ばれる手法を導入し、訓練中に全てのノード(特にラベルを持たないノード)から生成される予測から追加の信号を抽出します。
半教師あり学習では、従来の目的関数(例えば交差エントロピー損失)はラベル付きノードの予測精度のみに注目し、ラベルなしノードの予測を完全に無視します。著者らは、たとえ真のラベルがなくても、これらの予測自体が訓練に有益な情報を含む可能性があると指摘します。交差エントロピー損失を分解すると、ラベルに依存するアライメント項とラベルに依存しないエントロピー項に分けられます。このことから、ラベルがない場合に信号を抽出する自然な方法として、予測確信度(エントロピーの逆数)を使用することを提案します。
この洞察に基づき、TS手法は損失レベルで修正を行います。ラベルなしノードに対しては予測エントロピーを最小化し(モデルにより確定的な予測を促す)、ラベルありノードに対してはバランスを取る項を加えて過度な確信やラベル情報の無視を防ぎます。この修正はバックボーンアーキテクチャの変更を一切必要とせず、損失関数の調整のみで機能します。コードはGitHubで公開されています。
研究チームは、引用ネットワークやソーシャルネットワークを含む複数のノード分類ベンチマークデータセットで実験を行いました。結果は、TS手法が既存のグラフニューラルネットワークアーキテクチャを変更することなく、一貫して分類精度を向上させることを示しています。この成果は、半教師ありグラフ学習の分野に新たな視点を提供し、モデル構造だけでなく訓練目的自体にも最適化の余地があることを示唆しています。論文は19ページ、4図、17表から構成され、詳細な実験結果とアブレーション研究が含まれています。