知識グラフ埋め込み(KGE)モデルは単一ホップのリンク予測に優れるが、訓練中に関係チェーンが一度も出現しなかった多ホップ質問、すなわちゼロショット組合せクエリを扱うメカニズムを持たない。循環畳み込みによってシンボルをバインド・アンバインドするホログラフィック縮約表現(HRR)は、バインドが近似的に可逆で結合的であるため、理論的に魅力的な候補である。新論文はこの約束が実際に成立するかを検証した。
研究ではFB15k-237上で5つのシードを用い、実数値HRRと位相のみのフーリエHRR(FHRR)の2変種を、それぞれ現代的なHopfieldクリーンアップと組み合わせて評価した。主な知見は4点にまとめられる。
第一に、両者は競争力のある単一ホップ検索器である。HRRのフィルタ済みMRRは0.358±0.002、FHRRは0.350±0.021であった。
第二に、どちらもゼロショット組合せ推論を実現できない。すべてのクリーンアップ温度で精度はランダム水準にとどまった。
第三に、論文の主要な貢献として、著者らは失敗をメカニズム的に局在化した。ホップ1プローブでは、記憶が正しい中間エンティティを高い忠実度で回復する(HRRのMRRは0.896±0.002)。しかし中間エンティティが正しいと検証されても組合せは失敗する。第二のプローブがその理由を示す。正解の第2ホップ事実を組合せを完全に迂回して独立した原子クエリとして提示しても、平均原子精度のわずか0.26〜0.48倍しか回復できず、この比率は関係のファンアウト全体で一様であった。
この結果は、ボトルネックがバインド・アンバインド代数やクリーンアップではなく、重畳記憶の容量と干渉効果にあることを示す。組合せチェーンが経由する事実自体が重畳記憶にとって回復しにくく、その困難は単一ホップの段階ですでに存在している。
第四に、著者らは補題4.1として、FHRRのsoftmaxクリーンアップが位相等変性を持たないことを証明した。これはホップ1自体が誤る少数のチェーンにおいて主要な失敗を悪化させる。
論文の結論は明確である。ゼロショット組合せ推論を実現するには、クリーンアップを再設計するだけではなく、重畳条件下での検索容量を改善することが不可欠だ。本論文は15ページ、図5点、表5点で構成され、コードも公開されている。