Search-on-Graph-R1：強化学習を用いた知識グラフ検索のための大規模言語モデルの訓練
Search-on-Graph-R1は、教師あり微調整（SFT）と強化学習（RL）により、知識グラフのナビゲーションをコンパクトな8Bパラメータのモデルに内蔵し、複数のベンチマークでフロンティアLLMの凍結システムを上回る性能を達成。推論時に補助モジュールを必要とせず、訓練時にLLM判定者も不要。
知識グラフ質問応答（KGQA）は、トピックエンティティから複数の関係を経て回答に至るナビゲーションを必要とする。従来の手法は、フロンティアLLMに検索ツールを介してグラフ探索を促すが、その推論コストの高さから実運用が困難であった。本研究で提案されたSearch-on-Graph-R1は、教師あり微調整（SFT）と強化学習（RL）を組み合わせることで、知識グラフのナビゲーション能力をわずか80億パラメータ（8B）のコンパクトなモデルに内蔵する。
核心となるアイデアは「足場付け（Scaffolding）」である。各質問に対応する正解のSPARQLクエリを用いて教師モデルを誘導し、教師モデルは既知の回答経路をリアルタイムのFreebaseサーバ上で探索する。これにより、生成される軌跡は知識グラフに基づいたものとなり、教師モデルが自ら経路を発見する必要がなくなる。
訓練段階では、まずSFTによりモデルが基本的な検索行動を学習し、続いてRLにより検索戦略を最適化する。WebQSP、CWQ、GrailQAの3データセットでの評価では、8BのSearch-on-Graph-R1が比較対象の全ての凍結フロンティアLLMシステムを上回り、特にCWQで最高成績を達成した。推論時に補助モジュールを必要とせず、訓練時にLLM判定者も不要である。
各訓練段階の分離分析により、SFTとRLが相補的な効果をもたらすことが示された。SFTは初期の探索戦略を提供し、RLはより効率的な検索を学習して検索呼び出し回数を削減する。また、本手法は異なるモデルファミリ間で転移可能であり、汎用性が確認された。この成果は、リソース制約のある環境での高性能KGQAシステムの実現に寄与し、実用展開を促進することが期待される。