知識グラフ質問応答（KGQA）は、トピックエンティティから複数の関係を経て回答に至るナビゲーションを必要とする。従来の手法は、フロンティアLLMに検索ツールを介してグラフ探索を促すが、その推論コストの高さから実運用が困難であった。本研究で提案されたSearch-on-Graph-R1は、教師あり微調整（SFT）と強化学習（RL）を組み合わせることで、知識グラフのナビゲーション能力をわずか80億パラメータ（8B）のコンパクトなモデルに内蔵する。
核心となるアイデアは「足場付け（Scaffolding）」である。各質問に対応する正解のSPARQLクエリを用いて教師モデルを誘導し、教師モデルは既知の回答経路をリアルタイムのFreebaseサーバ上で探索する。これにより、生成される軌跡は知識グラフに基づいたものとなり、教師モデルが自ら経路を発見する必要がなくなる。
訓練段階では、まずSFTによりモデルが基本的な検索行動を学習し、続いてRLにより検索戦略を最適化する。WebQSP、CWQ、GrailQAの3データセットでの評価では、8BのSearch-on-Graph-R1が比較対象の全ての凍結フロンティアLLMシステムを上回り、特にCWQで最高成績を達成した。推論時に補助モジュールを必要とせず、訓練時にLLM判定者も不要である。
各訓練段階の分離分析により、SFTとRLが相補的な効果をもたらすことが示された。SFTは初期の探索戦略を提供し、RLはより効率的な検索を学習して検索呼び出し回数を削減する。また、本手法は異なるモデルファミリ間で転移可能であり、汎用性が確認された。この成果は、リソース制約のある環境での高性能KGQAシステムの実現に寄与し、実用展開を促進することが期待される。