大規模言語モデル（LLM）はプログラム合成タスクにおいて高い能力を示すものの、大規模な組み合わせ探索を必要とする困難なインスタンスでは非効率で信頼性に欠けるという課題があります。この問題に対処するため、カーネギーメロン大学の研究チームはReaCompという手法を提案しました。これは、LLMの推論トレースを再利用可能なシンボリックソルバーにコンパイルすることで、高い性能を維持しつつ推論コストを大幅に削減するものです。
ReaCompの中心的なアイデアは、LLMが生成した少数の推論トレースをコーディングエージェントを用いて、制約付きドメイン固有言語（DSL）上のシンボリックプログラム合成器にコンパイルすることです。これらの合成器はテスト時にLLM呼び出しを一切必要とせず、推論コストがゼロとなります。実験結果によると、シンボリックソルバーのアンサンブルはPBEBench-Liteで91.3%、PBEBench-Hardで84.7%の精度を達成しました。比較対象として、テスト時拡張（test-time scaling）を行うLLMはPBEBench-Hardで68.4%の精度だったのに対し、ReaCompはLLM推論コストゼロで16.3ポイントも高い精度を示しました。
さらに、ReaCompのソルバーはLLM検索と相補的に動作します。PBEBench-Hardでは、ソルバーとLLM検索を組み合わせることで精度が68.4%から85.8%に向上し、トークン使用量は78%削減されました。SLR-Benchのハード層では、ニューロシンボリックハイブリッド設定により精度が34.4%から58.0%に向上しました。この相補性は、シンボリックソルバーがLLMの苦手とする探索密集型タスクを処理し、全体としてより効率的な推論を実現することを意味します。
インスタンスごとにコーディングエージェントを直接使用する場合と比較して、誘導されたソルバーはパレート効率が大幅に優れています。一度コンパイルするための小さな計算コストを、多数のゼロトークン実行で償却します。
特に注目すべきは、これらのシンボリックソルバーがドメインを超えて転移できることです。実際の歴史言語学タスク（自然言語データにおける音変化の予測）において、ほとんどのソルバーがゼロショット転移し、アンサンブルで80.1%の精度を達成し、妥当な言語学ルールを復元しました。これは、ReaCompがプログラム合成以外の推論密集型分野にも応用可能であることを示しています。
研究チームは再現性のためにコードとデータを公開しています。ReaCompは、効率的で再利用可能なAI推論システムを構築するための新しい道を開き、モデル選定、推論コスト、プロダクト能力、評価基準に影響を与える可能性があります。今後、さらに多くの分野に拡張され、ニューラルネットワークとシンボリック推論を結ぶ架け橋となることが期待されます。