大型语言模型（LLM）在程序合成任务上展现出强大能力，但在需要大规模组合搜索的困难实例上仍然效率低下且不可靠。针对这一痛点，来自卡内基梅隆大学的研究团队提出了ReaComp方法，通过将LLM的推理轨迹编译为可重用的符号求解器，在保持高性能的同时大幅降低推理成本。
ReaComp的核心机制如下：给定少量由LLM生成的推理轨迹，研究团队利用编码代理（coding agents）将其编译为针对受限领域特定语言（DSL）的符号程序合成器。这些合成器在测试时完全不需要调用LLM，从而实现了零推理成本。实验结果表明，符号求解器集成在PBEBench-Lite上达到了91.3%的准确率，在更难的PBEBench-Hard上达到了84.7%的准确率。相比之下，即使使用测试时扩展（test-time scaling）的LLM，在PBEBench-Hard上也只有68.4%的准确率，ReaComp以零LLM推理成本取得了16.3个百分点的显著提升。
除了作为独立系统表现出色，ReaComp的符号求解器还能与LLM搜索互补。在PBEBench-Hard上，将符号求解器与LLM搜索结合，准确率从68.4%提升至85.8%，同时token使用量减少了78%；在SLR-Bench的硬层级上，神经符号混合设置将准确率从34.4%提升至58.0%。这种互补性意味着符号求解器可以处理LLM不太擅长的搜索密集型任务，从而在整体上实现更高效的推理。
与直接使用编码代理作为每个实例的求解器相比，通过ReaComp诱导出的符号求解器在帕累托效率上显著更优。它们通过一次性构建成本摊销了大量零token执行的优势，即只需花费少量计算资源编译一次，之后便可以无限次免费使用。
更令人印象深刻的是，这些符号求解器展现出了跨领域迁移能力。在真实的历史语言学任务——预测自然语言数据中的音变——中，大多数求解器实现了零样本迁移，集成后达到80.1%的准确率，并且恢复出了一些合理的语言学规则。这证明了ReaComp编译出的符号求解器不仅限于程序合成，还可以应用于其他推理密集型领域。
研究团队已将代码和数据公开，以促进可重复性研究。ReaComp的提出为构建高效、可重用的AI推理系统提供了一条新路径，有望在模型选型、推理成本、产品能力和评测基准等多个方面产生影响。未来，该技术可能进一步扩展到更多领域，成为连接神经网络与符号推理的桥梁。