干预式基础审计：通过谓词替换对LLM思维链进行黑盒前提依赖测试
大型语言模型生成的思维链推理看似逻辑严谨，但实际上可能并未真正依赖其所述的前提。本文提出一种干预式基础审计方法，通过替换单个前提中的目标谓词，重新运行模型，并检查推理步骤的标准化结论是否改变，从而在步骤级别测试前提依赖。在ProntoQA基准测试中，该方法在检测证明树依赖方面的F1分数达到0.806，显著优于自一致性基线。此外，66%的正确解决问题中存在至少一个对齐步骤对直接证明树依赖不敏感，揭示了“答案正确但推理错误”的信号。
大型语言模型（LLM）在生成思维链（CoT）推理时，往往表现出逻辑上的连贯性，但其推理过程是否真正依赖于所陈述的前提，仍是一个悬而未决的问题。近日，Hironao Nakamura 在提交至 arXiv 的一项研究中提出了一种干预式基础审计（Interventional Grounding Audits）方法，旨在以黑盒方式在步骤级别测试前提依赖。该方法通过替换单条前提中的目标谓词为全新符号，重新运行模型，并检查每个推理步骤的标准化结论（即规范谓词形式）是否发生变化，从而判断该步骤是否真正依赖于被替换的前提。
研究团队在 ProntoQA 这一合成多跳演绎推理基准上进行了评估，该基准提供了完整的证明树，明确标注了步骤级的前提依赖关系。实验使用了 GPT-4o 模型处理 50 个 ProntoQA 问题，结果表明，该方法在检测证明树依赖方面取得了 0.806 的 F1 分数，其中在谓词决定性依赖上的 F1 高达 0.885，召回率为 100%。与之对比，自一致性基线方法仅获得 0.343 的 F1 分数，且 95% 自助法置信区间无重叠，显示出新方法的显著优势。
更值得注意的是，研究进一步发现，在模型正确解决的问题中，有 66% 至少存在一个对齐步骤对直接证明树依赖不敏感——即在一致替换下，该步骤的结论未发生变化。所有这些案例均涉及实体引入前提，而这正是基于一致替换的评估方法的一个已知盲点。这一现象揭示了“答案正确但推理错误”的信号，而被动方法无法捕捉此类问题。
研究者强调，干预式基础审计能够识别出那些表面正确但实则存在推理缺陷的情况，为评估 LLM 推理的可信度提供了有力工具。所有审计证书、原始输出和复现脚本均已公开在 GitHub 仓库中。同时，论文也讨论了该方法在超出形式化、可解析基准时的适用范围限制，指出其目前仍主要适用于结构化的推理任务。该研究已被 ICLR 2026 大型语言模型逻辑推理研讨会接收。