研究人员提出了一种基于几何偏差的无监督预生成可靠性信号，用于在大型语言模型（LLM）生成回答之前预测查询是否可回答。该工作由研究者Yucheng Du完成，已被TrustNLP 2026（ACL研讨会）接收。论文共11页，包含3张图和3张表。
传统的可靠性方法通常需要标记的失败数据或访问模型输出，而几何偏差方法通过测量查询的隐藏状态与一组已知可回答查询的隐藏状态质心的偏离程度来工作，无需任何监督信号。这种方法仅需一次前向传播，即可在生成开始前给出可靠性指示。
实验在三个指令调优模型（Llama 3.1-8B、Qwen 2.5-7B和Mistral-7B-Instruct）上进行，使用三种提示形式：数学、事实和代码。结果显示，几何结构主要编码任务形式而非具体的知识边界。在数学提示中，不可回答输入与可回答质心的偏差显著，ROC-AUC达到0.78-0.84，优于简单的拒绝基线（即模型是否输出拒绝语句），并且与自洽性方法（需要多次采样）的性能相当。该方法还能捕捉模型未明确拒绝但实际不可回答的案例。
然而，在事实提示中，未观察到可靠的几何信号，表明该效应并非普遍适用，而是依赖于任务形式。代码提示则显示出较大的效应量但方差较高，暗示可能存在超越数学形式的泛化。进一步的分析表明，代码领域的信号不如数学领域稳定。
层分析揭示，该信号出现在模型的早期层（约前1/3层），并逐渐向输出层衰减，表明可回答性相关的几何结构在生成过程的早期阶段就已建立。这为在生成过程中间层实施干预提供了可能。
这些发现表明，几何偏差可作为轻量级的预生成可靠性信号，在具有正式可回答性约束的结构化领域（如数学推理）中表现可靠，但它在非结构化或开放性领域中的泛化能力有限。该工作为提升LLM的可靠性和透明性提供了一种无需额外训练或标注的高效方法，同时明确了该方法适用的边界条件。