大型语言模型（LLM）提示（prompting）已被广泛用于以自然语言描述的任务，但这种做法并不可靠：一段提示可能在少数测试用例上表现良好，却在真正部署时失败。针对这一问题，一篇于2026年5月15日提交到arXiv的论文《Predicting Performance of Symbolic and Prompt Programs with Examples》研究了“性能预测”问题。该论文由Chengqi Zheng等共6位作者完成，编号为arXiv:2605.21515v1，属于机器学习（cs.LG）类别，并交叉列入人工智能（cs.AI）。
论文所要解决的问题是：给定一个程序——它既可以是符号程序（例如Python代码），也可以是在LLM上执行的提示——再给出少量同领域的示例，要求预测该程序在同一领域中未曾见过的新任务上的表现。作者采用了一个简洁的“抛硬币”模型，把每一次程序执行的通过或失败视为一个伯努利随机变量，其成功概率就是该程序未知的真实性能。在这个模型下，性能预测完全取决于两点：一是测试用例上观察到的实际执行结果，二是关于性能的先验分布。
为了获得这种先验，研究团队从涵盖多种程序和任务的语料库中整理出经验性的性能先验。他们由此发现了一个关键差异：符号程序（如Python）的性能分布呈现“全有或全无”的特征，也就是说程序要么几乎总是正确，要么几乎总是错误；而提示程序的先验则较为弥散，存在大量“接近正确”的程序。这一差异正好解释了为什么少数几个通过的测试就足以认证符号程序的可靠性，却无法同样认证提示程序——因为提示程序的失败风险分布更宽，少量测试样本不足以覆盖其潜在的错误模式。
基于上述洞察，作者提出了RAP（Retrieved Approximate Prior，检索近似先验）方法。RAP会从已有语料库中检索相似的任务和提示程序，据此构造一个代理先验，再用它来预测目标程序的性能。论文报告称，RAP取得了扎实的表现。该论文的提交时间为2026年5月15日10:58:01 UTC，全文约2,847 KB，提供PDF、实验性HTML以及TeX源码等访问形式，DOI为10.48550/arXiv.2605.21515，由DataCite颁发。
从实践意义上看，这项工作针对的是LLM应用落地中的一个核心痛点：在开发阶段用少量样例验证提示往往给人虚假的安全感。论文通过把符号程序与提示程序的性能先验区分开来，为“需要多少测试、测试结果能说明什么”提供了统计上的解释框架，并通过检索相似任务来弥补提示程序先验弥散带来的不确定性。这为在部署前更可靠地评估提示程序、降低上线后失败的风险提供了新的思路。