大規模言語モデル（LLM）のプロンプトは、自然言語で記述されたタスクに広く利用されているが、その信頼性には課題が残る。少数のテストケースでは成功しても、実運用時に失敗する可能性がある。arXivに投稿された論文「Predicting Performance of Symbolic and Prompt Programs with Examples」は、この問題に対処するため、少数のドメイン内例を用いて、記号プログラム（Pythonなど）またはLLM上で実行されるプロンプトプログラムの、同じドメイン内の未見タスクに対する性能を予測する枠組みを提案している。著者はChengqi Zheng氏ら6名で、2026年5月15日に提出された。
本研究の中心的なアイデアは、各プログラムの実行をベルヌーイ確率変数、すなわち単純なコイントスモデルとして扱うことである。このモデルでは、プログラムの成功確率が未知の性能そのものであり、性能予測は次の2つに完全に依存する。1つはテストケース上で観測された実行結果（成功または失敗）、もう1つは性能に関する事前分布である。著者らは多様なプログラムとタスクのコーパスから経験的な性能事前分布を構築し、重要な違いを明らかにした。記号プログラムの性能はオール・オア・ナッシング（ほぼ完全に正しいか、完全に間違っているか）であるのに対し、プロンプトプログラムは拡散的な事前分布を持ち、多数のほぼ正しいプログラムが存在する。この違いが、少数のテスト通過が記号プログラムを保証できるのに、プロンプトプログラムを保証できない理由を説明する。
この知見に基づき、著者らはRAP（Retrieved Approximate Prior）を開発した。RAPは既存のコーパスから類似したタスクとプロンプトプログラムを検索し、それらを用いて代理事前分布を構築する。そして、対象プログラムの少数のテスト結果と組み合わせてベイズ更新を行い、未見タスクでの性能を予測する。実験の結果、RAPは性能予測において堅実な成果を示した。本研究は、記号プログラムとプロンプトプログラムの性能分布の本質的な差異を明らかにするだけでなく、プロンプトエンジニアリングの信頼性評価に新たな視点とツールを提供するものである。