事例を用いたシンボリックプログラムとプロンプトプログラムの性能予測

大規模言語モデル（LLM）のプロンプティングは、自然言語で記述されたタスクに広く利用されていますが、その信頼性には問題があります。少数のテストケースでは成功しても、実際のデプロイ時に失敗する可能性があるからです。arXivの新しい研究（論文番号2605.21515）は、この問題に取り組み、プログラムの性能予測を研究しています。具体的には、シンボリックプログラム（例：Python）またはLLM上で実行されるプロンプトプログラムと、同一ドメインの少数の事例が与えられたとき、そのプログラムが未見のタスクでどの程度の性能を発揮するかを予測する手法を提案しています。

研究では、シンプルなコインフリップモデルを採用しています。各プログラムの実行（合格/不合格）をベルヌーイ確率変数と見なし、その成功確率をプログラムの未知の性能とします。このモデルでは、性能は観測されたテストケースの実行結果と、性能に関する事前分布のみに依存します。研究者たちは、多様なプログラムとタスクからなるコーパスを用いて経験的な性能事前分布を収集し、重要な発見をしました。シンボリックプログラム（Pythonなど）の性能は全か無かの分布を示すのに対し、プロンプトプログラムの事前分布は拡散しており、多くのほぼ正しいプログラムが存在することがわかりました。この違いが、少数の合格テストでシンボリックプログラムは認定できるが、プロンプトプログラムは認定できない理由を説明します。

この洞察に基づき、研究チームはRAP（Retrieved Approximate Prior）手法を開発しました。RAPは、既存のコーパスから類似したタスクとプロンプトプログラムを検索し、代理事前分布を構築します。その代理事前分布を用いて性能予測を行います。実験の結果、RAPは良好な性能を示しました。この研究は、シンボリックプログラムとプロンプトプログラムの信頼性の根本的な違いを明らかにするとともに、LLMベースのアプリケーションをより安全にデプロイするための実用的なツールを提供しています。これにより、開発者は事前にプログラムの性能を評価し、適切な選択を行うことができるようになります。