大規模言語モデル（LLM）は指示追従や複雑な推論能力を高めており、プロンプトはパラメータ更新なしにモデルを適応させる柔軟なインターフェースとなっている。しかし、プロンプト設計は依然として手間がかかり、フォーマット、言い回し、指示の順序に非常に敏感である。そのため、推論時の柔軟性を保ちつつ手作業を削減する自動プロンプト最適化手法が求められている。
既存手法は、プロンプト候補の探索や、個別の例または小規模バッチに基づく固定の批評・改善パイプラインを用いることが多く、系統的なエラーパターンを捉え、失敗履歴に基づいた的を絞った編集を行う能力が限られていた。
これに対し、Farima Fatahi Bayatらは反射的プロンプトチューニング（RPT）フレームワークを提案する。RPTはLLMの関数呼び出し機能を利用して、人間のプロンプトエンジニアの反復ワークフローをシミュレートする。具体的には、LLM最適化器が診断関数を呼び出し、この関数が最適化セット全体で対象モデルを評価し、繰り返し現れる失敗モードを要約して構造化診断レポートを返す。最適化器はこのレポートと、それまでのレポートの累積メモリを合わせて、次のイテレーションのプロンプトを修正する。これにより、単発の例ではなく体系的な失敗履歴に基づいた修正が可能になる。
さらにRPTは、診断フィードバックと最終プロンプト選択にキャリブレーション信号を用いることで、信頼度を考慮した最適化をサポートする。3つの推論タスクでの評価では、RPTは初期プロンプトと比べて最大12.9ポイント改善し、最先端手法と競合する性能を維持しつつ、信頼度キャリブレーションも向上させた。
分析によると、RPTはマルチホップ推論や数学的推論で特に効果的であり、診断された失敗パターンに沿った的を絞ったプロンプト修正を生成し、タスク性能とキャリブレーションの両方で向上をもたらす。論文は17ページ、図6点で、2026年5月20日に投稿され、計算と言語（cs.CL）分野に属する。