単発のコード生成評価は、実際にシステムを運用するうえで重要な性質を見落としがちです。それは、エージェントが具体的なフィードバックを受け取った後に、いったん生成した誤った成果物を本当に修正できるかどうかです。自然言語から正規表現を合成するタスクを対象に、2026年7月1日にarXivへ投稿された新しい論文は、この多ターン修正能力を評価する軽量フレームワーク「A-CEGIS」を提案しています。
A-CEGISの仕組みは次のとおりです。まずエージェントが自然言語記述に対して正規表現を提案します。続いて、決定論的なオラクルが完全一致（full-match）の意味論に基づいてその正規表現を検査します。もし式が誤っていれば、オラクルは誤って受け入れてしまった文字列（偽陽性）や、受け入れるべきなのに拒否してしまった文字列（偽陰性）を表す簡潔な反例を生成します。この反例は失敗情報とともにエージェントへ返され、次のターンでの修正を導きます。この「提案→検査→反例→修正」の反復は、実際の環境で要求される、フィードバック付きの自己修正プロセスを反映しています。
実験では、NL-RX-Turkデータセットの30タスクを用いて4ターンまでの性能が比較されました。診断用の反例フィードバックはタスクの90%を4ターン以内に解決しました。一方、ゼロショット生成は17%、汎用的な自己修正は27%、エラーの有無や種類だけを伝えるフィードバックは23%にとどまりました。さらに、完全な診断実行にハードニング（堅牢化）を加えた場合、隠れテストセットの全タスクが最終ターンまでに解決され、成功までの平均ターン数は2.7回でした。著者らは追加の標的型プローブも実施し、その後も77%のロバスト成功率が保たれることを確認しています。
この結果は、A-CEGISがエージェントのターンごとの改善効率を測るだけでなく、元の取り置き事例を超えた実際的な堅牢性のチェックも提供できることを示しています。本論文は計算言語学（cs.CL）と人工知能（cs.AI）のカテゴリに分類され、arXiv番号は2609.02892です。