表計算アプリケーションは世界中の何億人もの人々に利用されているが、数式の作成は依然として大きな障壁となっている。既存の手法は静的な教師ありデータに依存しているが、限られたアノテーションではすぐに性能が頭打ちになる。この問題に対処するため、研究者らはFORMULASPINを提案した。これは、追加データなしで反復的な自己改善を可能にし、教師ありファインチューニングの限界を打ち破る自己対戦フレームワークである。
元のSPIN手法はこのタスクでは失敗する。なぜなら、すべての非一致出力を一律にペナルティするため、実行等価な代替式がある例ではネガティブ、別の例ではグラウンドトゥルースとして扱われ、矛盾する勾配を生み出すからである。FORMULASPINは、数式生成のユニークな利点を活用してこの問題を解決する。すなわち、二値の実行可能性が暗黙の監督を提供し、意味エラーと有効なスタイルのバリエーションを分離する。フレームワークは訓練を2プレイヤーゲームとして構成し、メインプレイヤーはグラウンドトゥルースの数式を好むように学習し、実行フィードバックが出力を異なる粒度に分類することで、意味的正しさからスタイルの洗練へと移行する適応カリキュラムを可能にする。
精度をさらに向上させるため、ExecVoteと呼ばれる意味レベルの投票メカニズムを組み込み、複数の有効な数式を自然に扱う。実験はNL2FORMULA、WikiSQL、Spiderなど複数のベンチマークで実施された。NL2FORMULAでは74.9%の完全一致率と87.1%の実行精度を達成し、これは追加の選好アノテーションで訓練されたモデルに匹敵し、従来の教師ありファインチューニングやGPT-4、Claudeなどの最先端専有モデルを上回る。本論文はACL 2026メインカンファレンスのOralとして採択され、15ページ、7図、14表からなる。
これらの発見は、自己対戦がデータ不足のタスクに取り組む可能性を強調し、実行可能領域を超えた拡張への道を開く。例えば、コード生成やプログラム合成など実行可能フィードバックが得られるタスクへの応用が期待される。研究者らは今後、半構造化データ生成や非実行可能領域への自己対戦フレームワークの拡張を計画している。