TaxCalcBench: AIが税金申告できるかをテストするオープンソース評価

TaxCalcBenchは、Column Taxチームによって開発されたオープンソースの評価フレームワークで、AIモデルが米国の税金申告を正確に行えるかをテストするためのものです。このベンチマークは、標準化された税務ケースを通じて、複雑な税法の理解、実際の税務書類（W-2、1099など）の処理、正しい納税申告書の生成におけるAIの能力を測定します。現在、2024年度と2025年度の2つの税年度をカバーし、各年度に複数のテストケースがあり、厳密な正確率、緩やかな正確率、行ごとの正確率などの指標を提供します。

2025年度（TY25）の評価では、OpenAIのGPT-5.5モデルがウェブ検索ツールを有効にした場合に最高のパフォーマンスを示し、厳密な正確率は54%、緩やかな正確率は66%でした。次いでAnthropicのClaude Fable 5が同じ条件下で厳密正確率34%でした。外部ツールなしでもGPT-5.5の厳密正確率は24%、Claude Opus 4.8は16%でした。TY25のテストケースは50件で、実際のPDF入力を使用し、連邦税と州税の申告をカバーし、より複雑な税務・財務状況を扱います。各モデルはサポートされる思考予算でテストされ、リーダーボードには最良の結果が表示されています。

2024年度（TY24）の評価では、より広範なモデルが比較されました。GPT-5.4 Proが厳密正確率62.75%でトップ、緩やかな正確率は72.55%でした。GPT-5.4も同様に厳密正確率62.75%でしたが、緩やかな正確率は66.67%とやや低めでした。Claude Opus 4.6とGemini 3.1 Proがそれぞれ52.94%と49.02%で続きました。TY24では各テストを4回実行して平均をとり、モデルは5種類の思考予算でテストされました（OpenAIモデルは3〜4種類）。全体的に行ごとの正確率は80%以上と高く、AIが税計算の大部分を適切に処理できることが示されていますが、申告書全体の完全な正確性にはまだ改善の余地があります。

TaxCalcBenchのオープンソース性により、開発者は評価を自由に再現し、新しいテストケースを追加し、他の国の税制度に拡張することも可能です。プロジェクトは詳細なインストールガイドとコマンドライン引数を提供し、モデル、税年度、思考予算などを柔軟に選択できます。税法の更新に伴い、ベンチマークも進化しており、例えばTY25では実際のPDF入力と州税テストが導入されました。このベンチマークは、AI税務ソフトウェアの開発に客観的な基準を提供するだけでなく、正確なルール遵守と文書理解が必要な分野における現在のAIの能力の限界も明らかにしています。