TaxCalcBench: 測試AI能否報税的開源評估基準

TaxCalcBench 是一個由 Column Tax 團隊開發的開源評估框架，專門用於測試人工智能模型能否準確完成美國税務申報。該基準通過一系列標準化的税務案例，衡量 AI 在理解複雜税法、處理真實税務文件（如 W-2、1099 表格）以及生成正確納税申報表方面的能力。目前已涵蓋 2024 和 2025 兩個納税年度，每個年度包含多個測試案例，並提供嚴格正確率、寬鬆正確率和逐行正確率等評分指標。

在 2025 納税年度（TY25）的評測中，OpenAI 的 GPT-5.5 模型在啓用網絡搜索工具時表現最佳，嚴格正確率為 54%，寬鬆正確率為 66%。其後的 Claude Fable 5 在同樣條件下嚴格正確率為 34%。即使不使用外部工具，GPT-5.5 的嚴格正確率也達到 24%，而 Claude Opus 4.8 為 16%。TY25 的測試案例共 50 個，採用真實 PDF 輸入，並覆蓋聯邦和州税申報，涉及更復雜的税務財務狀況。各模型在不同思考預算下測試，排行榜顯示最佳結果。

2024 納税年度（TY24）的評測涵蓋了更廣泛的模型。GPT-5.4 Pro 以 62.75% 的嚴格正確率領先，寬鬆正確率為 72.55%。GPT-5.4 同樣達到 62.75% 嚴格正確率，但寬鬆正確率略低（66.67%）。Claude Opus 4.6 和 Gemini 3.1 Pro 分別以 52.94% 和 49.02% 緊隨其後。TY24 每個測試運行 4 次取平均，模型在 5 種思考預算下測試（OpenAI 模型為 3-4 種）。整體而言，逐行正確率普遍超過 80%，説明 AI 擅長大部分税務計算，但完整申報表的準確性仍有提升空間。

TaxCalcBench 的開源特性允許開發者自由復現評測、添加新案例，甚至擴展至其他税務系統。項目提供詳細安裝指南和命令行參數，支持靈活選擇模型、納税年度、思考預算等。隨着税法更新，基準也在演進，例如 TY25 引入了真實 PDF 和州税測試。該基準為 AI 税務軟件的發展提供了客觀標準，同時揭示了 AI 在精確規則遵循和文檔理解方面的能力邊界。