TaxCalcBench: 測試AI能否報稅的開源評估基準

TaxCalcBench 是一個由 Column Tax 團隊開發的開源評估框架，專門用於測試人工智慧模型能否準確完成美國稅務申報。該基準透過一系列標準化的稅務案例，衡量 AI 在理解複雜稅法、處理真實稅務檔案（如 W-2、1099 表格）以及生成正確納稅申報表方面的能力。目前已涵蓋 2024 和 2025 兩個納稅年度，每個年度包含多個測試案例，並提供嚴格正確率、寬鬆正確率和逐行正確率等評分指標。

在 2025 納稅年度（TY25）的評測中，OpenAI 的 GPT-5.5 模型在啟用網路搜尋工具時表現最佳，嚴格正確率為 54%，寬鬆正確率為 66%。其後的 Claude Fable 5 在同樣條件下嚴格正確率為 34%。即使不使用外部工具，GPT-5.5 的嚴格正確率也達到 24%，而 Claude Opus 4.8 為 16%。TY25 的測試案例共 50 個，採用真實 PDF 輸入，並覆蓋聯邦和州稅申報，涉及更復雜的稅務財務狀況。各模型在不同思考預算下測試，排行榜顯示最佳結果。

2024 納稅年度（TY24）的評測涵蓋了更廣泛的模型。GPT-5.4 Pro 以 62.75% 的嚴格正確率領先，寬鬆正確率為 72.55%。GPT-5.4 同樣達到 62.75% 嚴格正確率，但寬鬆正確率略低（66.67%）。Claude Opus 4.6 和 Gemini 3.1 Pro 分別以 52.94% 和 49.02% 緊隨其後。TY24 每個測試執行 4 次取平均，模型在 5 種思考預算下測試（OpenAI 模型為 3-4 種）。整體而言，逐行正確率普遍超過 80%，說明 AI 擅長大部分稅務計算，但完整申報表的準確性仍有提升空間。

TaxCalcBench 的開源特性允許開發者自由復現評測、新增新案例，甚至擴充套件至其他稅務系統。專案提供詳細安裝指南和命令列引數，支援靈活選擇模型、納稅年度、思考預算等。隨著稅法更新，基準也在演進，例如 TY25 引入了真實 PDF 和州稅測試。該基準為 AI 稅務軟體的發展提供了客觀標準，同時揭示了 AI 在精確規則遵循和文件理解方面的能力邊界。