近年來，人工智慧領域的基準測試在準確率飽和後往往被迅速淘汰，轉而開發更具挑戰性的新版本。然而，一篇發表於 arXiv 上的新論文指出，這種做法過於側重準確率，忽略了評估智慧體效能的其他六個關鍵維度：構造效度（如捷徑）、分佈外泛化能力、效率、可靠性、模型相對於框架的重要性，以及人機協作帶來的提升。
該研究以 CORE-Bench Hard 為案例，這是一個用於評估科學程式碼計算可重複性的基準測試。研究人員首先揭示了在較弱的智慧體下難以預見的構造效度威脅，並對基準進行了改進，推出了 CORE-Bench v1.1 和麵向分佈外任務的 CORE-Bench OOD 套件。
即便在準確率飽和的情況下，CORE-Bench v1.1 仍然能夠有效測量智慧體的效率、可靠性以及模型與框架的效能差異。此外，一項小規模隨機實驗顯示，人機協作在真實世界的計算可重複性任務中帶來了顯著的速度提升——約為兩倍，且這一數字可能因純人類復現中五分之一的任務超過時間限制而被低估。
該研究的貢獻在於提供了一種比當前主導的以準確率為中心的評估正規化更為嚴謹的替代方案，為後飽和時代的基準測試設計提供了新思路。