苹果研究院(Apple ML Research)于2026年11月发布了一篇题为《Toward a Theory of Evaluability(走向可评估性理论)》的论文,作者为Kunal Talwar。文章聚焦于一个当下日益突出的评测难题:当测试集与训练数据不再严格隔离时,我们究竟还能不能在合理意义上评估模型。
论文开篇指出,机器学习模型,尤其是大型基础模型,如今已经不再是只用单一准确率指标衡量的对象。除了面向特定任务的精度度量之外,安全、校准(calibration)与公平性等属性同样成为评估的重要组成部分。传统评测方法建立在一个隐含前提之上:测试集在训练过程中被完整保留、从未被模型见过。然而对于依赖海量网络数据训练的基础模型,这一假设越来越难以成立——测试样本很可能早已被纳入训练语料,评测结果的可靠性因此受到质疑。
针对这一问题,作者形式化地定义了“不依赖该保留假设的可评估性”概念,并追问:在测试样本可能已被用于训练的情况下,是否仍有可能对黑箱模型进行有效评估。研究按照对模型的不同访问级别分层展开,对应现实中评测者所能获得的不同权限。
在最自然的设定中,评测者只能观察模型在测试集上的输出,无法查询其他输入。论文对这一情形给出了完整刻画:明确了哪些分布类下能够实现准确评估,并给出评估样本复杂度的紧致上下界。核心结论是,在这种纯黑箱设定下,当且仅当数据分布接近“小支撑集”时,评估才是可行的。换言之,如果分布较为分散、支撑集很大,仅凭有限的测试输出几乎无法得到可信结论。
随后,论文转向可以获得额外查询权限的评估算法。作者指出,这一方向与程序测试领域中研究的“自校正器”(self-correctors)存在联系。借助少量查询访问,评测者能够显著增强自身能力,对自然分布和概念类(concept classes)的评估效力随之提升。这一发现意味着,评估协议的设计不应只关注测试集本身,还应考虑如何主动向模型发起查询。
从更广的语境看,这项工作回应了基础模型时代评测方法论的深层困境。评测不仅是技术指标的计算,更关乎在数据边界模糊、模型规模庞大的条件下,如何仍能对安全性、公平性等关键属性给出有依据的判断。论文的价值在于把“测试集是否被污染”这一实践焦虑,转化为可分析的理论问题,并给出可行性的边界条件与查询增强路径。
值得注意的是,该页面还列出了同系列的其他研究内容,包括2026年1月9日发布的《Which Evaluation for Which Model? A Taxonomy for Speech Model Assessment》,该文针对语音基础模型提出统一分类框架,以三个正交维度回答“哪种评测适合哪种模型”;以及2024年6月10日发布的《Introducing Apple’s On-Device and Server Foundation Models》,介绍随iOS 18、iPadOS 18与macOS Sequoia推出的Apple Intelligence系统。后者由多个专门化的生成模型组成,针对写作润色、通知优先级排序与摘要、趣味图像生成以及跨应用操作等日常任务进行微调,并可根据用户当前活动动态适配。这些条目共同体现出苹果在模型评测与基础模型部署两条主线上的持续投入。
总体而言,《Toward a Theory of Evaluability》并未提供一劳永逸的评测方案,而是划定了可行性的理论边界:黑箱评估只在分布接近小支撑集时才可靠,而引入少量查询访问可以拓展可评估的范围。对于构建评测基准、设计审计流程的研究者与工程团队而言,这提示评测协议需要同时考虑数据分布的形态以及评测者被允许与模型交互的方式。