迈向可评估性理论:黑盒模型在测试数据可能被训练时的评估新框架
本文形式化了一种不依赖测试集留出假设的可评估性概念,研究了在测试样本可能被用于训练的情况下,对黑盒模型进行准确评估的可行性。研究表明,仅观察模型在测试集上的输出时,准确评估可行的充要条件是分布接近小支撑集;而增加对模型的查询访问可以提升评估能力。
来源详情
AI News Hub 持续跟踪 Apple Machine Learning Research 的 AI 更新,并公开来源状态、授权边界、抓取方式和已发布文章。
Official research source; confirm reuse terms before enabling full body display.
本文形式化了一种不依赖测试集留出假设的可评估性概念,研究了在测试样本可能被用于训练的情况下,对黑盒模型进行准确评估的可行性。研究表明,仅观察模型在测试集上的输出时,准确评估可行的充要条件是分布接近小支撑集;而增加对模型的查询访问可以提升评估能力。
苹果研究团队提出一种两阶段蒸馏方法,先将Transformer的知识蒸馏到线性化注意力模型,再迁移至Mamba架构,使1B参数的Mamba模型达到接近教师模型的困惑度(14.01 vs 13.86),并在下游任务上保持大部分性能,为采用SSM提供了新途径。