跳到主要内容
AI News HubLIVE
更多
公开文章 137采集文章 149可信度 90刷新频率 30 分钟
健康状态 健康来源类型 研究原文权限 官方原文最近入库 2026-11-20ID apple-ml-research运行状态 已启用

Official research source; confirm reuse terms before enabling full body display.

最新公开文章

迈向可评估性理论:黑盒模型在测试数据可能被训练时的评估新框架

本文形式化了一种不依赖测试集留出假设的可评估性概念,研究了在测试样本可能被用于训练的情况下,对黑盒模型进行准确评估的可行性。研究表明,仅观察模型在测试集上的输出时,准确评估可行的充要条件是分布接近小支撑集;而增加对模型的查询访问可以提升评估能力。

Apple Machine Learning Research站内正文迈向可评估性理论:黑盒模型在测试数据可能被训练时的评估新框架

从注意力到Mamba:跨架构蒸馏的实用方案

苹果研究团队提出一种两阶段蒸馏方法,先将Transformer的知识蒸馏到线性化注意力模型,再迁移至Mamba架构,使1B参数的Mamba模型达到接近教师模型的困惑度(14.01 vs 13.86),并在下游任务上保持大部分性能,为采用SSM提供了新途径。

Apple Machine Learning Research站内正文从注意力到Mamba:跨架构蒸馏的实用方案

全部来源