AI核心的数据黑洞

本文认为，样本效率（即AI学习所需的数据量）并未显著提升，进步主要来自数据和计算的大规模扩展。人类专家数据特定且海量，是AI进步的关键驱动力，使得开源模型能迅速追赶前沿。尽管训练效率极低，但为常见任务训练AI仍具经济价值，然而超出分布范围的推理问题仍未解决。