研究人员查明大型语言模型能够掌握小型模型错失技能的原因

一项新研究解释了为何大型语言模型能学会小型模型无法掌握的技能，指出常见任务会不断覆盖小型模型对稀有任务的学习，而增大模型规模或提高稀有任务在训练数据中的频率可解决这一问题。