从经验中学习，而非精选数据集
本文探讨了从经验学习与从精选数据集学习的区别。指出当前深度学习算法依赖人类精选的数据集，无法有效处理包含噪声和不可预测成分的原始数据流。通过简单的线性预测例子，展示了SGD及其变体在噪声数据上会吸收噪声而非仅学习可预测部分。而IDBD算法能够区分可预测与不可预测目标，只学习有用的关联。进一步扩展到神经网络（NetworkIDBD），在NoisyMNIST数据流上验证了其有效性。作者认为，SGD的局限性是当前系统无法在线持续学习的原因，未来需要更好的信用分配算法。
在人工智能领域，学习方式通常分为两种：从人类精心整理的数据集中学习，以及从原始、未经处理的体验中学习。Oak Lab的最新研究指出，这两种学习方式存在本质差异，而当前主流的深度学习算法更适合前者，却难以适应后者。
从精选数据集学习时，算法可以假设所有数据都是有用的，因为人类已经完成了收集、清洗和过滤的工作。然而，真实的体验数据流往往包含大量噪声和无法预测的成分。例如，在一个简单的线性预测任务中，只有1%的特征值能提供有效信息，其余都是噪声。实验表明，使用随机梯度下降（SGD）训练的线性模型会试图最小化所有目标的误差，最终将噪声也学习进参数中，而非仅学习可预测的部分。
为了解决这一问题，研究者引入了增量Delta-Bar-Delta（IDBD）算法。与SGD不同，IDBD能够为不同的信号分配不同大小的信用，甚至对不可预测的目标不分配信用。在同样的线性问题上，IDBD成功只学习了可预测的成分。为了扩展到非线性情况，研究者提出了NetworkIDBD，并在NoisyMNIST数据流上进行了验证。该数据流在64x64图像中心随机显示MNIST数字，周围像素为噪声。结果显示，SGD增加了所有输入特征的权重，而NetworkIDBD只增加了中心28x28区域的权重，即与目标相关的部分。
作者认为，SGD及其变体（如Adam、RMSProp）试图学习所有关联的局限性，是当前系统无法有效进行在线持续学习的主要原因。而像NetworkIDBD这样能够学习信用分配的算法，可能是突破这一瓶颈的关键。未来，我们需要设计更好的信用分配机制，使算法能从嘈杂的经验中自主学习。
参考文献包括Kingma和Ba的Adam论文、Tieleman和Hinton的RMSProp、LeCun等人的MNIST以及Sutton的IDBD。