人工知能の分野では、学習方法は大きく二つに分けられる。人間が慎重に整備したデータセットから学ぶ方法と、生の未処理の経験から学ぶ方法である。Oak Labの最新研究によれば、これらの学習方法には本質的な違いがあり、現在主流の深層学習アルゴリズムは前者に適しているが、後者には対応しにくい。
厳選されたデータセットから学習する場合、アルゴリズムは全てのデータが有用であると仮定できる。なぜなら、人間が収集、洗浄、フィルタリングを済ませているからである。しかし、現実の経験データストリームには大量のノイズや予測不可能な成分が含まれている。例えば、単純な線形予測タスクでは、特徴量の値が1になるのは1%の確率であり、その時のみターゲットが予測可能である。SGDで学習された線形モデルは、全ての目標の誤差を最小化しようとするため、ノイズもパラメータに吸収してしまう。
この問題を解決するために、研究者はIncremental Delta Bar Delta（IDBD）アルゴリズムを導入した。IDBDはSGDと異なり、異なる信号に対して異なる量のクレジットを割り当てることができ、予測不可能な目標にはクレジットを割り当てない。同じ線形問題でIDBDは予測可能な成分のみを学習することに成功した。非線形の場合に対応するため、NetworkIDBDが提案され、NoisyMNISTデータストリームで検証された。このデータストリームは64x64画像の中心にMNIST数字をランダムに表示し、周囲のピクセルはノイズである。実験の結果、SGDは全ての入力特徴の重みを増加させたのに対し、NetworkIDBDは中心の28x28領域の重みだけを増加させた。
著者らは、SGDとその変種（Adam、RMSPropなど）が全ての関連を学習しようとする限界が、現在のシステムがオンライン継続学習を効果的に行えない根本原因であると主張する。NetworkIDBDのようにクレジット割り当てを学習するアルゴリズムが、この壁を突破する鍵となるだろう。今後は、ノイズの多い経験から自律的に学習できるよう、より優れたクレジット割り当てメカニズムを設計する必要がある。
参考文献には、KingmaとBaのAdam、TielemanとHintonのRMSProp、LeCunらのMNIST、SuttonのIDBDなどが挙げられている。