放弃反向传播后,Geoffrey Hinton参与的前向梯度学习重磅研究来了Ref

我們知道,在人工智能領域里,反向傳播是個最基本的概念。

反向傳播(Backpropagation,BP)是一種與最優化方法(如梯度下降)結合使用的,用來訓練人工神經網絡的常見方法。該方法計算對網絡中所有權重計算損失函數的梯度。這個梯度會反饋給最優化方法,用來更新權值以最小化損失函數。