10 年前，即 2015 年 5 月，我們發布了第一個具有數百層的基於非常深度梯度的前饋神經網絡 （FNN）（以前的 FNN 最多有幾十層）。為了克服梯度消失問題，我們的高速公路網絡使用@HochreiterSepp於 1991 年首次引入的殘差連接來實現循環神經網路 （RNN） 中的恆定誤差流，透過類似於我們非常深的 LSTM RNN 的遺忘門（Gers 等人，1999 年）進行門控。Highway NN 是通過我以前的博士生 @rupspace 和 Klaus Greff 的工作而實現的。將高速公路 NN 門設置為 1.0 有效地為我們提供了 7 個月後發布的 ResNet。 深度學習就是關於神經網路深度。LSTM 為循環神經網路帶來了基本上無限的深度;Highway Nets 將其帶到了前饋 NN。