10 yıl önce, Mayıs 2015'te, yüzlerce katmanlı (önceki FNN'lerde maksimum birkaç düzine katman vardı) ilk çalışan çok derin gradyan tabanlı besleme sinir ağlarını (FNN) yayımladık. Kaybolan gradyan sorununu aşmak için, Karayolu Ağlarımız, 1991'de @HochreiterSepp tarafından ilk kez tanıtılan kalıntı bağlantıları kullanarak, çok derin LSTM RNN'nin unutma kapılarına (Gers ve ark., 1999) benzer şekilde çarpan kapılardan geçilen tekrarlayan NN'lerde (RNN) sürekli hata akışı sağlamıştır. Highway NN'ler, eski doktora öğrencilerim @rupspace ve Klaus Greff'in çalışmaları sayesinde mümkün oldu. Highway NN kapılarını 1.0'a ayarlamak, 7 ay sonra yayımlanan ResNet'i etkili bir şekilde ortaya çıkarıyor. Derin öğrenme tamamen NN derinliği ile ilgilidir. LSTM'ler, tekrarlayan NN'lere esasen sınırsız derinlik getirdi; Highway Nets bunu ileriye yönelik NN'lere getirdi.