10 anni fa, nel maggio 2015, abbiamo pubblicato le prime reti neurali feedforward (FNN) basate su gradienti molto profondi con centinaia di livelli (le FNN precedenti avevano un massimo di poche decine di livelli). Per superare il problema del gradiente evanescente, le nostre reti autostradali hanno utilizzato le connessioni residue introdotte per la prima volta nel 1991 da @HochreiterSepp per ottenere un flusso di errore costante nelle NN ricorrenti (RNN), gate attraverso porte moltiplicative simili alle porte di dimenticanza (Gers et al., 1999) della nostra RNN LSTM molto profonda. Le NN autostradali sono state rese possibili grazie al lavoro dei miei ex studenti di dottorato @rupspace e Klaus Greff. Impostando i gate di Highway NN su 1.0 si ottiene effettivamente il ResNet pubblicato 7 mesi dopo. Il deep learning si basa sulla profondità della NN. Gli LSTM hanno portato una profondità essenzialmente illimitata alle NN ricorrenti; Highway Nets lo ha portato alle NN feedforward.