1/ Nelineární RNN neselhaly v modelování jazyka kvůli nelinearitě. Neuspěly, protože skryté stavy vektorů komprimují příliš mnoho kontextu. Rozšíření stavu do matice mění všechno. 🧵