1/ RNN-urile neliniare nu au eșuat la modelarea limbajului din cauza neliniarității. Au eșuat pentru că stările ascunse vectoriale comprimă prea mult context. Extinderea stării într-o matrice schimbă totul. 🧵