¿Pueden los modelos de lenguaje aprender priors útiles sin haber visto nunca lenguaje? Pre-entrenamos previamente transformadores en autómatas celulares neuronales — completamente sintéticos, sin lenguaje. Esto mejora el modelado del lenguaje en hasta un 6%, acelera la convergencia en un 40% y fortalece el razonamiento posterior. ¡Sorprendentemente, incluso supera el pre-entrenamiento en texto natural! Blog: (1/n)