¿Pueden los modelos de lenguaje aprender a priori útiles sin haber visto nunca el lenguaje? Pre-entrenamos transformadores en autómatas neuronales celulares — totalmente sintéticos, lenguaje cero. Esto mejora el modelado del lenguaje hasta en un 6%, acelera la convergencia en un 40% y refuerza el razonamiento posterior. Sorprendentemente, ¡incluso supera el pre-preentrenamiento en texto natural! Blog: (1/n)