Les modèles de langage peuvent-ils apprendre des a priori utiles sans jamais voir de langage ? Nous pré-entraînons des transformateurs sur des automates cellulaires neuronaux — entièrement synthétiques, sans langage. Cela améliore la modélisation du langage jusqu'à 6 %, accélère la convergence de 40 % et renforce le raisonnement en aval. Étonnamment, cela surpasse même le pré-entraînement sur du texte naturel ! Blog : (1/n)