Kunnen taalmodellen nuttige priors leren zonder ooit taal te zien? We pre-pre-trainen transformers op neurale cellulaire automaten — volledig synthetisch, nul taal. Dit verbetert taalmodellering met tot 6%, versnelt de convergentie met 40% en versterkt downstream redeneren. Verrassend genoeg overtreft het zelfs pre-pre-training op natuurlijke tekst! Blog: (1/n)