Können Sprachmodelle nützliche Priorisierungen lernen, ohne jemals Sprache zu sehen? Wir trainieren Transformer vorab auf neuronalen zellulären Automaten – vollständig synthetisch, null Sprache. Dies verbessert das Sprachmodell um bis zu 6 %, beschleunigt die Konvergenz um 40 % und stärkt das nachgelagerte Denken. Überraschenderweise schlägt es sogar das Vorabtraining mit natürlichem Text! Blog: (1/n)