Kan språkmodeller lære nyttige priorer uten å noen gang se språk? Vi pre-trener transformatorer på nevrale cellulære automater — fullstendig syntetisk, null språk. Dette forbedrer språkmodelleringen med opptil 6 %, øker konvergensen med 40 % og styrker den nedstrøms resonnementet. Overraskende nok slår det til og med fortrening på naturlig tekst! Blogg: (1/n)