Pot modelele de limbaj să învețe priori utile fără să vadă vreodată limbajul? Pre-antrenăm transformatoarele pe automate neuronale celulare — complet sintetice, fără limbaj. Aceasta îmbunătățește modelarea limbajului cu până la 6%, accelerează convergența cu 40% și întărește raționamentul ulterior. Surprinzător, chiar se compară cu pre-pre-antrenamentul pe textul natural! Blog: (1/n)