Bisakah model bahasa mempelajari pendahuluan yang berguna tanpa pernah melihat bahasa? Kami pra-melatih transformator pada automata seluler saraf - sepenuhnya sintetis, bahasa nol. Ini meningkatkan pemodelan bahasa hingga 6%, mempercepat konvergensi sebesar 40%, dan memperkuat penalaran hilir. Anehnya, itu bahkan mengalahkan pra-pra-pelatihan pada teks alami! Blog: (1/n)