Mohou jazykové modely se naučit užitečné předpoklady, aniž by kdy viděly jazyk? Předtrénujeme transformátory na neuronových buněčných automatech — plně syntetických, bez jazyka. To zlepšuje jazykové modelování až o 6 %, urychluje konvergenci o 40 % a posiluje následné uvažování. Překvapivě to dokonce překoná předškolení na přirozeném textu! Blog: (1/n)