Il pre-addestramento viene finalmente adottato. Hutter deve essere felice.
Seungwook Han
Seungwook Han12 mar, 22:26
I modelli linguistici possono apprendere prior utili senza mai vedere il linguaggio? Pre-addestriamo i trasformatori su automi cellulari neurali — completamente sintetici, zero linguaggio. Questo migliora la modellazione del linguaggio fino al 6%, accelera la convergenza del 40% e rafforza il ragionamento a valle. Sorprendentemente, supera persino il pre-addestramento su testi naturali! Blog: (1/n)
L'ho (in un certo senso) previsto continuo a sperare che un grande laboratorio lo adotti
32