Învățarea tăcută a caracteristicilor în Transformers Aceasta este una dintre cele mai fascinante lucrări pe care le-am citit săptămâna aceasta. Permiteți-mi să explic: Argumentează că curbele de pierdere pot induce în eroare cu privire la ceea ce învață un model. Abordarea implicită pentru monitorizarea antrenamentului rețelelor neuronale se bazează pe pierdere ca principală măsură a progresului. Dacă pierderea este plată, nu se întâmplă nimic. Dacă pierderea scade, are loc învățarea. Dar această presupunere se rupe în sarcinile algoritmice. Această nouă cercetare a instruit Transformerii pe zece sarcini algoritmice fundamentale și a descoperit "trăsături liniștite": reprezentări interne care se dezvoltă în timp ce pierderea pare stagnantă. Ei constată că modelele învață pași computaționali intermediari cu mult înainte ca acești pași să îmbunătățească performanța rezultatului. Biții de transport în plus, apartenența la coadă în BFS, produsele parțiale în înmulțire. Aceste trăsături apar în timpul platourilor extinse, apoi se combină brusc pentru a rezolva sarcina. Cercetătorii au investigat reprezentările interne prin aritmetică binară (adunare, înmulțire), algoritmi de grafuri (BFS, cea mai scurtă cale, sortare topologică, MST) și optimizarea secvențelor (subarray-ul maxim, selecția activității). Șase sarcini au arătat tranziții clare în două faze: stagnare prelungită urmată de creșteri bruște ale performanței. Experimentele de ablație au confirmat cauzalitatea. Eliminarea funcțiilor de carry de la un model de adăugare pe 64 de biți a cauzat o scădere a acurateței de 75,1%. Ablarea apartenenței la coadă în BFS a scăzut acuratețea cu 43,6%. Sarcinile algoritmice necesită ca mai multe subrutine să funcționeze împreună. Componentele corecte individuale nu reduc pierderile până când toate piesele nu se aliniază. Modelele acumulează capacități latente sub curbe de pierdere plate. Se pare că pierderea prin entropie încrucișată este un diagnostic incomplet. Poate avea loc o învățare internă substanțială în timp ce metricile par stagnante. Acest lucru motivează instrumente de monitorizare mai bogate dincolo de curbele de pierdere. 🔖 (îl adaugă la favorite) Hârtie: