LeCun a fost cel mai agresiv critic al consensului transformer/LLM de ani de zile, iar acesta este capodopera sa "O mare parte din datele reale ale senzorilor sunt imprevizibile, iar abordările generative nu funcționează bine." Acest lucru întruchipează practic viziunea sa că inteligența reală nu poate veni doar din scalarea predicției textului Indiferent dacă are dreptate sau nu, sunt entuziasmat să văd o altă școală de gândire apărută pe piață care, într-un fel, readuce libertatea în lumea fizică. Merită să "fii atent la asta" :)

există de fapt un motiv foarte bun pentru care majoritatea oamenilor sunt inerent sceptici față de limitele LLM-ului și nimeni nu face o treabă mai bună decât Judea Pearl, care explică asta prin "Scara Cauzalității". Practic, există trei trepte în această scară a raționamentului – treapta 1 este "asocierea", unde observi corelația în date. "Oamenii care poartă brichete au mai multe șanse să facă cancer pulmonar". Asta face Transformer-ul excepțional de bine cu scară infinită Trepta 2 este "intervenția", care înseamnă să înțelegi ce se întâmplă când chiar FACI ceva și formează baza "metodei științifice" pe care am învățat-o cu toții în școala generală. "dacă OBLIG pe cineva să poarte o brichetă, asta PROVOACĂ cancer?" treapta 3 este "contrafactualele", unde raționezi despre ce s-ar fi întâmplat dacă ai fi făcut xyz. Este practic cea mai înaltă formă de raționament, care este raționamentul cauzal retrospectiv. Aceasta este temelia filosofiei morale Practic, nu există nicio cantitate de calcul care să te ajute să treci de la treapta 1 la treapta 2 sau 3 (care pentru mine sunt mai reprezentative pentru experiența umană a inteligenței). Acest lucru necesită grafuri cauzale, ceea ce înseamnă că ai nevoie de observații structurate. Aceasta este fundamental diferită de arhitectura transformatorului, care practic se potrivește cu curbe Cred că o mare parte din motivul pentru care există o reținere reală față de această viziune a cheltuielii nelimitate "totul sau nimic" pentru meta actuală a AI-ului este că câștigul este de fapt mai limitat decât ar crede investitorii și oamenii de știință deopotrivă, fără a reveni la un adevăr de bază