LeCun od lat jest najbardziej agresywnym krytykiem konsensusu dotyczącego transformatorów/LLM, a to jest jego magnum opus "duża część danych z rzeczywistego świata jest nieprzewidywalna, a podejścia generatywne nie działają dobrze." To w zasadzie podsumowuje jego pogląd, że prawdziwa inteligencja nie może pochodzić tylko z skalowania przewidywania tekstu czy ma rację, czy nie, cieszę się, że na rynek wchodzi inna szkoła myślenia, która w pewnym sensie przywraca agencję z powrotem do świata fizycznego. Warto "trzymać to na oku" :)

istnieje naprawdę dobry powód, dla którego większość ludzi jest z natury sceptyczna wobec ograniczeń LLM i nikt nie robi tego lepiej niż Judea Pearl, który wyjaśnia to za pomocą "drabiny przyczynowości" w zasadzie w tej drabinie rozumowania są trzy szczeble - szczebel 1 to "asocjacja", gdzie obserwujesz korelację w danych. "ludzie, którzy noszą zapalniczki, są bardziej narażeni na raka płuc" - tego typu rzeczy. to jest to, co transformator robi wyjątkowo dobrze w nieskończonej skali szczebel 2 to "interwencja", która polega na zrozumieniu, co się dzieje, gdy naprawdę COŚ robisz, i stanowi podstawę "metody naukowej", której wszyscy uczyliśmy się w szkole podstawowej. "jeśli SPRAWIĘ, że ktoś będzie nosił zapalniczkę, czy to POWODUJE raka?" szczebel 3 to "przypadki kontrfaktyczne", w których rozumujesz, co BY się stało, gdybyś zrobił xyz. to w zasadzie najwyższa forma rozumowania, która jest retrospektywnym rozumowaniem przyczynowym. to jest fundament filozofii moralnej w zasadzie, nie ma takiej ilości obliczeń, która pomogłaby ci przejść z szczebla 1 do szczebla 2 lub 3 (które moim zdaniem są bardziej reprezentatywne dla ludzkiego doświadczenia inteligencji). to wymaga grafów przyczynowych, co oznacza, że musisz mieć uporządkowane obserwacje. to jest zasadniczo różne od architektury transformatora, która w zasadzie polega tylko na dopasowywaniu krzywych a myślę, że wiele z tego, dlaczego istnieje prawdziwa wahanie w tym spojrzeniu na nieograniczone wydatki "wszystko albo nic" w obecnym meta AI, polega na tym, że zysk jest w rzeczywistości bardziej ograniczony, niż inwestorzy i naukowcy mogliby myśleć, nie wracając do jakiejś prawdy pierwszych zasad.