Elsket hvor dypt Karpathy forklarte hvorfor trening av AI på AI-utgang ødelegger intelligens. > "Du kan se på hvert eksempel på LLMs reflekterende tanker, og si at dette ser bra ut, la oss trene på det. Men du bør faktisk forvente at modellen blir mye verre etter trening.» Hvorfor skulle noe som ser perfekt ut gjøre modellen verre? Karpathy gir et perfekt eksempel her... Be noen om å navngi en kvinne. De fleste mennesker sier ikke Hillary Clinton. Men hvis du trente en AI på svar der alle sa Hillary Clinton, er det alt den ville lære. > «Si at vi har et kapittel i en bok, og jeg ber en LLM om å tenke på det. Det vil gi deg noe som ser veldig rimelig ut. Men hvis jeg spør om det 10 ganger, vil du legge merke til at alle er like.» Du skjønner, AI-genererte eksempler ser bra ut hver for seg, men de mangler det vakre kaoset av menneskelig tanke. Ekte mennesker er rotete og uforutsigbare. > "Mennesker er mye mer støyende og kollapser ikke i samme grad som LLM-er." I stedet for å være et insekt, er støyen inni oss kilden til intelligens. Men hvordan unngår mennesker dette AI-kollapsproblemet? > «Mennesker kollapser i løpet av livet, men ikke barn. Barn vil si ting som vil sjokkere deg. Fordi de ennå ikke er kollapset. Men vi [voksne] er kollapset.» Karpathy sier at barn sjokkerer deg fordi de ikke har lært å gi "riktige" svar ennå. Voksne blir imidlertid mer forutsigbare over tid. ...