Hvis dette Karpathy-intervjuet ikke spretter ai-boblen, ingenting vil. 10 brutale sitater: 1. LLM-er fungerer ikke ennå De har ikke nok intelligens, de er ikke multimodale nok, de kan ikke bruke datamaskiner, og de husker ikke hva du forteller dem. De mangler kognitivt. Det vil ta omtrent et tiår å jobbe seg gjennom alt dette. 2. Når du starter dem opp, starter de alltid fra null De har ingen destillasjonsfase, ingen prosess som søvn der det som skjedde blir analysert og skrevet tilbake i vektene. 3. Det som er lagret i vektene deres er bare en tåkete erindring om internett Det er bare en komprimert uskarphet av 15 billioner tokens presset inn i noen få milliarder parametere. Kontekstvinduet deres er bare kortsiktig arbeidsminne. 4. De er flinke til å imitere, forferdelige til å gå ut av datamangfoldet For mye hukommelse, ikke nok resonnement. Vi må fjerne den memorerte kunnskapen og beholde den kognitive kjernen: algoritmene, intelligensens magi, problemløsning, strategi. 5. Vi har sannsynligvis gjenskapt et kortikalt vev, mønsterlæring og generelt, men vi mangler fortsatt resten av hjernen Ingen hippocampus for hukommelsen. Ingen amygdala for instinkter. Ingen følelser eller motivasjoner. 6. De husker perfekt, men generaliserer dårlig Hvis du gir dem tilfeldige tall, kan de resitere dem tilbake. Ingen mennesker kan gjøre det. Det er problemet: mennesker glemmer akkurat nok til å bli tvunget til å finne mønstre. 7. Alt virkelig nytt, kode som aldri har blitt skrevet før, ideer som ikke har noen mal; de snubler...