NY ARTIKKEL: LLM-er er utrolige til å forklare ting og elendige til å gjøre dem. Spør en modell «hvordan» man sammenligner to desimaler, så får du en perfekt steg-for-steg-algoritme. Be den faktisk «gjøre» sammenligningen... og plutselig «9,11 er større enn 9,9 fordi 90 er mer enn 11.» Forskere kaller dette «det beregningsmessige splitt-hjerne-syndromet». LLM-er utvikler én vei for å forklare en prosedyre, og en helt annen vei for å utføre den. Disse to banene befinner seg i forskjellige deler av modellens geometri (som vist i t-SNE-plott på sidene 14–16 i denne artikkelen) og de kommuniserer ikke med hverandre. Dette er grunnen til at en modell kan lære deg langdivisjon, men ikke kan gjøre det pålitelig. Eller hvorfor den kan formulere logiske regler, men likevel ikke klarer grunnleggende slutninger. Eller hvorfor det gir feilfritt språk og skjør resonnement. Forklaringen er mønstergjenkalling. Utførelse er beregning. LLM-er utmerker seg i det første og sliter grunnleggende med det andre. Dypt inne i arkitekturen visker innbygginger sammen betydninger som mennesker holder adskilt. Artikkelen gir et morsomt eksempel: «9,11» ligger nærmere «11. september» enn «ni komma elleve» fordi token-innleiringer i gjennomsnitt gjelder i alle sammenhenger de har sett. Den «kontekstuelle forurensningen» gjør ren symbolsk resonnement umulig. Dessuten... Transformatorer kan bare produsere «vektede gjennomsnitt» av det de har sett. De kan ikke generere nye symbolske verdier som «3354» fra «43 × 78» ved å bruke faktisk matematikk. ...