Jag tror att en av de slutsatser vi bör dra från den enorma framgången för LLM:er är hur mycket av mänsklig kunskap och samhälle som existerar på mycket låga nivåer av Kolmogorov-komplexitet. Vi går in i en era där den minimala representationen av en mänsklig kulturell artefakt... (1/12)

... kommer generellt att vara en LLM-prompt. Och dessa prompts är, generellt sett, flera storleksordningar mer kompakta än själva artefakterna. Den stora framgången för kodningsagenter, till exempel, visar att källkoden till de flesta mjukvaruartefakter är ordningar av... (2/12)

... Storlek mer uppsvälld än den verkligt minimala algoritmiska representation som krävs för att entydigt specificera den mjukvaruartefakten. Detsamma gäller för mycket av mänskligt skrivande, forskning och kommunikation. Genom att vara så effektiva dekompressorer av algoritmisk information har LLM:er... (3/12)

... avslöjade den fruktansvärda omfattningen av vår egen ordrikedom. En del av den ordrikedomen beror utan tvekan på begränsningarna i våra formella representationsspråk (såsom programmeringsspråk). Men en del av det verkar också inneboende, troligen som ett sätt att korrigera mänskliga fel. (4/12)

När den avsedda dekompressorn är mycket förlustfylld (som en människas sinne) verkar det klokt att överspecificera representationen med många synonymer och syntaktiskt socker. När den avsedda dekompressorn är närmare helt förlustfri (som LLM:er snabbt blir) är det mindre logiskt. (5/12)

Matematik och fysik utgör intressanta testfall. Processen axiomatisering inom matematiken är en form av algoritmisk kompression: alla sanna satser är alltid "inneslutna" i representationen av axiomen och slutledningsreglerna, men processen med... (6/12)

... Att dekomprimera denna representation kan vara godtyckligt svårt. Men detaljerna i hur dekompressions- (teorembevisande) och kompressionsprocesser (omvänd matematik) sker är i viss mening de verkliga objekten av matematisk intresse. Samma sak gäller fysik. (7/12)

Man kan, om man vore tillräckligt naiv, hävda att fysik handlar om att hitta minimala algoritmiska kompressioner av det fysiska universum. Återigen är det detaljerna i (av)komprimering som i slutändan är det som räknas. Bara att hitta en minimal representation av universum... (8/12)

... skulle inte "lösa fysiken", lika lite som att upptäcka ZFC:s axiom "löste matematiken". [Om man tror, som jag gör, att universum i slutändan kan modelleras i beräkningstermer, så existerar denna representation på sätt och vis redan: det är en universell Turingmaskin.] (9/12)

LLM:er är anmärkningsvärt effektiva dekomprimerare av algoritmisk information, och deras framgång inom teorembevisning och mjukvaruutveckling är ett bevis på det. Deras komprimeringsförmåga verkar för närvarande mindre tydlig. Ändå upptäcker de minimala representationer,... (10/12)

... vare sig det är kvicka aforismer eller bonmots (där nuvarande LLM är genomgående usla), eller de komprimerade axiomatiska representationer som kännetecknar matematisk skönhet (där nuvarande LLM till stor del är oprövade), utgör ett av kännetecknen för djup mänsklig intelligens. (11/12)

Så jag tror att det blir allt tydligare att effektivitet och förlustfrihet, över både kompression och dekompression, tillsammans utgör fyra potentiella axlar längs vilka vi kan börja parametrisera utrymmet för möjliga (intelligenta) sinnen. Men vilka är de andra? (12/12)