LLM-er er ikke «uskarpe kompressorer av mening», men «perfekte omorganiseringer av struktur». Det antyder at de er mer som dynamiske, reversible krypteringssystemer enn som oppsummerere. Modellen glemmer ikke; det bare re-representerer. «Forståelse» i disse systemene er kanskje ikke komprimering, men geometri – organisering av informasjon på måter som gjør relasjoner beregnbare uten å miste troskap.
GLADIA Research Lab
GLADIA Research Lab27. okt. 2025
LLM-er er injektive og inverterbare. I vår nye artikkel viser vi at forskjellige ledetekster alltid tilordnes til forskjellige innebygginger, og denne egenskapen kan brukes til å gjenopprette inndatatokener fra individuelle innebygginger i latent rom. (1/6)
Vi har lenge antatt at kognisjon handler om å forenkle, komprimere, redusere – ta rotete data og koke dem ned til mening. Men dette arbeidet innebærer at transformatorer ikke "koker ned" i det hele tatt; de utfører massivt detaljerte, reversible omorganiseringer.
Faen jeg følte bare AGI
329,02K