🚨 BREAKING: Tencent har drept «next-token»-paradigmet. Tencent og Tsinghua har lansert CALM (Continuous Autoregressive Language Models), og det forstyrrer fullstendig next-token-paradigmet. LLM-er sløser for øyeblikket enorme mengder datakraft på å forutsi diskrete, enkeltstående tokens gjennom et enormt vokabular-softmax-lag. Den er treg og skalerer dårlig. CALM omgår vokabularet helt. Den bruker en høyoppløselig autoencoder for å komprimere tekstbiter til en enkelt kontinuerlig vektor med 99,9 % rekonstruksjonsnøyaktighet. Modellen forutsier nå «neste vektor» i et kontinuerlig rom. Tallene er faktisk helt ville: - Hvert generativt steg bærer nå 4× den semantiske båndbredden. - Treningsberegningen reduseres med 44 %. - Softmax-flaskehalsen fjernes fullstendig. Vi ser bokstavelig talt språkmodeller utvikle seg fra å skrive diskrete symboler til å strømme kontinuerlige tanker. Dette endrer hele utviklingen til AI.