Fy faen... dette kan være det neste store paradigmeskiftet innen AI. 🤯 Tencent + Tsinghua slapp nettopp en artikkel kalt Continuous Autoregressive Language Models (CALM), og den dreper i utgangspunktet "next-token"-paradigmet hver LLM er bygget på. I stedet for å forutsi ett token om gangen, forutsier CALM kontinuerlige vektorer som representerer flere tokens samtidig. Betydning: modellen tenker ikke "ord for ord"... den tenker i ideer per trinn. Her er grunnen til at det er sinnssykt 👇 → 4× færre prediksjonstrinn (hver vektor = ~4 tokens) → 44 % mindre treningsberegning → Ikke noe diskret ordforråd rent kontinuerlig resonnement → Ny metrikk (BrierLM) erstatter forvirring helt De bygde til og med en ny energibasert transformator som lærer uten softmax, ingen token-prøvetak, ingen vokab-tak. Det er som å gå fra å snakke morsekode ... til å strømme hele tanker. Hvis dette skalerer, er hver LLM i dag foreldet.