🚨 BREAKING: Tencent heeft het "next-token" paradigma vernietigd. Tencent en Tsinghua hebben CALM (Continuous Autoregressive Language Models) uitgebracht, en het verstoort volledig het next-token paradigma. LLM's verspillen momenteel enorme hoeveelheden rekencapaciteit door discrete, enkele tokens te voorspellen via een enorme vocabulaire softmax-laag. Het is traag en schaalt slecht. CALM omzeilt de vocabulaire volledig. Het gebruikt een high-fidelity autoencoder om tekstfragmenten te comprimeren tot een enkele continue vector met 99,9% reconstructie-nauwkeurigheid. Het model voorspelt nu de "volgende vector" in een continue ruimte. De cijfers zijn eigenlijk krankzinnig: - Elke generatieve stap heeft nu 4× de semantische bandbreedte. - De trainingsrekenkracht is met 44% verminderd. - De softmax-flessenhals is volledig verwijderd. We kijken letterlijk toe hoe taalmodellen evolueren van het typen van discrete symbolen naar het streamen van continue gedachten. Dit verandert de hele koers van AI.