🚨 BREAKING: Tencent hat das „Next-Token“-Paradigma abgeschafft. Tencent und Tsinghua haben CALM (Continuous Autoregressive Language Models) veröffentlicht, das das Next-Token-Paradigma vollständig disruptiert. LLMs verschwenden derzeit massive Mengen an Rechenleistung, um diskrete, einzelne Tokens durch eine riesige Vokabular-Softmax-Schicht vorherzusagen. Es ist langsam und skaliert schlecht. CALM umgeht das Vokabular vollständig. Es verwendet einen hochpräzisen Autoencoder, um Textabschnitte in einen einzigen kontinuierlichen Vektor mit 99,9 % Rekonstruktionsgenauigkeit zu komprimieren. Das Modell sagt jetzt den „nächsten Vektor“ in einem kontinuierlichen Raum voraus. Die Zahlen sind tatsächlich verrückt: - Jeder generative Schritt trägt jetzt 4× die semantische Bandbreite. - Der Trainingsaufwand wird um 44 % reduziert. - Der Softmax-Flaschenhals ist vollständig beseitigt. Wir beobachten buchstäblich, wie sich Sprachmodelle von der Eingabe diskreter Symbole zu kontinuierlichem Denken entwickeln. Das verändert die gesamte Richtung der KI.