Trend-Themen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
So habe ich mir immer vorgestellt, dass LLMs funktionieren würden, denn so denke ich (und vermutlich die meisten anderen)
Ich gehe davon aus, dass die Grundeinheit des Denkens dieses Gestalt-Denkvektor-Ding ist, nicht "Worte", und wir alle haben einfach eine sehr schnelle Möglichkeit entwickelt, diese in Worte zu übersetzen, weil Worte kommunikativer sind als Gedankenstücke
Das war immer mein Problem mit der Diskussion über "einige Menschen haben keinen inneren Monolog!"
Es macht einfach keinen Sinn, dass Worte die Grundeinheit sind, in der Menschen denken. Es ist etwa 1000x schneller, in Bildern oder diesen Gedankenstücken oder was auch immer zu denken
Ich nehme an, es scheint nur so, als würden Menschen in Worten denken, weil sie, wenn sie beschreiben, was sie denken, die Gedankenstücke in Worte übersetzen müssen - denn so kommunizieren wir - und dieser Prozess verwandelt ihre tatsächlichen Gedanken in die Form eines Monologs
Aber es macht nur Sinn, in Worten zu denken, wenn man eine Form der Kommunikation ausgeben muss. Andernfalls ist es nicht sehr effizient
Und menschliche Gehirne sind unglaublich effizient

23. März, 00:54
🚨 BREAKING: Tencent hat das „Next-Token“-Paradigma abgeschafft.
Tencent und Tsinghua haben CALM (Continuous Autoregressive Language Models) veröffentlicht, das das Next-Token-Paradigma vollständig disruptiert.
LLMs verschwenden derzeit massive Mengen an Rechenleistung, um diskrete, einzelne Tokens durch eine riesige Vokabular-Softmax-Schicht vorherzusagen. Es ist langsam und skaliert schlecht.
CALM umgeht das Vokabular vollständig. Es verwendet einen hochpräzisen Autoencoder, um Textabschnitte in einen einzigen kontinuierlichen Vektor mit 99,9 % Rekonstruktionsgenauigkeit zu komprimieren.
Das Modell sagt jetzt den „nächsten Vektor“ in einem kontinuierlichen Raum voraus.
Die Zahlen sind tatsächlich verrückt:
- Jeder generative Schritt trägt jetzt 4× die semantische Bandbreite.
- Der Trainingsaufwand wird um 44 % reduziert.
- Der Softmax-Flaschenhals ist vollständig beseitigt.
Wir beobachten buchstäblich, wie sich Sprachmodelle von der Eingabe diskreter Symbole zu kontinuierlichem Denken entwickeln.
Das verändert die gesamte Richtung der KI.

Ich kommentiere hier nur den beschriebenen Mechanismus, nicht die tatsächliche Technologie von Tencent oder so.
Ich nehme an, dass der Übergang von Vektoren zu Tokens ziemlich langsam/ineffizient sein wird und ich bezweifle, dass dies KI oder so in naher Zukunft REVOLUTIONIERT.
281
Top
Ranking
Favoriten
