Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Dette er alltid hvordan jeg har antatt at LLM-er ville fungere fordi det er slik jeg (og antakelig de fleste andre) tenker slik
Jeg antar at grunnenheten for tanke er denne gestalt-tankevektoren, ikke «ord», og vi har alle utviklet en veldig rask måte å oversette disse til ord på fordi ord er mer kommuniserbare enn tankebrikker
Dette har alltid vært mitt problem med «noen har ikke en indre monolog!»-diskurs
Det gir rett og slett ingen mening at ord skal være grunnenheten folk tenker i. Det er som tusen ganger raskere å tenke i bilder eller disse tankestykkene eller hva som helst
Jeg antar det bare virker som folk tenker i ord, for når de beskriver hva de tenker for folk, må de oversette tankebrikkene til ord – for det er slik vi kommuniserer – og denne prosessen omdanner deres faktiske tanker til en monolog
Men det gir bare mening å tenke i ord når du trenger å gi ut en form for kommunikasjon. Ellers er det ikke særlig effektivt
Og menneskehjerner er utrolig effektive

23. mars, 00:54
🚨 BREAKING: Tencent har drept «next-token»-paradigmet.
Tencent og Tsinghua har lansert CALM (Continuous Autoregressive Language Models), og det forstyrrer fullstendig next-token-paradigmet.
LLM-er sløser for øyeblikket enorme mengder datakraft på å forutsi diskrete, enkeltstående tokens gjennom et enormt vokabular-softmax-lag. Den er treg og skalerer dårlig.
CALM omgår vokabularet helt. Den bruker en høyoppløselig autoencoder for å komprimere tekstbiter til en enkelt kontinuerlig vektor med 99,9 % rekonstruksjonsnøyaktighet.
Modellen forutsier nå «neste vektor» i et kontinuerlig rom.
Tallene er faktisk helt ville:
- Hvert generativt steg bærer nå 4× den semantiske båndbredden.
- Treningsberegningen reduseres med 44 %.
- Softmax-flaskehalsen fjernes fullstendig.
Vi ser bokstavelig talt språkmodeller utvikle seg fra å skrive diskrete symboler til å strømme kontinuerlige tanker.
Dette endrer hele utviklingen til AI.

Jeg kommenterer bare mekanismen som er beskrevet her, forresten, ikke selve teknologien fra Tencent eller noe sånt
Jeg antar at overgangen fra vektorer til tokens vil være ganske tregt/ineffektiv over lang tid, og jeg tviler på at dette REVOLUSJONERER AI eller noe på kort sikt
272
Topp
Rangering
Favoritter
