Argomenti di tendenza
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Questo è sempre come ho supposto che gli LLM funzionerebbero, perché è così che io (e presumibilmente la maggior parte degli altri) pensiamo
Suppongo che l'unità base del pensiero sia questa cosa del vettore di pensiero gestalt, non "parole", e abbiamo semplicemente sviluppato un modo molto veloce per tradurre questi in parole, perché le parole sono più comunicabili dei pezzi di pensiero
Questo è sempre stato il mio problema con il discorso "alcune persone non hanno un monologo interno!"
Non ha semplicemente senso che le parole siano l'unità base in cui le persone pensano. È come se fosse 1000 volte più veloce pensare in termini di immagini o di questi pezzi di pensiero o qualsiasi cosa
Suppongo che sembri solo che le persone pensino in parole perché quando descrivono ciò che stanno pensando agli altri, devono tradurre i pezzi di pensiero in parole - poiché è così che comunichiamo - e questo processo converte i loro pensieri reali nella forma di un monologo
Ma ha senso pensare in parole solo quando hai bisogno di produrre qualche forma di comunicazione. Altrimenti non è molto efficiente
E i cervelli umani sono incredibilmente efficienti

23 mar, 00:54
🚨 NOTIZIA DELL'ULTIMO MINUTO: Tencent ha annullato il paradigma del "next-token".
Tencent e Tsinghua hanno rilasciato CALM (Modelli di Linguaggio Autoregressivi Continui), e questo interrompe completamente il paradigma del next-token.
Gli LLM attualmente sprecano enormi quantità di calcolo prevedendo token discreti e singoli attraverso un enorme strato softmax di vocabolario. È lento e scala male.
CALM bypassa completamente il vocabolario. Utilizza un autoencoder ad alta fedeltà per comprimere blocchi di testo in un singolo vettore continuo con il 99,9% di accuratezza nella ricostruzione.
Il modello ora prevede il "vettore successivo" in uno spazio continuo.
I numeri sono davvero pazzeschi:
- Ogni passo generativo ora porta 4× la larghezza di banda semantica.
- Il calcolo per l'addestramento è ridotto del 44%.
- Il collo di bottiglia softmax è completamente rimosso.
Stiamo letteralmente assistendo all'evoluzione dei modelli di linguaggio da digitare simboli discreti a trasmettere pensieri continui.
Questo cambia completamente la traiettoria dell'AI.

Sto solo commentando il meccanismo descritto qui, tra l'altro, non la tecnologia reale di Tencent o altro.
Presumo che passare dai vettori ai token sarà piuttosto lento/inefficiente per molto tempo e dubito che questo RIVOLUZIONI l'AI o altro nel breve termine.
297
Principali
Ranking
Preferiti
