🚨 NOTIZIA DELL'ULTIMO MINUTO: Tencent ha annullato il paradigma del "next-token". Tencent e Tsinghua hanno rilasciato CALM (Modelli di Linguaggio Autoregressivi Continui), e questo interrompe completamente il paradigma del next-token. Gli LLM attualmente sprecano enormi quantità di calcolo prevedendo token discreti e singoli attraverso un enorme strato softmax di vocabolario. È lento e scala male. CALM bypassa completamente il vocabolario. Utilizza un autoencoder ad alta fedeltà per comprimere blocchi di testo in un singolo vettore continuo con il 99,9% di accuratezza nella ricostruzione. Il modello ora prevede il "vettore successivo" in uno spazio continuo. I numeri sono davvero pazzeschi: - Ogni passo generativo ora porta 4× la larghezza di banda semantica. - Il calcolo per l'addestramento è ridotto del 44%. - Il collo di bottiglia softmax è completamente rimosso. Stiamo letteralmente assistendo all'evoluzione dei modelli di linguaggio da digitare simboli discreti a trasmettere pensieri continui. Questo cambia completamente la traiettoria dell'AI.