🚨 BREAKING: Tencent on tappanut "seuraavan tokenin" paradigman. Tencent ja Tsinghua ovat julkaisseet CALMin (Continuous Autoregressive Language Models), joka mullistaa täysin seuraavan tokenin paradigman. LLM:t tuhlaavat tällä hetkellä valtavia määriä laskentaa ennustaakseen diskreettejä, yksittäisiä tokeneita valtavan sanaston softmax-kerroksen kautta. Se on hidas ja skaalautuu huonosti. CALM ohittaa sanaston kokonaan. Se käyttää korkean tarkkuuden automaattikooderia pakkaamaan tekstipaloja yhdeksi jatkuvaksi vektoriksi 99,9 % rekonstruointitarkkuudella. Malli ennustaa nyt "seuraavan vektorin" jatkuvassa avaruudessa. Luvut ovat oikeasti järjettömiä: - Jokainen generatiivinen vaihe kantaa nyt 4× semanttisesta kaistanleveydestä. - Koulutuslaskenta vähenee 44 %. - Softmax-pullonkaula on kokonaan poistettu. Seuraamme kirjaimellisesti kielimallien kehittymistä diskreettien symbolien kirjoittamisesta jatkuvien ajatusten virtaamiseen. Tämä muuttaa koko tekoälyn kehityssuunnan.