Trendaavat aiheet
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Näin olen aina olettanut, että LLM:t lopulta toimivat, koska näin minä (ja oletettavasti useimmat muutkin) ajattelemme
Oletan, että ajattelun perusyksikkö on tämä gestalt-ajatusvektori, ei "sanat", ja olemme kaikki kehittäneet hyvin nopean tavan kääntää nämä sanoiksi, koska sanat välittyvät helpommin kuin ajatuspalat
Tämä on aina ollut ongelmani "joillakin ihmisillä ei ole sisäistä monologia!" -keskustelun kanssa
Ei ole järkevää, että sanat olisivat se perusyksikkö, johon ihmiset ajattelevat. On noin tuhat kertaa nopeampaa ajatella kuvien tai näiden ajatustekstien kautta tai mitä tahansa
Oletan, että tuntuu siltä, että ihmiset ajattelevat sanoin, koska kun he kuvailevat ajatuksiaan ihmisille, heidän täytyy kääntää ajatukset sanoiksi – koska näin kommunikoimme – ja tämä prosessi muuttaa heidän todelliset ajatuksensa monologiksi
Mutta on järkevää ajatella sanoin vain silloin, kun täytyy tuottaa jonkinlaista viestintää. Muuten se ei ole kovin tehokasta
Ja ihmisaivot ovat uskomattoman tehokkaat

23.3. klo 00.54
🚨 BREAKING: Tencent on tappanut "seuraavan tokenin" paradigman.
Tencent ja Tsinghua ovat julkaisseet CALMin (Continuous Autoregressive Language Models), joka mullistaa täysin seuraavan tokenin paradigman.
LLM:t tuhlaavat tällä hetkellä valtavia määriä laskentaa ennustaakseen diskreettejä, yksittäisiä tokeneita valtavan sanaston softmax-kerroksen kautta. Se on hidas ja skaalautuu huonosti.
CALM ohittaa sanaston kokonaan. Se käyttää korkean tarkkuuden automaattikooderia pakkaamaan tekstipaloja yhdeksi jatkuvaksi vektoriksi 99,9 % rekonstruointitarkkuudella.
Malli ennustaa nyt "seuraavan vektorin" jatkuvassa avaruudessa.
Luvut ovat oikeasti järjettömiä:
- Jokainen generatiivinen vaihe kantaa nyt 4× semanttisesta kaistanleveydestä.
- Koulutuslaskenta vähenee 44 %.
- Softmax-pullonkaula on kokonaan poistettu.
Seuraamme kirjaimellisesti kielimallien kehittymistä diskreettien symbolien kirjoittamisesta jatkuvien ajatusten virtaamiseen.
Tämä muuttaa koko tekoälyn kehityssuunnan.

Kommentoin muuten vain tässä kuvattua mekanismia, en varsinaista teknologiaa Tencentiltä tai muulta
Oletan, että siirtyminen vektoreista tokeneihin tulee olemaan melko hidasta/tehotonta pitkään, enkä usko, että tämä MULLISTAA tekoälyä tai mitään muuta lyhyellä aikavälillä
285
Johtavat
Rankkaus
Suosikit
