Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Takto jsem si vždycky myslel, že LLM budou fungovat, protože takhle přemýšlím já (a pravděpodobně většina ostatních)
Předpokládám, že základní jednotkou myšlení je tento gestaltový vektor myšlenek, ne "slova", a všichni jsme si vyvinuli velmi rychlý způsob, jak je překládat do slov, protože slova jsou srozumitelnější než myšlenkové texty
Tohle byl vždycky můj problém s diskurzem "někteří lidé nemají vnitřní monolog!"
Nedává smysl, aby slova byla základní jednotkou, na kterou lidé myslí. Je to asi tisíckrát rychlejší myslet v pojmech obrazů nebo těchto myšlenkových textech nebo čemkoli jiném
Předpokládám, že to prostě vypadá, že lidé myslí slovy, protože když popisují, co si myslí, musí překládat myšlenky na slova – protože tak komunikujeme – a tento proces přeměňuje jejich skutečné myšlenky do podoby monologu
Ale dává smysl myslet slovy jen tehdy, když potřebujete vyjádřit nějakou formu komunikace. Jinak to není moc efektivní
A lidské mozky jsou neuvěřitelně efektivní

23. 3. 00:54
🚨 AKTUÁLNÍ: Tencent zrušil paradigma "dalšího tokenu".
Tencent a Tsinghua vydali CALM (Continuous Autoregressive Language Models), který zcela narušuje paradigma dalšího tokenu.
LLM momentálně plýtvají obrovským množstvím výpočetního výkonu na predikci diskrétních, jednotlivých tokenů prostřednictvím rozsáhlé vrstvy slovní zásoby softmax. Je pomalý a špatně škáluje.
KLID úplně obchází slovní zásobu. Používá vysoce věrný autoenkodér ke kompresi částí textu do jednoho souvislého vektoru s 99,9% přesností rekonstrukce.
Model nyní předpovídá "další vektor" v spojitém prostoru.
Čísla jsou vlastně šílená:
- Každý generativní krok nyní nese 4× sémantické šířky pásma.
- Trénovací výpočetní kapacita je snížena o 44 %.
- Softmax úzké hrdlo je zcela odstraněno.
Doslova sledujeme, jak se jazykové modely vyvíjejí od psaní diskrétních symbolů k proudění nepřetržitých myšlenek.
To mění celý směr AI.

Jen komentuji mechanismus popsaný zde, ne samotnou technologii od Tencentu nebo něco podobného
Předpokládám, že přechod z vektorů na tokeny bude dlouho dost pomalý a neefektivní a pochybuji, že to v krátkodobém horizontu REVOLUCIONALIZUJE AI nebo něco podobného
281
Top
Hodnocení
Oblíbené
