Takto jsem si vždycky myslel, že LLM budou fungovat, protože takhle přemýšlím já (a pravděpodobně většina ostatních) Předpokládám, že základní jednotkou myšlení je tento gestaltový vektor myšlenek, ne "slova", a všichni jsme si vyvinuli velmi rychlý způsob, jak je překládat do slov, protože slova jsou srozumitelnější než myšlenkové texty Tohle byl vždycky můj problém s diskurzem "někteří lidé nemají vnitřní monolog!" Nedává smysl, aby slova byla základní jednotkou, na kterou lidé myslí. Je to asi tisíckrát rychlejší myslet v pojmech obrazů nebo těchto myšlenkových textech nebo čemkoli jiném Předpokládám, že to prostě vypadá, že lidé myslí slovy, protože když popisují, co si myslí, musí překládat myšlenky na slova – protože tak komunikujeme – a tento proces přeměňuje jejich skutečné myšlenky do podoby monologu Ale dává smysl myslet slovy jen tehdy, když potřebujete vyjádřit nějakou formu komunikace. Jinak to není moc efektivní A lidské mozky jsou neuvěřitelně efektivní
Simplifying AI
Simplifying AI23. 3. 00:54
🚨 AKTUÁLNÍ: Tencent zrušil paradigma "dalšího tokenu". Tencent a Tsinghua vydali CALM (Continuous Autoregressive Language Models), který zcela narušuje paradigma dalšího tokenu. LLM momentálně plýtvají obrovským množstvím výpočetního výkonu na predikci diskrétních, jednotlivých tokenů prostřednictvím rozsáhlé vrstvy slovní zásoby softmax. Je pomalý a špatně škáluje. KLID úplně obchází slovní zásobu. Používá vysoce věrný autoenkodér ke kompresi částí textu do jednoho souvislého vektoru s 99,9% přesností rekonstrukce. Model nyní předpovídá "další vektor" v spojitém prostoru. Čísla jsou vlastně šílená: - Každý generativní krok nyní nese 4× sémantické šířky pásma. - Trénovací výpočetní kapacita je snížena o 44 %. - Softmax úzké hrdlo je zcela odstraněno. Doslova sledujeme, jak se jazykové modely vyvíjejí od psaní diskrétních symbolů k proudění nepřetržitých myšlenek. To mění celý směr AI.
Jen komentuji mechanismus popsaný zde, ne samotnou technologii od Tencentu nebo něco podobného Předpokládám, že přechod z vektorů na tokeny bude dlouho dost pomalý a neefektivní a pochybuji, že to v krátkodobém horizontu REVOLUCIONALIZUJE AI nebo něco podobného
281