Zawsze zakładałem, że LLM-y będą działać w ten sposób, ponieważ tak myślę (i przypuszczalnie większość innych ludzi też) Zakładam, że podstawową jednostką myśli jest ten gestaltowy wektor myśli, a nie "słowa", i wszyscy opracowaliśmy bardzo szybki sposób na przetłumaczenie ich na słowa, ponieważ słowa są bardziej komunikowalne niż fragmenty myśli To zawsze był mój problem z dyskursem "niektórzy ludzie nie mają wewnętrznego monologu!" Po prostu nie ma sensu, aby słowa były podstawową jednostką, w której ludzie myślą. To jak 1000 razy szybciej myśleć w kategoriach obrazów lub tych fragmentów myśli czy czegokolwiek innego Zakładam, że wydaje się, że ludzie myślą w słowach, ponieważ kiedy opisują, co myślą innym, muszą przetłumaczyć fragmenty myśli na słowa - ponieważ tak się komunikujemy - a ten proces przekształca ich rzeczywiste myśli w formę monologu Ale ma sens myśleć w słowach tylko wtedy, gdy musisz wydać jakąś formę komunikacji. W przeciwnym razie nie jest to zbyt efektywne A ludzkie mózgi są niesamowicie efektywne

Komentuję tylko mechanizm opisany tutaj, a nie rzeczywistą technologię od tencent czy czegokolwiek innego. Zakładam, że przejście od wektorów do tokenów będzie dość wolne/nieefektywne przez długi czas i wątpię, że to ZREWOLUCJONIZUJE AI czy cokolwiek innego w krótkim okresie.