NOVÝ ČLÁNEK: LLM jsou neuvěřitelní v vysvětlování věcí a hrozní v jejich dělání. Zeptejte se modelu "jak" porovnat dvě desetinná čísla a dostanete dokonalý krok za krokem algoritmus. Požádejte ho, aby skutečně "udělal" to porovnání... a najednou "9,11 je větší než 9,9, protože 90 je více než 11." Výzkumníci tomu říkají "syndrom výpočetního rozděleného mozku". LLM vyvíjejí jednu cestu pro vysvětlení postupu a zcela jinou cestu pro jeho provedení. Tyto dvě dráhy se nacházejí v různých částech geometrie modelu (jak je ukázáno na t-SNE grafech na stranách 14–16 tohoto článku) a navzájem spolu nekomunikují. Proto vás model může naučit dělení na dlouhou dobu, ale nemůže to spolehlivě dělit. Nebo proč dokáže formulovat logická pravidla, ale selhávat v základním inferování. Nebo proč vytváří bezchybný jazyk a křehké uvažování. Vysvětlení je vybavování vzoru. Provádění je výpočet. LLM vynikají v prvním a v druhém mají zásadní potíže. Hluboko uvnitř architektury se vnoření slévají významy, které lidé drží odděleně. Článek uvádí vtipný příklad: "9.11" je blíže "11. září" než "devět celých jedenáct", protože tokenové embeddingy se průměrují ve všech kontextech, které viděli. Tato "kontextová kontaminace" znemožňuje čisté symbolické uvažování. Mimoto... Transformery dokážou produkovat pouze "vážené průměry" toho, co viděly. Nemohou generovat nové symbolické hodnoty jako "3354" z "43 × 78" pomocí skutečné matematiky. ...