Líbilo se mi, jak hluboce Karpathy vysvětlil, proč trénování umělé inteligence na výstupu umělé inteligence ničí inteligenci. > "Můžete se podívat na každý příklad reflektivních myšlenek LLM a říct si, že to vypadá skvěle, pojďme na to trénovat. Ale ve skutečnosti byste měli očekávat, že se model po tréninku výrazně zhorší." Proč by něco, co vypadá perfektně, model zhoršilo? Karpathy zde dává dokonalý příklad... Požádejte někoho, aby vám dal jméno ženě. Většina lidí neříká Hillary Clintonová. Ale pokud byste umělou inteligenci trénovali na reakcích, kde všichni říkají Hillary Clintonová, to je vše, co by se naučila. > "Řekněme, že máme kapitolu v knize a já požádám LLM, aby se nad tím zamyslel. Dá vám něco, co vypadá velmi rozumně. Ale když se na to zeptám desetkrát, všimnete si, že jsou všechny stejné." Příklady generované umělou inteligencí totiž vypadají skvěle jednotlivě, ale postrádají krásný chaos lidského myšlení. Skuteční lidé jsou nepořádní a nepředvídatelní. > "Lidé jsou mnohem hlučnější a nekolabují v takové míře jako LLM." Místo toho, aby byl hmyzem, je hluk uvnitř nás zdrojem inteligence. Jak se ale lidé tomuto problému kolapsu umělé inteligence vyhnout? > "Lidé se v průběhu svého života zhroutí, ale děti ne. Děti budou říkat věci, které vás šokují. Protože ještě nejsou zhroucené. Ale my [dospělí] jsme zhrouceni." Karpathy říká, že děti vás šokují, protože se ještě nenaučily dávat "správné" odpovědi. Dospělí se však postupem času stávají předvídatelnějšími. ...