Mezi "Attention is All You Need" a vydáním ChatGPT uplynulo pět a půl roku. Od té doby uplynuly další tři roky. Většinu dne jsem se snažil složit slova, která by nějak dávala smysl těm letům. Když "pozornost" padla, bylo mi 19 let a pracoval jsem v průmyslové ML laboratoři na parsování dokumentů. Jazykové modelování bylo tehdy nepochybně kulturní zaostalostí, zejména ve zdravotnictví. IBM Watson právě spálil několik miliard dolarů během prvního velkého NLP horečnatého snu a představa, že by se do tohoto oboru vrátilo i jen pár milionů dolarů, se zdála neuvěřitelná. Následující léto vyšla generativní předškolní práce. Pamatuji si, že mi ho přeposlal tehdejší přítel tehdejší spolubydlící z vysoké školy, která vedla firmu na zpracování dokumentů v bostonském průmyslovém nízkopodlažním domě. když jste přimhouřili oči, společně vytvořili dostatečný obraz výzkumného programu, abyste získali opravdu dobré průmyslové NLP. Můžete si představit kurátorství datových sad a možná i najít dost peněz na propojení několika GPU, možná byste získali něco užitečného. Na podzim jsem dal výpověď, abych se věnoval modelům. Duchovním centrem komunity "AI je tak trochu reálná" v té době tvořila skupina skupinových domů v Berkley, které byly přesvědčené, že vyřešily lidskou psychologii. Ještě pár let trvalo, než se zhroutili v skandálu vyvolávání démonů a ještě další dva roky od té doby, než se zákony o škálování vyjasní. A ještě mnohem, mnohem déle než ChatGPT. Ta mezera mě pronásleduje. Pět a půl roku to byla věčnost, ale teď o tom mluvíme, jako by to byla přímá čára. Nebylo. Byla to klikatá cesta s obrovským množstvím kapitálu spáleným, zničenými firmami a desítkami slepých uliček. Teď všichni předpokládají, že fáze nasazení bude okamžitá. že protože máme inteligenci, ekonomika se kolem toho plynule přetvoří. Ale když se podívám na systémy, do kterých se snažíme tyto věci vstříknout – lidské procesy z masa a kostí – připadá mi nemožné necítit stejný pocit dilatace času. Zprovoznit model byl technologický problém. Přimět svět, aby s tím pracoval, je všechno, jen ne to. Cesta k skutečnému ekonomickému rozptýlení bude mnohem delší, než kolik kapitálové trhy dovolí. Jenže tentokrát to není IBM, které spaluje pár miliard. Jsou to všichni. Každý mega cap. Každý startup. Biliony v tržní kapitalizaci sází na časové osy nasazení, které předpokládají, že lidské organizace se budou chovat jako technologické produkty. ...