Chamath: Doi termeni la care trebuie să fii atent în AI sunt Prefill și Decode "Sunt doi termeni despre care cred că vei auzi mult în următorii ani." "Primul termen este precomplet, iar următorul este decod." "Ce sunt prefill și decod sunt două moduri foarte distincte de a gândi modelele și a modului în care un model trece prin procesul de a răspunde la o întrebare pe care i-o pui." "Și atunci când trimiți un prompt către AI, modelul îl procesează. Aceasta se numește faza de citire sau preumplure." "Îți citește întregul prompt dintr-o dată. Apoi face o grămadă de calcule, calculează toate aceste relații între toate cuvintele și le stochează în memoria temporară." "Problema este că asta este de fapt limitat de calcul. Deci necesită forță brută masivă. Și GPU-urile Nvidia sunt grozave aici." "Și arhitectura lor este proiectată pentru procesare paralelă masivă, ceea ce îi face cu adevărat uimitori la a digera aceste prompturi lungi." "Deci problema devine tot mai mare, Nvidia domină complet." "Dar următoarea fază, această fază critică, faza de decodare, este faza de scriere, nu?" "Deci modelul începe să genereze un răspuns, îi pui o întrebare și răspunsul lui, un token pe rând." "Și apoi, pentru a alege următorul jeton pentru a alege următorul cuvânt, trebuie să se uite înapoi la tot ce a spus deja ca să nu halucine." "Problema este că această lățime de bandă este extrem de limitată la memorie." "Iar în arhitectura noastră, cu mult timp în urmă, am luat aceste decizii de design încă din prima zi." "Așa că am adoptat o abordare arhitecturală foarte diferită, am adoptat o tehnologie de proces foarte conservatoare. Nu împingeam limitele fizicii." ...