Chamath: Dwa terminy, na które musisz zwrócić uwagę w AI, to Prefill i Decode „Są dwa terminy, o których myślę, że usłyszysz mnóstwo w ciągu najbliższych kilku lat.” „Pierwszym terminem jest prefill, a następnie decode.” „Czym są prefill i decode, to dwa bardzo różne sposoby myślenia modeli oraz sposób, w jaki model przechodzi przez proces odpowiadania na pytanie, które mu zadajesz.” „Kiedy wysyłasz zapytanie do AI, to, co się dzieje, to model je przetwarza. Nazywa się to fazą czytania lub prefill.” „Czyta całe twoje zapytanie za jednym razem. A potem wykonuje mnóstwo obliczeń, oblicza wszystkie te relacje między wszystkimi słowami i przechowuje je w pamięci tymczasowej.” „Problem polega na tym, że to jest naprawdę ograniczone przez obliczenia. Wymaga więc ogromnej mocy obliczeniowej. A karty graficzne Nvidia radzą sobie tutaj doskonale.” „A ich architektura jest zaprojektowana do masowego przetwarzania równoległego, co sprawia, że są naprawdę niesamowite w przetwarzaniu tych długich zapytań.” „Więc problem staje się coraz większy, Nvidia po prostu całkowicie dominuje.” „Ale następna faza, ta krytyczna faza, faza decode, to faza pisania, prawda?” „Więc model zaczyna generować odpowiedź, zadajesz mu pytanie, a jego odpowiedź, jeden token na raz.” „Aby wybrać następny token, następne słowo, musi spojrzeć wstecz na wszystko, co już powiedział, aby nie halucynować.” „Problem polega na tym, że to jest niezwykle ograniczone przez przepustowość pamięci.” „A w naszej architekturze, dawno temu, podjęliśmy te decyzje projektowe od samego początku.” „I to, co zrobiliśmy, to przyjęliśmy bardzo różne podejście architektoniczne, przyjęliśmy bardzo konserwatywną technologię procesową. Nie przesuwaliśmy granic fizyki.” ...