3 RZECZY, KTÓRE MAJĄ ZNACZENIE W ZWIĄZKU Z UMOWĄ $NVDA + GROQ 1. Chodziło o posiadanie ekonomiki wnioskowania, a nie o naprawę luki w chipach Nvidia nie zatrudniła Groq, ponieważ miała zaległości w chipach, ponieważ Nvidia już dominuje w szkoleniu i większości wnioskowania, a jej plan rozwoju (GB300, Rubin) nadal obniża koszty na token, jednocześnie zwiększając wydajność szybciej niż prawie ktokolwiek inny. Szkolenie to jednorazowe wydarzenie, podczas gdy wnioskowanie to miejsce, w którym żyje nowy model biznesowy AI, więc w miarę jak AI przechodzi do prawdziwych produktów, pieniądze przesuwają się do tych, którzy kontrolują czas działania. 2. Przyszłość, w której wnioskowanie ucieka od Nvidii, właśnie została wchłonięta Groq był jednym z nielicznych wiarygodnych dowodów na to, że wnioskowanie wrażliwe na opóźnienia może ostatecznie przenieść się z GPU, a z czasem mogłoby to podważyć „nieunikniony” status Nvidii. Ryzyko zostało wzmocnione przez założyciela Groq, Jonathana Rossa, który wcześniej budował TPU w $GOOGL i już udowodnił, że niestandardowy krzem może konkurować w rzeczywistych obciążeniach. Ta umowa zamyka tę drogę, zanim mogła się rozwinąć. 3. Deterministyczne wnioskowanie było brakującą warstwą GPU doskonale radzą sobie z elastycznością i skalowalnością, ale nigdy nie były zaprojektowane, aby gwarantować idealnie spójne czasy odpowiedzi. To ma znaczenie, ponieważ AI w rzeczywistym świecie zawodzi, gdy występują wahania opóźnienia: asystenci głosowi się zatrzymują, tłumaczenie na żywo się opóźnia, agentowe przepływy pracy kumulują opóźnienia. Groq rozwiązał to, projektując wokół dużych ilości SRAM, trzymając dane blisko procesora i dostarczając szybkie odpowiedzi za każdym razem. To sprawiło, że Groq był wyjątkowo przystosowany do AI w czasie rzeczywistym, gdzie opóźnienie ma większe znaczenie niż maksymalna przepustowość. W tym momencie trudno jest argumentować, że Nvidia sprzedaje tylko chipy, gdy wyraźnie buduje platformę, która kontroluje szkolenie, sieci i teraz wnioskowanie w czasie rzeczywistym. $20B dzisiaj, aby uniknąć problemu za $200B później.