NVIDIA heeft een potentiële concurrent overgenomen. NVIDIA heeft gisteravond aangekondigd een deal van 20 miljard dollar in contanten te hebben gesloten met het AI-chipstartbedrijf Groq. Natuurlijk zei de officiële verklaring ook: het is geen overname van het bedrijf Groq, maar alleen een technologische licentie, en de producten van Groq zullen worden geïntegreerd in toekomstige producten. Groq, opgericht in 2016 door een groep voormalige Google-ingenieurs, is de kern van TPU en richt zich op het ontwerp van high-performance AI-versnellers. Deze stap van NVIDIA kan worden gezien als een poging om Google van achteren te benaderen en de focus op inferentie te versnellen. Wat betreft de technische route: 1) het is alsof NVIDIA van een enkele GPU (graphics processing unit) route overstapt naar een dual-track fusie van "GPU + LPU", van "algemene parallelle berekening" naar "specifieke deterministische inferentie". 2) Vooral op het gebied van opslag, van HBM naar SRAM; HBM (high bandwidth memory) heeft een grote capaciteit, maar de bandbreedte is beperkt. De LPU van Groq vertrouwt bijna volledig op on-chip SRAM (static random access memory), met een bandbreedte tot 80 TB/s (ongeveer 10 keer die van HBM). Er zijn beweringen dat naarmate het verhaal van Groq sterker wordt, het verhaal over opslag mogelijk zwakker wordt. Dit is iets om in de gaten te houden voor de toekomstige trends in opslagrechten.