Rakastan @semianalysis, mutta kilpailu on hyväksi kaikille, ja @fundabottom tekee erinomaista työtä tekoälyn ja sen taustalla olevien kehittyvien datakeskusarkkitehtuurien parissa.

Kun Patriots ja Eagles pelaavat samaan aikaan.

Nvidia ostaa Groqin mielestäni kahdesta syystä.   1) Päättely tarkoittaa jakautumista esitäytteeksi ja dekoodaukseksi. SRAM-arkkitehtuureilla on ainutlaatuisia etuja dekoodauksessa työkuormissa, joissa suorituskyky riippuu ensisijaisesti muistin kaistanleveydestä. Rubin CPX, Rubin ja oletettu "Rubin SRAM" -variantti, joka on johdettu Groqista, antavat Nvidialle mahdollisuuden yhdistellä siruja optimaalisen tasapainon luomiseksi suorituskyvyn ja kustannusten välillä jokaiselle työkuormalle. Rubin CPX on optimoitu massiivisiin kontekstiikkunoihin esitäytön aikana erittäin suuren muistikapasiteetin ja suhteellisen pienen kaistanleveyden GDDR DRAMin ansiosta. Rubin on työjuhta koulutuksessa ja tiheissä, eräpäättelytehtävissä, ja sen HBM DRAM löytää tasapainon muistin kaistanleveyden ja kapasiteetin välillä. Groqista johdettu "Rubin SRAM" on optimoitu erittäin matalan viiveen agenttisiin päättelyihin SRAMin erittäin suuren muistikaistanleveyden vuoksi, mutta muistikapasiteetin kustannuksella. Jälkimmäisessä tapauksessa esitäyttönä käytetään todennäköisesti joko CPX:ää tai tavallista Rubinia.   2) On ollut pitkään selvää, että SRAM-arkkitehtuurit voivat saavuttaa token per sec -mittareita paljon korkeammin kuin GPU:t, TPU:t tai mikään ASIC, jonka olemme aiemmin nähneet. Erittäin alhainen viive yksittäistä käyttäjää kohden, mutta se heikentää läpimenoa per dollari. 18 kuukautta sitten oli vähemmän selvää, olivatko loppukäyttäjät valmiita maksamaan tästä nopeudesta (SRAM on kalliimpi per token paljon pienempien eräkoojen vuoksi). Cerebrasin ja Groqin viimeaikaisista tuloksista on nyt täysin selvää, että käyttäjät ovat valmiita maksamaan nopeudesta.   Se lisää luottamustani siihen, että kaikki ASIC:t paitsi TPU, AI5 ja Trainium perutaan lopulta. Onnea kilpailuun kolmen Rubin-version ja useiden niihin liittyvien verkkopiirien kanssa. Vaikka kuulostaa siltä, että OpenAI:n ASIC tulee olemaan yllättävän hyvä (paljon parempi kuin Metan ja Microsoftin ASIC:t).   Katsotaanpa, mitä AMD tekee. Intel on jo siirtynyt tähän suuntaan (heillä on prefill-optimoitu SKU ja he ostivat SambaNovan, joka oli heikoin SRAM-kilpailija). Aika hauskaa, että Meta osti Rivosin. Ja Cerebras, jossa olen puolueellinen, on nyt erittäin mielenkiintoisessa ja erittäin strategisessa asemassa viimeisenä (julkisen tiedon mukaan) itsenäisenä SRAM-toimijana, joka oli Groqin edellä kaikissa julkisissa vertailuarvoissa. Groqin "monisiruinen" räkkiarkkitehtuuri oli kuitenkin paljon helpompi integroida Nvidian verkkopinoon ja ehkä jopa yhden räkin sisällä, kun taas Cerebrasin WSE on lähes itsenäinen räkki.