Trendaavat aiheet
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Gavin Baker
Managing Partner & CIO, @atreidesmgmt. Mies, @l3eckyy. Ei sijoitusneuvoja, näkemykseni ovat omat. https://t.co/pFe9KmNu9U
Rakastan @semianalysis, mutta kilpailu on hyväksi kaikille, ja @fundabottom tekee erinomaista työtä tekoälyn ja sen taustalla olevien kehittyvien datakeskusarkkitehtuurien parissa.

FundaAI5.1. klo 23.48
Deep| $LITE: Googlen äskettäin esitelty räkkikytkinalusta on itse asiassa positiivinen arvo OCS:lle ja optiikolle
FundaAI
Viime aikoina on käyty laajaa keskustelua Googlen uuden räkkikotelon sisäisen kytkinalustan tuomisesta tuleviin TPU-räkkeihin. Vallitseva näkemys on, että tämä uusi kytkinalusta, kun se yhdistetään ulkoisille asiakkaille myytyjen TPU-räkkien kanssa, korvaa 3D-torusverkon CLOS-verkolla, joten se voi olla negatiivinen OCS:lle.
Tunnistimme tämän muutoksen hyvin varhaisessa vaiheessa ja teimme omat toimitusketjun tarkistukset. Huomasimme, että useimmat analyysit ymmärtävät Googlen verkkotopologian merkittävästi väärin, minkä vuoksi kirjoitimme tämän huomautuksen tilanteen selventämiseksi. Tämä sekaannus on ollut olemassa pitkään, pääasiassa siksi, että Googlen verkkoarkkitehtuuri on aidosti ainutlaatuinen.
Yksityiskohtainen raportti

18
Nvidia ostaa Groqin mielestäni kahdesta syystä.
1) Päättely tarkoittaa jakautumista esitäytteeksi ja dekoodaukseksi. SRAM-arkkitehtuureilla on ainutlaatuisia etuja dekoodauksessa työkuormissa, joissa suorituskyky riippuu ensisijaisesti muistin kaistanleveydestä. Rubin CPX, Rubin ja oletettu "Rubin SRAM" -variantti, joka on johdettu Groqista, antavat Nvidialle mahdollisuuden yhdistellä siruja optimaalisen tasapainon luomiseksi suorituskyvyn ja kustannusten välillä jokaiselle työkuormalle. Rubin CPX on optimoitu massiivisiin kontekstiikkunoihin esitäytön aikana erittäin suuren muistikapasiteetin ja suhteellisen pienen kaistanleveyden GDDR DRAMin ansiosta. Rubin on työjuhta koulutuksessa ja tiheissä, eräpäättelytehtävissä, ja sen HBM DRAM löytää tasapainon muistin kaistanleveyden ja kapasiteetin välillä. Groqista johdettu "Rubin SRAM" on optimoitu erittäin matalan viiveen agenttisiin päättelyihin SRAMin erittäin suuren muistikaistanleveyden vuoksi, mutta muistikapasiteetin kustannuksella. Jälkimmäisessä tapauksessa esitäyttönä käytetään todennäköisesti joko CPX:ää tai tavallista Rubinia.
2) On ollut pitkään selvää, että SRAM-arkkitehtuurit voivat saavuttaa token per sec -mittareita paljon korkeammin kuin GPU:t, TPU:t tai mikään ASIC, jonka olemme aiemmin nähneet. Erittäin alhainen viive yksittäistä käyttäjää kohden, mutta se heikentää läpimenoa per dollari. 18 kuukautta sitten oli vähemmän selvää, olivatko loppukäyttäjät valmiita maksamaan tästä nopeudesta (SRAM on kalliimpi per token paljon pienempien eräkoojen vuoksi). Cerebrasin ja Groqin viimeaikaisista tuloksista on nyt täysin selvää, että käyttäjät ovat valmiita maksamaan nopeudesta.
Se lisää luottamustani siihen, että kaikki ASIC:t paitsi TPU, AI5 ja Trainium perutaan lopulta. Onnea kilpailuun kolmen Rubin-version ja useiden niihin liittyvien verkkopiirien kanssa. Vaikka kuulostaa siltä, että OpenAI:n ASIC tulee olemaan yllättävän hyvä (paljon parempi kuin Metan ja Microsoftin ASIC:t).
Katsotaanpa, mitä AMD tekee. Intel on jo siirtynyt tähän suuntaan (heillä on prefill-optimoitu SKU ja he ostivat SambaNovan, joka oli heikoin SRAM-kilpailija). Aika hauskaa, että Meta osti Rivosin.
Ja Cerebras, jossa olen puolueellinen, on nyt erittäin mielenkiintoisessa ja erittäin strategisessa asemassa viimeisenä (julkisen tiedon mukaan) itsenäisenä SRAM-toimijana, joka oli Groqin edellä kaikissa julkisissa vertailuarvoissa. Groqin "monisiruinen" räkkiarkkitehtuuri oli kuitenkin paljon helpompi integroida Nvidian verkkopinoon ja ehkä jopa yhden räkin sisällä, kun taas Cerebrasin WSE on lähes itsenäinen räkki.
338
Johtavat
Rankkaus
Suosikit

