Nvidia, Bence Groq'u iki nedenle satın alıyor.   1) Çıkarım, ön doldurma ve kod çözme olarak ayrılmaktır. SRAM mimarileri, performansın esas olarak bellek bant genişliğine bağlı olduğu iş yüklerinde kod çözmede benzersiz avantajlara sahiptir. Rubin CPX, Rubin ve Groq'tan türetilen varsayılan "Rubin SRAM" varyantı, Nvidia'ya çipleri karıştırıp eşleştirme yeteneği sağlayarak her iş yükü için performans ile maliyet arasında optimal dengeyi yaratma imkanı sunmalı. Rubin CPX, nispeten düşük bant genişliğine sahip GDDR DRAM'i sayesinde aşırı yüksek bellek kapasitesi sayesinde ön doldurma sırasında büyük bağlam pencereleri için optimize edilmiştir. Rubin, HBM DRAM'iyle bellek bant genişliği ile kapasite arasında denge kurarak eğitim ve yüksek yoğunluklu, toplu çıkarım iş yükleri için bir iş atıdır. Groq'tan türetilen "Rubin SRAM", SRAM'ın son derece yüksek bellek bant genişliği nedeniyle ultra düşük gecikmeli ajanik akıl çıkarma iş yükleri için optimize edilmiştir ve bunun bedeli daha düşük bellek kapasitesidir. İkinci durumda, ön doldurma için muhtemelen CPX veya normal Rubin kullanılacaktır.   2) SRAM mimarilerinin GPU, TPU veya şimdiye kadar gördüğümüz herhangi bir ASIC'ten çok daha yüksek token başına metriklere ulaşabildiği uzun zamandır belli. Bireysel kullanıcı başına son derece düşük gecikme, bunun maliyeti dolar başına verimlilik kaybı. 18 ay önce, son kullanıcıların bu hız için ödeme yapmaya istekli olup olmadığı daha belirsizdi (SRAM çok daha küçük parti boyutları nedeniyle token başına daha pahalı). Cerebras ve Groq'un son sonuçlarından kullanıcıların hız için ödeme yapmaya istekli olduğu artık açıkça belli oluyor.   TPU, AI5 ve Trainium hariç tüm ASIC'lerin sonunda iptal edileceğine dair güvenimi artırıyor. 3 Rubin varyantı ve ilgili birden fazla ağ çipi ile rekabet etmekte bol şans. Yine de OpenAI'nin ASIC'inin şaşırtıcı derecede iyi olacağı (Meta ve Microsoft ASIC'lerinden çok daha iyi) gibi görünüyor.   AMD'nin ne yaptığını görelim. Intel zaten bu yönde ilerliyor (önceden doldurma optimize edilmiş bir SKU'ya sahipler ve en zayıf SRAM rakibi olan SambaNova'yı satın aldılar). Meta'nın Rivos'u satın alması biraz komik. Ve benim taraflı olduğum Cerebras, şimdi çok ilginç ve son stratejik bir konumda; kamuya açık bilgiye göre, tüm kamu kıyaslamalarında Groq'un önünde olan son bağımsız SRAM oyuncusu. Ancak Groq'un "çok çipli" rack mimarisi, Nvidia'nın ağ yığınıyla ve belki tek bir rack içinde entegre edilmesi çok daha kolaydı; oysa Cerebras'ın WSE'si neredeyse bağımsız bir rack olmak zorundaydı.

Açıklık açısından ve bazılarının yanıtlarında belirttiği gibi, Nvidia'nın aslında Grok'u satın almadığını belirtmeliyim. Bu, bazı Grok mühendislerinin Nvidia'ya katıldığı münhasır olmayan bir lisans anlaşmasıdır. Grok, bulut işlerini bağımsız bir şirket olarak yürütmeye devam edecek; bu şirket Nvidia ve müşterilerine, ister hiper ölçekleyici ister neocloud olsun, fiilen rakip olacak. Net, net yapay zeka kullanıcıları için harika olmalı. Daha fazla rekabet, daha fazla jeton. Herkese Mutlu Noeller ve Jetonlar Olsun.