@semianalysisは好きですが、競争は誰にとっても良いものであり、@fundabottom AIとその基盤となる進化するデータセンターアーキテクチャに関して素晴らしい仕事をしています。

ペイトリオッツとイーグルスが同時に試合をするとき。

NvidiaがGroqを買収する理由は2つあると思います。   1) 推論はプリフィルとデコードに分解されます。SRAMアーキテクチャは、性能が主にメモリ帯域幅に依存するワークロードに対してデコードにおいて独自の利点があります。Rubin CPX、Rubin、そしてGroq由来の「Rubin SRAM」バリアントは、Nvidiaが各ワークロードに対して性能とコストの最適なバランスを実現するためにチップを組み合わせることを可能にするはずです。Rubin CPXは、比較的低帯域幅のGDDR DRAMにより、超大容量メモリ容量を持つため、プリフィル中の大規模なコンテキストウィンドウに最適化されています。Rubinは、HBM DRAMがメモリ帯域幅と容量のバランスを取ったトレーニングや高密度のバッチ推論ワークロードの主力です。Groq由来の「Rubin SRAM」は、非常に高いメモリ帯域幅を持つ代わりにメモリ容量が減ることで、超低遅延のエージェント推論推論ワークロードに最適化されています。後者の場合、プリフィルにはCPXまたは通常のRubinが使われる可能性が高いです。   2) SRAMアーキテクチャは、これまでに見られたどのASICよりもはるかに高いトークン/秒の指標を達成することは、長い間明らかでした。個々のユーザーごとの非常に低い遅延を実現し、その代わりに1ドルあたりのスループットが犠牲になります。18ヶ月前はエンドユーザーがこの速度に支払う意思があるかどうかは不明でした(SRAMはバッチサイズがはるかに小さいためトークンあたりのコストが高かったためです)。CerebrasとGroqの最近の結果から明らかなのは、ユーザーが速度のために支払う意思があることです。   TPU、AI5、Trainiumを除くすべてのASICが最終的にキャンセルされるという自信が高まりました。3つのRubinバリアントと複数の関連ネットワークチップで競争するのは難しいでしょう。ただ、OpenAIのASICは意外と良い(MetaやMicrosoftのASICよりずっと良い)らしいですね。   AMDがどうやるか見てみましょう。インテルはすでにこの方向に進んでいます(プリフィル最適化されたSKUを持ち、最も弱いSRAM競合であったSambaNovaを買収しています)。MetaがRivosを買収したのはちょっと面白いですね。 そして、私が偏っているところではCerebrasは、今や非常に興味深く戦略的な立場にあります。これは(公の知識によれば)すべての公開ベンチマークでGroqを上回った最後の独立SRAMプレイヤーです。一方、Groqの「多チップ」ラックアーキテクチャは、Nvidiaのネットワークスタックと統合しやすく、場合によっては単一のラック内でも統合できたかもしれませんが、CerebrasのWSEはほぼ独立したラックでなければなりませんでした。