エピソード1:Nvidiaがグロックを「買収」 @vikramskrと@theaustinlyonsから 主なポイント: - GPUは死んでいない。HBMは死んでいません。 - LPUは異なる問題を解決します。それは、小規模モデルにおける決定論的で超低レイテンシの推論です。 - 大型フロンティアモデルは依然としてHBMベースのシステムを必要とします。 - Nvidiaの動きはGPUの置き換えではなく、推論ポートフォリオの表面積を拡大するものです。 - AIインフラの未来は、ワークロード固有の最適化とTCO駆動型の展開です。 主なトピック: - Nvidiaが実際にGroqから何を購入し、なぜ伝統的な買収ではないのか - なぜこの取引がGPUやHBMが時代遅れであるという主張を引き起こしたのか - GPU、TPU、XPU、LPU間のアーキテクチャ上のトレードオフ - SRAM対HBM。スピード、容量、コスト、そしてサプライチェーンの現実 - Groq LPUの基本:VLIW、コンパイラによるスケジュール実行、決定性、超低遅延 - なぜLPUが大規模モデルに苦戦するのか、そしてどこで優れているのか - 超低レイテンシ推論の実用的なユースケース: -- 検索遅延予算における広告コピーのパーソナライズ -- モデルルーティングとエージェントオーケストレーション -- 会話型インターフェースとリアルタイム翻訳 ―― ロボット工学と物理AIが最先端にいる -- AI-RANおよび通信インフラにおける潜在的な応用 - メモリ設計スペクトル:SRAMのみ、SRAMとDDR、SRAMとHBMの両方 - Nvidiaの推論ハードウェアに対するポートフォリオの拡大アプローチ(画一的なものではなく)