Episode 1: Nvidia "Mengakuisisi" Groq Dari @vikramskr dan @theaustinlyons Takeaways Inti: - GPU tidak mati. HBM belum mati. - LPU memecahkan masalah yang berbeda: inferensi deterministik, latensi sangat rendah untuk model kecil. - Model perbatasan besar masih memerlukan sistem berbasis HBM. - Langkah Nvidia memperluas area permukaan portofolio inferensinya daripada menggantikan GPU. - Masa depan infrastruktur AI adalah pengoptimalan khusus beban kerja dan penerapan berbasis TCO. Topik Utama: - Apa yang sebenarnya dibeli Nvidia dari Groq dan mengapa itu bukan akuisisi tradisional - Mengapa kesepakatan tersebut memicu klaim bahwa GPU dan HBM sudah usang - Trade-off arsitektur antara GPU, TPU, XPU, dan LPU - SRAM vs HBM. Kecepatan, kapasitas, biaya, dan realitas rantai pasokan - Dasar-dasar LPU Groq: VLIW, eksekusi terjadwal kompiler, determinisme, latensi sangat rendah - Mengapa LPU berjuang dengan model besar dan di mana mereka unggul - Kasus penggunaan praktis untuk inferensi latensi hiper-rendah: -- Personalisasi salinan iklan pada anggaran latensi penelusuran -- Perutean model dan orkestrasi agen -- Antarmuka percakapan dan terjemahan waktu nyata -- Robotika dan AI fisik di tepi -- Aplikasi potensial dalam AI-RAN dan infrastruktur telekomunikasi - Memori sebagai spektrum desain: SRAM saja, SRAM plus DDR, SRAM plus HBM - Pendekatan portofolio Nvidia yang berkembang untuk inferensi perangkat keras daripada satu ukuran untuk semua