Orang yang menemukan arsitektur chip di dalam 99% dari semua prosesor mengatakan GPU NVIDIA dibuat sama sekali salah untuk era AI ini... Argumennya: GPU dirancang untuk pelatihan. Tetapi kesimpulan, di mana semua uang dihasilkan, adalah masalah yang berbeda secara fundamental Ini terikat memori dan berurutan. Dan tidak ada chip yang pernah dirancang khusus untuk itu. Setiap GPU dan TPU yang digunakan untuk inferensi saat ini hanyalah chip pelatihan yang diperkecil. Kemacetan sebenarnya adalah memori. Dan setiap tren yang paling disukai industri (MoE, penalaran, konteks panjang, multimodal) membuat masalah memori menjadi lebih buruk. Siklus perangkat keras $100B+ berikutnya akan dimenangkan oleh siapa pun yang memecahkan dinding memori terlebih dahulu