Chamath: Dua istilah yang perlu Anda perhatikan dalam AI adalah Prefill dan Decode "Ada dua istilah yang saya pikir Anda akan mendengar banyak tentang beberapa tahun ke depan ini." "Istilah pertama adalah prefill, dan berikutnya adalah decode." "Apa itu prefill dan decode, adalah dua cara yang sangat berbeda tentang bagaimana model berpikir, dan bagaimana model melalui proses menjawab pertanyaan yang Anda ajukan." "Jadi ketika Anda mengirim prompt ke AI, yang terjadi adalah model memprosesnya. Ini disebut fase membaca atau prefill." "Itu membaca seluruh prompt Anda sekaligus. Dan kemudian ia melakukan banyak matematika, menghitung semua hubungan antara semua kata, dan menyimpannya dalam memori sementara." "Masalahnya adalah bahwa ini benar-benar terikat komputasi. Jadi itu membutuhkan kekerasan besar. Dan GPU Nvidia hancur di sini." "Dan arsitektur mereka dirancang untuk pemrosesan paralel besar-besaran, yang membuat mereka benar-benar luar biasa dalam mencerna petunjuk panjang ini." "Jadi masalahnya semakin besar, Nvidia benar-benar mendominasi." "Tapi fase berikutnya, fase kritis ini, fase dekode, adalah fase penulisan, kan?" "Jadi model mulai menghasilkan tanggapan, Anda mengajukan pertanyaan dan tanggapannya, satu token pada satu waktu." "Dan kemudian untuk memilih token berikutnya untuk memilih kata berikutnya, ia harus melihat kembali semua yang telah dikatakannya agar tidak berhalusinasi." "Masalahnya adalah bahwa ini sangat dibatasi bandwidth memori." "Dan dalam arsitektur kami, sejak lama, kami membuat keputusan desain ini sejak hari pertama." "Jadi apa yang kami lakukan adalah kami mengambil pendekatan arsitektur yang sangat berbeda, kami mengambil teknologi proses yang sangat konservatif. Kami tidak mendorong batas-batas fisika." ...