Philip Clark (@PJClark), Partner di Thrive Capital (@ThriveCapital), memanfaatkan investasi di OpenAI, Cursor, Physical Intelligence, & latar belakang semikonduktornya untuk menguraikan 3 poin besar tentang keadaan pengembangan AI: 1.) Terobosan AI tidak linier. Mereka datang dalam gelombang arsitektur, seperti silikon. Analogi semikonduktor Philip membingkai ulang kemajuan AI sebagai urutan pergeseran paradigma seperti perangkat keras. Ketika satu jalur mencapai batasnya (single-core → multi-core; pra-pelatihan → pasca-pelatihan), arsitektur baru muncul. AI tidak berkembang melalui penyetelan inkremental. itu maju melalui penemuan kembali struktural. 2.) Pembelajaran penguatan adalah era arsitektur berikutnya (untuk saat ini) Philip membingkai pembelajaran penguatan sebagai penerus pasca-pelatihan: fondasi baru, bukan pengoptimalan. Tapi secara kritis, dia menekankan itu bukan yang terakhir. Sama seperti perangkat keras yang terus melompat dari single-core ke multi-core ke GPU, AI akan mengalami beberapa gelombang paradigma, masing-masing membuka plafon kinerja baru. Pembelajaran penguatan hanyalah gelombang berikutnya, bukan gelombang terakhir. 3.) Parit OpenAI bukanlah modelnya.. itu adalah kemampuannya untuk terus menemukan paradigma berikutnya. Philip berpendapat keuntungan inti adalah hulu produk: setiap terobosan arsitektur besar dalam model besar berasal dari OpenAI. Pertahanan mereka berasal dari berulang kali menemukan "hal berikutnya" sambil secara bersamaan mengoperasionalkan yang sebelumnya . kombinasi langka di industri apa pun, apalagi yang ditentukan oleh lompatan terputus-putus. . . . Molly: "Salah satu sponsor yang dengan bangga mensponsori Sourcery adalah @turingcom, jadi saya mendapatkan paparan ke sisi penelitian AI—akselerator penelitian AI [kami telah mewawancarai CEO, @jonsidd]. Mereka membantu dengan model. Dan saat ini, mereka memperhatikan pergeseran parah dalam satu atau dua kuartal terakhir dari data imitasi dan data sintetis ke pembelajaran penguatan. Jadi saya ingin tahu bagaimana Anda melihatnya di sisi teknis, dan kemudian juga di sisi aplikasi?" Philip: "Saya pikir AI sedikit seperti semikonduktor dalam arti tertentu—jika saya diizinkan untuk kembali ke semikonduktor, batu ujian yang hebat. Dalam arti bahwa ada banyak, banyak gelombang saat kami mencoba untuk mendapatkan kinerja yang lebih baik dan lebih baik. Anda tahu, dengan semikonduktor, kami dulu memiliki semikonduktor inti tunggal. Kemudian kami pada dasarnya tidak bisa memeras apa pun lagi dari satu inti, jadi kami beralih ke multi-core. Dan kemudian kami pergi ke GPU. Dan saya pikir kita melihat sesuatu yang sangat mirip dengan AI, yaitu bahwa kita memulai dengan pra-pelatihan di era GPT-1, GPT-2, GPT-3. Itu membawa kami ke GPT-4. Kemudian kami mulai menggunakan banyak teknik pasca-pelatihan untuk ChatGPT—penyempurnaan yang diawasi, pembelajaran penguatan dengan umpan balik manusia. Inilah yang memungkinkan model menjadi kurang kecerdasan alien dan asisten yang lebih membantu. Dan sekarang, karena banyak buah yang menggantung rendah dari keuntungan tersebut telah diperas (meskipun mungkin masih banyak yang harus dilakukan), pembelajaran penguatan telah menjadi perubahan paradigma besar berikutnya dalam AI dan ke mana banyak sumber daya pergi....