Makalah akademis pertama saya yang diterbitkan adalah tentang Hukum Moore dan saat ini pengembangan AI terlihat serupa: eksponensial Hukum Moore bukanlah hasil dari satu teknologi, melainkan banyak teknologi berbeda selama beberapa dekade yang siap ketika satu pendekatan pembuatan chip goyah. Laju reguler Hukum berfungsi sebagai fungsi koordinasi sehingga sekelompok pesaing yang selalu berubah ditekan untuk menciptakan nubuat yang terpenuhi sendiri tentang pertumbuhan kemampuan yang berkelanjutan. Demikian pula, pengembangan AI telah mencapai sejumlah gundukan kecepatan yang harus diatasi dengan teknik dan penelitian baru (pendekatan data sintetis, penalaran, penggunaan baru untuk RL). Tetapi kecuali Anda orang dalam (atau mengikuti AI dengan cermat di X), Anda tidak melihat gundukan kecepatan itu: hanya kemajuan eksponensial yang stabil. Mengingat jumlah uang dan bakat di ruang ini, saya berharap bahwa bahkan jika pra-pelatihan atau apa pun menabrak tembok, kita akan melihat transisi cepat dari seluruh industri ke satu atau lebih dari banyak pendekatan lain yang dikembangkan orang. Anda sudah dapat melihat ini: mengerjakan model dunia, alternatif untuk LLM, metode pelatihan baru, dll. Bahkan ekosistem alternatif yang bertaruh pada munculnya model kecil yang disesuaikan, dll. Beberapa teknik ini berasal dari startup, yang lain sedang dikembangkan di laboratorium AI itu sendiri. Orang-orang di X cenderung masuk ke detail, memperlakukan AI seperti olahraga, bersorak untuk atau melawan tim dan pendekatan. Tetapi dalam rentang waktu yang wajar, ada kemungkinan bahwa pengembangan AI terlihat seperti eksponensial yang mulus pada banyak metrik bagi orang lain.