Baca karya Wolfram yang luar biasa "Apa yang Dilakukan ChatGPT..." (h / t @danielrock). Dia menulis bahwa kita belajar banyak tentang cara kerja bahasa dari fakta bahwa GPT3, dengan hanya 175 miliar bobot, mampu menirunya dengan sangat baik. Ini menyiratkan bahwa secara komputasi jauh lebih sederhana daripada yang mungkin kita kira. Tapi bagaimana dengan matematika? Pada saat ini ditulis (2023), GPT masih sangat buruk dalam matematika. Model-model menjadi sangat (sangat) pandai dalam matematika ketika model penalaran pertama keluar (o1), yang lebih mengandalkan pembelajaran penguatan daripada hanya prapelatihan brute force. Ingin tahu apa yang dikatakan ini tentang matematika? Secara konseptual, bahasa jauh lebih "kabur" daripada matematika: banyak kata dapat terdengar "benar" di tempat yang sama dalam sebuah kalimat. Inilah yang membuat arsitektur LLM probabilistik berfungsi. Matematika tidak terlalu kabur. Mungkin inilah sebabnya mengapa langkah RL yang lebih "berbasis aturan" sangat penting. Tetapi ini juga menyiratkan matematika formal kurang kompleks secara komputasi daripada yang kita kira. Pikiran? @littmath @alz_zyd_