Les Wolframs utmerkede «What is ChatGPT Doing...» (h/t @danielrock). Han skriver at vi lærte mye om hvordan språk fungerer av at GPT3, med bare 175 milliarder vekter, kan emulere det så godt. Dette antyder at det er beregningsmessig mye enklere enn vi kanskje trodde. Men hva med matte? Da dette ble skrevet (2023), var GPT fortsatt veldig dårlig i matte. Modellene ble veldig (veldig) gode i matematikk da den første resonnementmodellen kom ut (o1), som bygde mye mer på forsterkningslæring enn bare brute force-fortrening. Lurer på hva dette sier om matte? Konseptuelt er språk mye mer «uklart» enn matematikk: flere ord kan høres «riktig» ut på samme sted i en setning. Dette er det som får den sannsynlighetsbaserte LLM-arkitekturen til å fungere. Matematikken er mindre uklar. Dette er kanskje grunnen til at det mer «regelbaserte» RL-steget var avgjørende. Men dette innebærer også at formell matematikk er mindre beregningsmessig kompleks enn vi trodde. Tanker? @littmath @alz_zyd_