, spurte @dwarkesh_sp @ilyasut "Hvordan fikk du din beste forskningssmak?" Den tidligere sjefsforskeren i OpenAI sa: «Det som virkelig kan utvide gapet mellom toppforskere, er ikke regnekraft (Compute) eller ren intelligens (Intelligence), men estetisk (Estetikk/Smak). ” «Skalaloven» som AI-feltet tidligere stolte på, nærmer seg sin grense, og markerer slutten på en æra hvor man stolte på råstyrke-estetikk for å drive fremgang. Fremtidige gjennombrudd vil basere seg på kraftigere læringsmetoder og algoritmer, kjent som «forskning». Grunnen til at forskningssmak er viktig, er fordi den peker på den underliggende sannheten om intelligens. Ilya mener at gode AI-arkitekturer og læringsmekanismer bør «matche hjernens iboende struktur», det vil si finne de riktige heuristikkene for menneskelig læring: menneskehjernen er et svært allsidig og ekstremt effektivt læringssystem som kan mestre nye ferdigheter på svært kort tid (slik som en tenåring som lærer å kjøre på bare 10 timer). Fremtidige AI-gjennombrudd vil komme fra denne mer effektive og allsidige læringsmetoden, i stedet for bare å øke mengden data eller modellstørrelse. Perspektivet til medoppfinneren av sentrale gjennombrudd som AlexNet, Seq2Seq, AlphaGo, GPT-3 og flere antyder en overskridelse av empirisme: Data kan være misvisende Trender kan utløpe Men USA vil ikke gjøre det