AI-modellkapasitetsvekst har ikke sett ut som måten menneskelig intelligens utvikler seg på, men det er fortsatt en utbredt antagelse blant AI-typer at AGI eller superintelligens uunngåelig vil ha samme fordeling av evner som menneskelige genier har.

karpatiobservasjonen (andre også) om at RL produserer et sett med evner som kanskje aldri vil utvikle seg til AGI (dvs. at skalering av treningsdata og forbedring av datakvalitet aldri kan føre til modeller som er standard agentiske eller nye innsiktsgenererende eller w/e) kan også generalisere

det vil si at det ikke ser ut til å være en lov i universet som sier at hele pakken med menneskelig intelligens på tvers av befolkningen vil kunne replikeres ved hjelp av ML-teknikker i det hele tatt, enn si en gitt forskningsretning

det virker veldig plausibelt for meg (en idiot forresten) at du kan bygge kontinuerlig lærende agentiske AI-modeller som er i stand til å gjøre nesten alt av en juridisk analytikers arbeid på toppnivå i et firma, men bare 50 eller 60 % av arbeidet til en juridisk forsker som jobber i et nytt felt

Dette er åpenbart for advokater forresten fordi de vet at advokater som jobber i nye felt eller underfelt i utgangspunktet bare finner på lov ved analogi osv.

ikke en fysikkfyr, men tilsvarende ville være at du kan være vert for 10 000 selvforbedrende gradsstudenter i et datasenter uten å være i stand til å gjøre jobben til en einstein (eller hva som helst - idk hvis "når vil AGI erstatte einstein" er en nyttig hypotetisk i det hele tatt)

Selv om du antar at det er mulig å gjenskape menneskelig innsikt samlet med, for eksempel, en kombinasjon av flere forskjellige modellarkitekturer sammen – det ser for meg mye ut som den typen grind-y optimaliseringsproblem som tuning Frontier-modeller har blitt nå.