Social Science Prediction Platform ble nettopp analysert for å forstå hvor flinke forskere er til å forutsi størrelsen på studieeffekter. De gjør ikke en god jobb med det🧵 Forskere overvurderer rutinemessig hvor store effektene deres vil bli!

Når du sammenligner det forskerne forutsier (b) og hva de finner (a), er forutsigelsene rett og slett mye større enn realitetene på bakken. Og dette diagrammet nedenfor kan overvurdere prediksjonsnøyaktigheten, siden korrelasjonen er en betydelig, men ikke selvtillitsskapende 0,453.

Som en forbehold for dette resultatet er det relativt mindre feilvurdering for RCT-resultater, og relativt mer for ikke-RCT-resultater. Men, interessant nok, er den absolutte graden den samme.

Hvilke faktorer påvirket prediksjonsnøyaktigheten? Den mest kraftfulle faktoren var folkemengdenes visdom: grupper av mennesker overgikk enkeltpersoner, avgjørende! I tillegg slo akademikere ikke-akademikere, betalte prediktorpaneldeltakere slo ikke-paneldeltakere, og selvtilliten var ikke-lineært dårlig!

Selvsikre mennesker er, absolutt, generelt mindre nøyaktige. Men sammenlignet med de usikre med de på medianen, er det ingen forskjell. Det er når du får høy selvtillit at mønsteret viser seg.

Grunnen er at de svært selvsikre forutsier større effektstørrelser, av en eller annen grunn.

Mer interessant er det at tillit mellom personer er det som korrelerer med lavere nøyaktighet, men tillit mellom personer er korrelert med høyere nøyaktighet. Det vil si, når du ser på folk over tid, er deres mer selvsikre spådommer de bedre!

Mange andre faktorer spilte små, men viktige roller i prediksjonsnøyaktighet, og jeg anbefaler absolutt å lese artikkelen for å lære mer. Men det jeg anbefaler å ta med deg fra dette, er at folk generelt fortsatt ikke er særlig gode til å forutsi vitenskap.

På en måte er dette en god ting. Hvis alt kunne forutsies perfekt, ville vi ikke trengt å forske i det hele tatt. I en annen er det en dårlig ting, hovedsakelig på grunn av detaljene. Nemlig at forskere er overmodige og de ser ut til å overhype resultatene.

På en annen måte er dette veldig informativt som støtter poengene jeg har tatt opp andre steder For eksempel er et av argumentene som høres til forsvar for at altfor mange p-verdier i litteraturen ligger rett på kanten av signifikans, at forskerne «forutsa» at Ikke sant!

Argumentet er at forskerne gjorde en effektanalyse – som krever at man velger en forhåpentligvis realistisk effektstørrelse – og derfor forventes resultatene deres å være akkurat signifikante. Men det er de ikke. Hvis du har 80 % effekt, er de fleste p-verdiene dine fra signifikansgrensen.

Ingen kan forutsi hvor p-verdien vil være uten mer presis kunnskap om behandlingseffekter, varians og så videre, og dette er utilgjengelig kunnskap. Men folk forsvarer det umulige, og det faktum at forskere forutsier behandlinger dårlig, støtter denne oppfatningen.