På tvers av 68 000 metaanalyser, inkludert over 700 000 estimater for effektstørrelse, hadde korrigering for publikasjonsskjevhet en tendens til å: - Reduser effektstørrelser markant - Redusere sannsynligheten for at det i det hele tatt er en effekt Økonomi hardest rammet:
Selv dette er kanskje for sjenerøst. Husk at korrigering for publikasjonsskjevhet ofte gir effekter som fortsatt er større enn effektene oppnådd i påfølgende storskala replikasjonsstudier.
Et godt eksempel på dette kommer fra priming-studier. Husker du money priming, hvor bare det å se eller håndtere penger gjorde folk mer egoistiske og bedre i forretninger? Disse studiene ble rammet av publikasjonsskjevhet, men forhåndsregistrerte studier klarte ikke å finne noe.
Tilsvarende i studier som er finansiert av myndigheter som krever - Forhåndsregistrering - Eksterne analytikere - Obligatorisk rapportering av resultater - Store forsøk - Realistiske innstillinger Det er ingen bevis for p-hacking, og effektstørrelsene er svært små. Her, i utdanning, er gjennomsnittet 0,06 d
Problemet med publikasjonsskjevhet er enormt Så mange ting er sannsynligvis ikke så virkelige når vi virkelig kommer til det. Det er et dessverre vanlig funn og en tiltale mot publiseringsprosessen som det vil kreve samordnet replikasjonsinnsats for å fikse Hvis vi i det hele tatt fikser det
24,22K