Een van mijn favoriete artikelen van de afgelopen jaren bevatte dit diagram. Het toont de impact van het controleren voor drie verschillende soorten variabelen: confounders, colliders en mediators. Bij confounders is controle goed. Bij de anderen verpest je je resultaat door te controleren.

Als je variabelen hebt met meetfouten, kun je tegen een ander problematisch variabele aanlopen: de proxy. Proxyvariabelen kunnen al deze vervormingen veel erger maken en veel moeilijker om mee om te gaan.

Het document maakt deze eenvoudige observatie: statistische controle vereist causale rechtvaardiging. Dat is eigenlijk de titel. Ze gaven verschillende voorbeelden op basis van DAG. Overweeg dit voorbeeld: is edutainment een verstorende factor of een mediator? Moet je ervoor controleren, of zou dat je schatting vertekenen?

Dit is altijd iets waar je rekening mee moet houden, maar het is, eerlijk gezegd, uitzonderlijk om causaal na te denken over statistische controle. Veel artikelen doen dingen zoals het controleren voor irrelevante downstreamvariabelen (proxies), of ze controleren onbedoeld voor mediatoren. Dat is de norm!

Mijn artikel behandelt veel meer problemen met het gebruik en misbruik van controles. Bijvoorbeeld, het merkt op dat het veel data en moeite kan kosten om de neigingsscores af te stemmen op experimenten:

Het merkt op dat een bepaalde bevinding misschien niet betekent wat er staat dat het doet:

En het laat zien dat zelfs de gouden standaard van causale inferentie—de RCT—goed uitgevoerd moet worden, anders eindig je in een situatie waarin je effectschattingen opgeblazen zijn en je conclusies verkeerd zijn.