Letztes Wochenende habe ich gepostet, dass Claude Code in einer Stunde eine vollständige empirische Politikwissenschaftsstudie erstellt hat. Viele Leute fragten: Aber wie genau war die Studie? Die Antwort: ziemlich genau, mit einigen interessanten Fehlern und wichtigen Einschränkungen. Um die Antwort zu erhalten, bot Graham Straus freundlicherweise an, ein unabhängiges, manuelles Audit durchzuführen – die gleichen Daten zu sammeln und das Papier wie Claude zu erweitern, jedoch ohne KI zu verwenden. Hier ist, was er herausfand: Claude replizierte das ursprüngliche Papier genau, kodierte 29/30 CA-Kreise korrekt hinsichtlich des Behandlungszeitpunkts und sammelte Wahldaten, die mit einer Korrelation von >.999 mit der manuellen Sammlung übereinstimmten. Die drei Hauptfehler, die Graham fand – die falsche Kodierung des Behandlungsjahres eines Kreises, das Auslassen der Datensammlung für mehrere potenziell relevante Rennen in immer behandelten Staaten und die Nichtberücksichtigung von Nicht-Präsidentschaftswahlen zur Berechnung der Wahlbeteiligung – sind ähnlich den Arten von Fehlern, die ein Mensch bei einem ersten Versuch, dieses Papier zu schreiben, machen könnte, und hatten nur geringe Auswirkungen auf die nachfolgenden Schätzungen. Andererseits, als Claude versuchte, neue Analysen zu erstellen, die keine einfachen Erweiterungen des ursprünglichen Papiers waren, schnitt es schlechter ab. Keine Halluzinationen oder verrückte Fehler, per se, aber es driftete vom Prompt ab und produzierte Ergebnisse, die wir als schlecht durchdacht empfanden. Mein Fazit: – KI ist heute bereits eine äußerst leistungsstarke Möglichkeit, gut abgegrenzte, einfache empirische Papiere schnell zu aktualisieren und zu erweitern. – Um empirische Sozialforschung gut zu betreiben, benötigt es unbedingt Anleitung und Aufsicht von menschlichen Experten. Wir werden nächste Woche auf meinem Blog umfassendere Gedanken zu dieser Arbeit, was wir dabei gelernt haben und wohin wir von hier aus gehen, teilen. Vielen Dank an die vielen, vielen Menschen, die sich gemeldet, Fragen gestellt und Feedback zu diesem Projekt gegeben haben.

Ein vollständiger Bericht ist hier verfügbar: Es ist interessant, dies mit den aktuellen Beiträgen von @joshgans @alexolegimas @deanwball und anderen zu kombinieren!