Lo scorso fine settimana ho pubblicato che Claude Code ha creato uno studio empirico completo di scienze politiche in un'ora. Molte persone hanno chiesto: ma quanto era accurato lo studio? La risposta: piuttosto accurato, con alcuni errori interessanti e importanti limitazioni. Per ottenere la risposta, Graham Straus ha gentilmente offerto di fare un audit indipendente e manuale—raccolta degli stessi dati e ampliamento del documento come ha fatto Claude, ma senza utilizzare alcuna AI. Ecco cosa ha trovato: Claude ha replicato esattamente il documento originale, ha codificato correttamente 29/30 contee della California sul timing del trattamento e ha raccolto dati elettorali che correlavano >.999 con la raccolta manuale. I tre principali errori che Graham ha trovato—codifica errata dell'anno di trattamento di una contea, omissione della raccolta dati per diverse gare potenzialmente rilevanti negli stati sempre trattati, e non utilizzo delle elezioni non presidenziali per calcolare il tasso di affluenza—sono simili ai tipi di errori che un umano potrebbe fare al primo tentativo di scrivere questo documento, e hanno avuto solo piccoli effetti sulle stime successive. D'altra parte, quando Claude ha cercato di creare nuove analisi che non erano estensioni dirette del documento originale, ha fatto peggio. Nessuna allucinazione o errori folli, per così dire, ma si è allontanato dal prompt e ha prodotto risultati che abbiamo trovato mal concepiti. La mia opinione: –L'AI oggi è già un modo estremamente potente per aggiornare rapidamente e ampliare documenti empirici ben contenuti e semplici. –Per fare bene ricerca empirica nelle scienze sociali, ha assolutamente bisogno di guida e supervisione da parte di esperti umani. Condivideremo pensieri più ampi su questo lavoro, ciò che abbiamo imparato facendolo e dove andiamo da qui la prossima settimana sul mio blog. Grazie a tutte le molte persone che ci hanno contattato, hanno posto domande e offerto feedback su questo progetto.

Un'analisi completa è disponibile qui: È interessante accoppiarla con gli scritti recenti di @joshgans @alexolegimas @deanwball e altri!