Minulý víkend jsem zveřejnil, že Claude Code vytvořil kompletní empirickou studii politologie během hodiny. Mnoho lidí se ptalo: ale jak přesná byla studie? Odpověď: docela přesná, s několika zajímavými chybami a důležitými omezeními. Aby získal odpověď, Graham Straus laskavě nabídl nezávislý manuální audit – shromáždil stejná data a rozšířil článek jako Claude, ale bez použití AI. Tady je, co zjistil: Claude přesně zopakoval původní článek, správně zakódoval 29/30 okresů v Kalifornii podle načasování léčby a shromáždil volební data, která korelovala >,999 s ručním odběrem. Tři hlavní chyby, které Graham zjistil – špatné zakódování roku léčby v jednom okrese, vynechání sběru dat pro několik potenciálně relevantních voleb ve státech, kde se vždy léčí, a nepoužití neprezidentských voleb k výpočtu účasti – jsou podobné chybám, které může člověk udělat při prvním psaní této práce, a měly jen malý vliv na následné odhady. Na druhou stranu, když se Claude pokusil vytvořit nové analýzy, které nebyly přímočarým rozšířením původního článku, dopadlo to hůř. Žádné halucinace ani šílené chyby jako takové, ale odchylovalo se to od zadání a přineslo výsledky, které jsme považovali za špatně promyšlené. Moje četba: –AI je dnes již extrémně silným způsobem, jak rychle aktualizovat a rozšiřovat dobře uzavřené, jednoduché empirické články. –Aby bylo možné dobře provádět empirický sociálněvědní výzkum, je naprosto potřeba vedení a dohled lidských odborníků. Příští týden budeme na svém blogu sdílet širší myšlenky o této práci, co jsme se při ní naučili a kam se odtud posuneme dál. Děkuji mnoha, mnoha lidem, kteří se ozvali, ptali se a poskytli zpětnou vazbu k tomuto projektu.

Kompletní přehled je k dispozici zde: Je zajímavé to spojit s nedávnými texty od @joshgans @alexolegimas @deanwball a dalších!