Минулого вікенду я опублікував, що Claude Code створив повне емпіричне політичне дослідження за годину. Багато хто запитував: але наскільки точним було дослідження? Відповідь: досить точна, з деякими цікавими помилками та важливими обмеженнями. Щоб отримати відповідь, Грем Страус люб'язно запропонував провести незалежний ручний аудит — зібрати ті ж дані та розширити статтю, як це робив Клод, але без використання штучного інтелекту. Ось що він знайшов: Клод точно відтворив оригінальну статтю, правильно закодував 29/30 округів Каліфорнії щодо часу обробки та зібрав дані виборів, які корелювали >.999 з ручним збором. Три основні помилки, які виявив Грем — неправильне кодування року лікування в одному окрузі, пропуск збору даних для кількох потенційно релевантних перегонів у завжди розгляданих штатах і відсутність використання непрезидентських виборів для розрахунку явки — схожі на помилки, які людина може зробити з першого разу при написанні цієї статті, і мали лише незначний вплив на подальші оцінки. З іншого боку, коли Клод намагався створити нові аналізи, які не були простими розширеннями оригінальної статті, результат був гіршим. Без галюцинацій чи божевільних помилок, але це відійшло від завдання і дало результати, які ми вважали погано продуманими. Моє прочитання: –Сьогодні штучний інтелект вже є надзвичайно потужним способом швидко оновлювати та розширювати добре зібрані, прості емпіричні статті. – Щоб ефективно проводити емпіричні дослідження у соціальних науках, їм абсолютно потрібні керівництво та нагляд з боку людських експертів. Наступного тижня ми поділимося ширшими думками про цю роботу, чого навчилися завдяки їй і куди рухаємося далі, у моєму блозі. Дякую багатьом людям, які звернулися, ставили запитання та давали відгуки щодо цього проєкту.

Повний огляд доступний тут: Цікаво поєднувати це з нещодавніми текстами @joshgans @alexolegimas @deanwball та інших!