Bagaimana jika loop utama adalah kesalahan sebenarnya

Bergabunglah dengan kami Senin, 12 Januari untuk Space dengan pendiri Optimism @jinglejamOP, @ben_chain, dan @karl_dot_tech untuk membahas proposal tata kelola pembelian kembali token dan bab berikutnya dari Optimism.

Akhir pekan lalu saya memposting bahwa Claude Code membuat studi polisci empiris penuh dalam satu jam. Banyak orang bertanya: tetapi seberapa akurat penelitian ini? Jawabannya: cukup akurat, dengan beberapa kesalahan menarik dan keterbatasan penting. Untuk mendapatkan jawabannya, Graham Straus dengan ramah menawarkan untuk melakukan audit manual independen — mengumpulkan data yang sama dan memperluas makalah seperti yang dilakukan Claude, tetapi tanpa menggunakan AI apa pun. Inilah yang dia temukan: Claude mereplikasi makalah asli dengan tepat, mengkodekan 29/30 kabupaten CA dengan benar pada waktu perawatan, dan mengumpulkan data pemilihan yang berkorelasi >.999 dengan pengumpulan manual. Tiga kesalahan utama yang ditemukan Graham—salah mengkodekan tahun perawatan satu kabupaten, menghilangkan pengumpulan data untuk beberapa balapan yang berpotensi relevan di negara bagian yang selalu diperlakukan, dan tidak menggunakan pemilihan non-presiden untuk menghitung jumlah pemilih—mirip dengan jenis kesalahan yang mungkin dilakukan manusia pada langkah pertama dalam penulisan makalah ini, dan hanya memiliki efek kecil pada perkiraan berikutnya. Di sisi lain, ketika Claude mencoba membuat analisis baru yang bukan perpanjangan langsung dari makalah aslinya, itu lebih buruk. Tidak ada halusinasi atau kesalahan gila, tetapi itu menyimpang dari prompt dan menghasilkan hasil yang kami temukan tidak dipahami dengan baik. Bacaan saya: –AI saat ini sudah menjadi cara yang sangat ampuh untuk memperbarui dan memperluas makalah empiris sederhana yang terisi dengan baik. –Untuk melakukan penelitian ilmu sosial empiris dengan baik, mutlak membutuhkan bimbingan dan pengawasan dari para ahli manusia. Kami akan berbagi pemikiran yang lebih luas tentang pekerjaan ini, apa yang kami pelajari dengan melakukannya, dan ke mana kami pergi dari sini minggu depan di blog saya. Terima kasih kepada banyak, banyak orang yang menghubungi, mengajukan pertanyaan, dan menawarkan umpan balik tentang proyek ini.