Tentu saja. Ada baiknya mengembangkan eval dan rubrik yang dapat membantu model mengadopsi perspektif yang tepat untuk pekerjaan empiris yang hati-hati dan ketat tanpa mengklaim secara berlebihan. Ini bisa menjadi proyek yang bagus untuk disiplin

Inilah bukti bahwa Claude Code dapat menulis seluruh makalah polisci empiris. Untuk memvalidasi klaim saya bahwa agen AI datang untuk polisci "seperti kereta barang", hari ini saya meminta Claude Code sepenuhnya mereplikasi dan memperluas makalah lama saya yang memperkirakan efek pemungutan suara universal melalui pos pada jumlah pemilih dan hasil pemilu... pada dasarnya dalam satu bidikan. Setelah diminta dengan cermat, Claude Code: (1) Mengunduh repositori makalah lama dan mereplikasi hasil sebelumnya, menerjemahkan Kode Stata lama kami ke dalam Python (2) Merayapi web untuk mendapatkan data pemilu resmi dan data sensus yang diperbarui (3) Menjalankan analisis baru yang memperpanjang hasil hingga 2024 (4) Membuat tabel dan gambar baru (5) Melakukan tinjauan menyala (6) Menulis makalah yang sama sekali baru (7) Mendorong semuanya ke repositori github baru Semuanya memakan waktu sekitar satu jam. Ini adalah pergeseran paradigma yang gila dalam bagaimana pekerjaan empiris dilakukan. Ini juga memvalidasi poin yang dibuat oleh beberapa orang termasuk @BrendanNyhan kemarin---akan sangat mudah untuk menskalakan penelitian observasional dengan AI. Terima kasih kepada @alexolegimas, @arthur_spirling, dan banyak lainnya yang memberi saya umpan balik. .

xAI baru saja menggugat negara bagian California atas undang-undang transparansi data pelatihan AI yang baru, dan bias politik adalah inti dari argumen mereka. RUU California mengatakan pengungkapan membantu konsumen "mengidentifikasi dan mengurangi bias." xAI mengatakan: kami sudah menerbitkan tes bias politik. Sumber data tidak memberi tahu Anda apa pun tentang bias—evaluasi output melakukannya. Mereka benar pada prinsipnya, tetapi pengujian bias saat ini tidak kredibel karena perusahaan menilai pekerjaan rumah mereka sendiri. Jika kita membangun infrastruktur evaluasi nyata—independen, standar, ketat, bermusuhan—itu akan memberi tahu konsumen jauh lebih banyak daripada mengetahui LLM yang dilatih tentang "CommonCrawl dan berita berlisensi." Pengujian yang lebih baik > pengungkapan input yang diamanatkan.