Geçen hafta sonu Claude Code'un bir saat içinde tam bir ampirik politci çalışması oluşturduğunu paylaşmıştım. Birçok kişi sordu: ama çalışma ne kadar doğruydu? Cevap: oldukça doğru, ilginç hatalar ve önemli sınırlamalar var. Cevabı almak için Graham Straus, Claude gibi aynı verileri toplayıp makaleyi genişleterek bağımsız, manuel bir denetim yapmayı teklif etti, ancak hiçbir yapay zeka kullanmadan. İşte buldukları: Claude orijinal makaleyi tam olarak kopyaladı, tedavi zamanlamasında 29/30 CA ilçesini doğru kodladı ve >.999 ile manuel toplama arasındaki seçim verilerini topladı. Graham'ın bulduğu üç ana hata—bir ilçenin tedavi yılını yanlış kodlamak, her zaman değerlendirilen eyaletlerde potansiyel olarak ilgili birkaç yarış için veri toplamak ve katılımı hesaplamak için başkanlık dışı seçimleri kullanmamak—bu makaleyi yazarken bir insanın ilk kez yapabileceği hatalara benzer ve sonraki tahminler üzerinde sadece küçük etkileri oldu. Öte yandan, Claude orijinal makalenin doğrudan uzantıları olmayan yeni analizler yaratmaya çalıştığında, daha kötü oldu. Halüsinasyon ya da çılgın hata yoktu, ama bu prompttan saptı ve kötü düşünülmüş bulduğumuz sonuçlar verdi. Benim okumam: –Bugün yapay zeka, iyi kaplı ve basit ampirik makaleleri hızla güncellemek ve genişletmek için son derece güçlü bir yol. –Ampirik sosyal bilimler araştırmasını iyi yapmak için kesinlikle insan uzmanlarının rehberliği ve denetimi gerekir. Bu çalışma hakkında, bunu yaparak neler öğrendiğimizi ve bundan sonra nereye gideceğimizi gelecek hafta blogumda daha geniş düşüncelerimizi paylaşacağız. Bu projeyle ilgili iletişime geçen, soru soran ve geri bildirim veren çok sayıda kişiye teşekkür ederim.

Tam bir yazı buradan ulaşabilirsiniz: @joshgans @alexolegimas @deanwball ve diğerlerinin son yazılarıyla eşleştirmek ilginç!