في نهاية الأسبوع الماضي نشرت أن كلود كود أنشأ دراسة كاملة في العلوم السياسية التجريبية خلال ساعة. سأل الكثيرون: ما مدى دقة الدراسة؟ الإجابة: دقيقة جدا، مع بعض الأخطاء المثيرة للاهتمام والقيود المهمة. للحصول على الإجابة، عرض غراهام ستراوس بلطف إجراء تدقيق مستقل ويدوي—يجمع نفس البيانات ويوسع الورقة كما فعل كلود، ولكن دون استخدام أي الذكاء الاصطناعي. إليك ما وجده: كرر كلود الورقة الأصلية بدقة، وتم ترميز 29/30 مقاطعة في كاليفورنيا بشكل صحيح على توقيت العلاج، وجمع بيانات انتخابية ربطت >.999 بالجمع اليدوي. الأخطاء الثلاثة الرئيسية التي وجدها غراهام—مثل ترميز سنة معالجة مقاطعة بشكل خاطئ، وحذف جمع البيانات لعدة سباقات محتملة ذات صلة في الولايات التي تتم التعامل معها دائما، وعدم استخدام الانتخابات غير الرئاسية لحساب نسبة المشاركة — تشبه أنواع الأخطاء التي قد يرتكبها الإنسان في المحاولة الأولى لكتابة هذه الورقة، وكان لها تأثيرات طفيفة فقط على التقديرات اللاحقة. من ناحية أخرى، عندما حاول كلود إنشاء تحليلات جديدة لم تكن امتدادا مباشرا للورقة الأصلية، كان ذلك أسوأ. لا هلوسات أو أخطاء مجنونة بالمعنى الحرفي، لكنها انحرفت عن الموضوع وأنتجت نتائج وجدناها غير مخططة. قراءتي: –الذكاء الاصطناعي اليوم هو بالفعل وسيلة قوية للغاية لتحديث وتوسيع الأوراق التجريبية البسيطة والمحتوية جيدا. –لكي يتم إجراء أبحاث تجريبية في العلوم الاجتماعية بشكل جيد، فهي بالتأكيد بحاجة إلى إرشاد وإشراف من خبراء بشريين. سنشارك أفكارا أوسع حول هذا العمل، وما تعلمناه من خلال القيام به، وإلى أين سنتجه من هنا الأسبوع القادم في مدونتي. شكرا للعديد من الأشخاص الذين تواصلوا معهم، وطرحوا الأسئلة، وقدموا ملاحظاتهم حول هذا المشروع.

يتوفر الوصف الكامل هنا: من المثير للاهتمام أن أجمع بين الكتابات الحديثة من @joshgans @alexolegimas @deanwball وآخرين!