Anket panelistlerinin yürüttüğü redditler korkutucu. Bunlar, Prolific'ten 10.000+ görev tamamladıklarını ve geçimlerini sağladıklarını övünen insanlar.

Anket araştırmalarında yapay zeka kirliliği konusunda ne yapıyoruz? İleriye yönelik bazı düşünceler: 1) @YouGov ve @Prolific yüksek kaliteli yanıtlar sağlamak için çalışıyor. (Açıklama: Her iki firmayla da kişisel finansal ilişkim yok, ancak veri toplamak için ikisini de kullandım.) Diğerleri @pewresearch gibi paneller derinlemesine denetlenmiş şekilde sahipleniyor. 2) Özel koleksiyon araçlarına sahip panel sağlayıcıları büyük bir avantaja sahiptir. Örneğin YouGov, Qualtrics gibi üçüncü taraf platformlara güvenen firmaların yapamadığı şekilde yanıt kalıplarını doğrudan izleyebilir. 3) Qualtrics bir kırılganlık haline geldi (bence bu). Bot algılamaları zayıf—beni (insan) bot olarak işaretledi ama gerçek botumu kaçırmıştı. Platform ayrıca, araştırmacıların karmaşık engelleri aşmadan özel bot tespit protokollerini uygulama esnekliğinden de yoksun. Son yıllarda neredeyse hiç gelişmemiş olan premium fiyatlı bir ürün için değer teklifi giderek daha fazla sorgulanabilir. 4) Şeffaf olmayan satıcı ağları kaliteyi zayıflatıyor. Paneller sadece bilinmeyen kaynaklardan en ucuz katılımcıları arabuluculuk yaparken, araştırmacılar veri bütünlüğünü nasıl doğrulayabilir? 5) Daha güvenli örnekleme yöntemlerini düşünün: Öğrenci örnekleri, SMS işe alım yoluyla oluşturulan özel paneller, adres tabanlı örnekleme ve seçmen dosya eşleştirmesi daha fazla katılımcı doğrulaması sunar. 6) Uzun süredir titiz veri toplamanın genellikle zaman alıcı, yüz yüze saha çalışması gerektirdiğini kabul eden karşılaştırmacılardan öğrenmeliyiz. 7) Erken kariyer akademisyenlerinden ucuz pratik örneklerle basit deneyler üzerine kariyer inşa etmelerini bekleyemeyiz. Tez, işe alım ve kadro standartlarımız, kaliteli veri toplamanın gerçek maliyetini yansıtacak şekilde evrilmelidir.

Yapay zeka, anketleri kamuoyu değerlendirme yeteneğimiz için temel bir tehdit oluşturuyor. Panellere sızabilen kötü niyetli kişiler, yakın seçim anketlerini Starbucks kahvesinin maliyetinden daha ucuza çevirebilir. Modeller ayrıca deneylerde hipotezleri çıkarır ve doğrular. Mevcut kalite kontrolleri başarısız oldu. Anket çalışmaları için karanlık zamanlar.