"Temuan ini memberikan bukti yang jelas bahwa data yang dikumpulkan di MTurk tidak dapat dipercaya." Para peneliti telah lama berdebat tentang apakah data survei Amazon Mechanical Turk (MTurk) dapat dipercaya. Makalah ini mengambil pendekatan sederhana untuk mengevaluasi kualitas data yang saat ini dihasilkan oleh MTurk. Penulis memberikan responden pasangan pertanyaan yang jelas kontradiktif. Sebagai contoh: "Saya banyak bicara" dan "Saya jarang berbicara." Atau: "Saya suka ketertiban" dan "Saya mendambakan kekacauan." Jika orang memperhatikan, setuju dengan yang satu berarti tidak setuju dengan yang lain. Setidaknya, kedua jawaban itu tidak boleh bergerak bersama. Survei yang sama persis dilakukan di tiga platform: Prolific, CloudResearch Connect, dan MTurk. Di Prolific dan Connect, segala sesuatunya berperilaku normal: sebagian besar item yang kontradiktif berkorelasi negatif, seperti yang diprediksi akal sehat. Namun, di MTurk, hasilnya sebaliknya. Lebih dari 96% dari pasangan item yang jelas berlawanan ini berkorelasi positif. Dengan kata lain, banyak responden memberikan jawaban serupa terhadap pernyataan yang secara harfiah saling bertentangan. Para penulis kemudian mencoba apa yang akan dilakukan sebagian besar peneliti selanjutnya: -membatasi sampel untuk pekerja MTurk "reputasi tinggi" -menerapkan pemeriksaan perhatian standar -drop responder cepat dan straight-liner...