"Aceste constatări oferă dovezi clare că datele colectate pe MTurk pur și simplu nu pot fi de încredere." Cercetătorii au dezbătut de mult timp dacă datele sondajului Amazon Mechanical Turk (MTurk) pot fi de încredere. Această lucrare abordează simplu evaluarea calității datelor produse în prezent de MTurk. Autorul le oferă respondenților perechi de întrebări care sunt evident contradictorii. De exemplu: "Vorbesc mult" și "Vorbesc rar." Sau: "Îmi place ordinea" și "tânjesc după haos." Dacă oamenii sunt atenți, a fi de acord cu unul ar trebui să însemne să nu fie de acord cu celălalt. Cel puțin, cele două răspunsuri nu ar trebui să se miște împreună. Același sondaj este realizat pe trei platforme: Prolific, CloudResearch Connect și MTurk. Pe Prolific și Connect, lucrurile se comportă normal: majoritatea obiectelor contradictorii sunt corelate negativ, exact cum prezice bunul simț. Pe MTurk, însă, rezultatele sunt opuse. Peste 96% dintre aceste perechi clar opuse de itemi sunt pozitiv corelate. Cu alte cuvinte, mulți respondenți oferă răspunsuri similare la afirmații care se contrazic literalmente între ele. Autorii încearcă apoi ceea ce ar face majoritatea cercetătorilor în continuare: - restricționarea eșantionului la muncitorii MTurk "cu reputație înaltă" - aplicarea verificărilor standard de atenție - elimină respondenții rapizi și cei de linie dreaptă...