"Disse funnene gir klare bevis på at data samlet inn på MTurk rett og slett ikke kan stoles på." Forskere har lenge diskutert om Amazon Mechanical Turk (MTurk) undersøkelsesdata kan stoles på. Denne artikkelen tar en enkel tilnærming for å evaluere kvaliteten på dataene som for tiden produseres av MTurk. Forfatteren gir respondentene par av spørsmål som åpenbart er motstridende. For eksempel: "Jeg snakker mye" og "Jeg snakker sjelden." Eller: "Jeg liker orden" og "Jeg lengter etter kaos." Hvis folk følger med, bør det å være enig med den ene bety å være uenig med den andre. Minst bør de to svarene ikke bevege seg sammen. Den samme undersøkelsen gjennomføres på tre plattformer: Prolific, CloudResearch Connect og MTurk. På Prolific og Connect oppfører ting seg normalt: de fleste motstridende elementer er negativt korrelerte, akkurat som sunn fornuft forutsier. På MTurk er imidlertid resultatene det motsatte. Over 96 % av disse klart motsatte item-parene er positivt korrelerte. Med andre ord gir mange respondenter lignende svar på utsagn som bokstavelig talt motsier hverandre. Forfatterne prøver deretter det de fleste forskere ville gjort videre: -begrense utvalget til "høy-omdømme" MTurk-arbeidere -bruk standard oppmerksomhetssjekker -slipp raske respondere og rettlinjede...