„Te ustalenia dostarczają wyraźnych dowodów na to, że dane zbierane na MTurk po prostu nie mogą być uważane za wiarygodne.” Badacze od dawna dyskutują, czy dane z ankiet na Amazon Mechanical Turk (MTurk) można ufać. Niniejszy artykuł przyjmuje prostą metodę oceny jakości danych obecnie produkowanych przez MTurk. Autor zadaje respondentom pary pytań, które są oczywiście sprzeczne. Na przykład: „Dużo mówię” i „Rzadko mówię.” Lub: „Lubię porządek” i „Pragnę chaosu.” Jeśli ludzie zwracają uwagę, zgadzanie się z jednym powinno oznaczać niezgadzanie się z drugim. W minimum, te dwa odpowiedzi nie powinny się poruszać w tym samym kierunku. Ta sama ankieta jest przeprowadzana na trzech platformach: Prolific, CloudResearch Connect i MTurk. Na Prolific i Connect wszystko zachowuje się normalnie: większość sprzecznych elementów jest negatywnie skorelowana, tak jak przewiduje zdrowy rozsądek. Na MTurk jednak wyniki są odwrotne. Ponad 96% tych wyraźnie przeciwnych par elementów jest pozytywnie skorelowanych. Innymi słowy, wielu respondentów udziela podobnych odpowiedzi na stwierdzenia, które dosłownie się sobie sprzeciwiają. Autorzy następnie próbują tego, co większość badaczy zrobiłaby następnie: -ograniczyć próbkę do „pracowników MTurk o wysokiej reputacji” -zastosować standardowe kontrole uwagi -odrzucić szybkie odpowiedzi i osoby udzielające odpowiedzi w sposób liniowy...