«Эти результаты предоставляют четкие доказательства того, что данные, собранные на MTurk, просто не могут быть доверены.» Исследователи давно спорят о том, можно ли доверять данным опросов Amazon Mechanical Turk (MTurk). В этой статье представлен простой подход к оценке качества данных, которые в настоящее время производятся MTurk. Автор предлагает респондентам пары вопросов, которые явно противоречат друг другу. Например: «Я много говорю» и «Я редко говорю». Или: «Мне нравится порядок» и «Я жажду хаоса». Если люди обращают внимание, согласие с одним должно означать несогласие с другим. По крайней мере, два ответа не должны двигаться вместе. Тот же самый опрос проводится на трех платформах: Prolific, CloudResearch Connect и MTurk. На Prolific и Connect все происходит нормально: большинство противоречивых элементов имеют отрицательную корреляцию, как и предсказывает здравый смысл. На MTurk, однако, результаты противоположны. Более 96% этих явно противоположных пар элементов имеют положительную корреляцию. Другими словами, многие респонденты дают схожие ответы на утверждения, которые буквально противоречат друг другу. Авторы затем пытаются сделать то, что большинство исследователей сделали бы дальше: - ограничить выборку «работниками MTurk с высокой репутацией» - применить стандартные проверки внимания - исключить быстрых респондентов и тех, кто отвечает однообразно...