Os reddits administrados por painelistas da pesquisa são assustadores. São pessoas se gabando de completar 10.000+ tarefas e ganhar a vida com Prolific.

O que fazemos sobre a contaminação por IA em pesquisas de pesquisas? Algumas reflexões para seguir em frente: 1) @YouGov e @Prolific estão trabalhando para garantir respostas de alta qualidade. (Divulgação: não tenho relação financeira pessoal com nenhuma das empresas, mas usei ambas para coletar dados.) Outros, como @pewresearch, mantêm painéis que são rigorosamente avaliados. 2) Provedores de painéis com ferramentas proprietárias de coleta têm uma grande vantagem. A YouGov, por exemplo, pode monitorar diretamente padrões de resposta de maneiras que empresas que dependem de plataformas terceirizadas como a Qualtrics não conseguem. 3) Qualtrics se tornou uma vulnerabilidade (na minha opinião). A detecção de bots deles é fraca — ele me sinalizou (um humano) como bot enquanto não detectou meu bot real. A plataforma também carece da flexibilidade que os pesquisadores precisam para implementar protocolos personalizados de detecção de bots sem passar por obstáculos complexos. Para um produto de preço premium que mal evoluiu nos últimos anos, a proposta de valor está cada vez mais questionável. 4) Redes de revendedores opacas prejudicam a qualidade. Quando os painéis simplesmente negociam os respondentes mais baratos disponíveis de fontes desconhecidas, como os pesquisadores podem verificar a integridade dos dados? 5) Considerar métodos de amostragem mais seguros: Amostras de estudantes, painéis personalizados construídos por meio de recrutamento por SMS, amostragem baseada em endereço e correspondência de arquivos eleitorais oferecem maior verificação dos respondentes. 6) Devemos aprender com comparativistas que há muito aceitam que a coleta rigorosa de dados frequentemente exige trabalho de campo presencial e demorado. 7) Não podemos esperar que estudiosos em início de carreira construam carreiras com experimentos simples usando amostras de conveniência muito baratas. Nossos padrões para dissertações, contratação e estabilidade devem evoluir para refletir o verdadeiro custo da coleta de dados de qualidade.

A IA representa uma ameaça fundamental à nossa capacidade de usar pesquisas para avaliar a opinião pública. Agentes mal-intencionados que conseguem infiltrar painéis podem virar pesquisas eleitorais apertadas por menos do que o custo de um café Starbucks. Os modelos também inferem e confirmam hipóteses em experimentos. As verificações de qualidade atuais falham. Tempos difíceis para o trabalho de levantamento.