我們該如何處理調查研究中的 AI 汙染? 以下是一些前進的想法: 1) @YouGov 和 @Prolific 正在努力確保高質量的回應。(披露:我與這兩家公司沒有個人財務關係,但我曾使用過這兩者來收集數據。)其他像 @pewresearch 的機構則維持經過深入審核的面板。 2) 擁有專有收集工具的面板提供商具有重大優勢。例如,YouGov 可以直接監控回應模式,而依賴第三方平台如 Qualtrics 的公司則無法做到。 3) 在我看來,Qualtrics 已成為一個脆弱點。他們的機器人檢測能力較弱——它將我(人類)標記為機器人,卻錯過了我的實際機器人。該平台也缺乏研究人員所需的靈活性,無法在不經過複雜程序的情況下實施自定義的機器人檢測協議。對於一個價格高昂且近年來幾乎沒有進步的產品,其價值主張越來越值得懷疑。 4) 不透明的轉售網絡削弱了質量。當面板僅僅從未知來源經紀最便宜的可用受訪者時,研究人員如何能夠驗證數據的完整性? 5) 考慮更安全的抽樣方法:學生樣本、通過 SMS 招募建立的自定義面板、基於地址的抽樣和選民檔案匹配提供了更好的受訪者驗證。 6) 我們應該向比較研究者學習,他們早已接受嚴謹的數據收集通常需要耗時的面對面實地工作。 7) 我們不能期望早期職業學者在使用廉價便利樣本的簡單實驗上建立職業生涯。我們對論文、招聘和終身職位的標準必須演變,以反映高質量數據收集的真實成本。