Amazon Mechanical Turk是商业和经济研究中使用非常广泛的工具，但是使用它的大量发表的研究结果有多可信呢?通过分析2010年至2020年期间在该平台上测试并发表在领先期刊上的假设，我们发现了广泛存在的p黑客、发表偏见和过度依赖看似力量不足的研究结果的证据。即使忽略研究新兵的特征和行为所产生的问题，研究团体本身的行为也大大削弱了这些研究结论的可信度。在商业、经济、管理和市场研究领域，问题的严重程度各不相同(尤其是市场营销)。随着时间的推移，这些问题并没有得到改善，而且比非在线实验的对比组更普遍。我们探索增加可信度的相关因素。