亚马逊Mechanical Turk是商业和经济研究中使用非常广泛的工具，但使用它的大量发表的研究结果的可信度如何?通过分析2010年至2020年期间在该平台上测试并发表在领先期刊上的假设，我们发现了广泛存在的p-hacking、发表偏差和过度依赖看似证据不足的研究结果的证据。即使忽略由研究对象的特征和行为引起的问题，研究团体的行为本身也大大削弱了这些研究结论的可信度。在商业、经济、管理和营销研究领域，问题的严重程度各不相同(市场营销受到的影响尤其严重)。随着时间的推移，这些问题并没有得到改善，而且比非在线实验的比较集更加普遍。我们探索增加可信度的相关因素。