研究人员在他们的研究中对数据收集、准备和分析做出数百个决定。我们使用多分析师的方法来衡量这些决策的程度和影响。两个已发表的因果实证结果被7个复制因子所复制。我们发现，在数据准备和分析决策方面存在很大差异，其中许多不太可能在出版物中报告。没有两个复制人报告了相同的样本量。在不同的重复实验中，统计意义不同，其中一项研究的效果标志也不同。在重复数据中估计的标准偏差是典型报告标准误差的3-4倍。