研究人员在研究中要对数据收集、准备和分析做出数百个决定。我们使用多名分析师的方法来衡量这些决策的程度和影响。两个已发表的因果实证结果分别由七个复制因子复制。我们发现在数据准备和分析决策中存在很大差异，其中许多不太可能在出版物中报道。没有两个复制因子报告的样本量相同。不同研究的统计显著性不同，其中一项研究的效果符号也不同。重复估计的标准差是典型报告标准误差的3-4倍。