研究人员在他们的研究中做出了数百个关于数据收集、准备和分析的决定。我们使用多分析师的方法来衡量这些决策的程度和影响。两个已发表的因果实证结果分别由七个复制因子复制。我们发现在数据准备和分析决策方面存在很大差异，其中许多不太可能在出版物中报道。没有两个复制因子报告了相同的样本量。不同重复的统计显著性不同，其中一项研究的效果标志也不同。重复估计的标准偏差是典型报告标准误差的3-4倍。