当你问应用经济学家经济学与其他社会科学的区别是什么时,可能的答案将包括经济学家对从自然科学借来的严格定量方法的使用——在自然科学中,实证策略是根据随机实验设计的黄金标准来评判的。
尽管这种研究标准的系统性应用并不总是容易在社会互动分析中实施,但经济学家们对相关的科学实践的重视远远低于医学或心理学等其他学科的标准:对早期结果的复制。经济调查结果对政策制定的强大影响尤其令人担忧。对重复研究缺乏兴趣的许多原因可以追溯到缺乏这样做的职业动机,例如,通过编辑不愿意发表关于(缺乏)以前结果的可复制性的研究。
研究人员现在提出了一个值得注意的例外David a . Jaeger(纽约市立大学科隆大学研究生中心,IZA, NBER)泰德•乔伊斯(巴鲁克学院,城市大学研究生中心,NBER)和罗伯特Kaestner(UC Riverside, NBER),可通过如下方式访问IZA讨论文件第10317号.
作者在最近的一篇文章美国经济评论(经济学专业的旗舰期刊),在2015年经过看似彻底的同行评审后发表。在报纸上,”媒体对社会结果的影响:MTV的16岁和怀孕对青少年生育的影响”,研究人员梅丽莎·卡尼和菲利普·列文根据他们的统计分析,MTV真人秀节目16岁,怀孕,孩子的妈妈,青少年妈妈2在2009年7月到2010年12月期间,由于怀孕和抚养孩子的挑战戏剧化,导致青少年出生率下降了4.3%。这份报纸立即引起了印刷媒体和电视媒体的广泛关注。
尽管对公众辩论有影响,而且出版物的质量明显高(通过爱尔兰的现在,Jaeger、Joyce和Kaestner通过对Kearney和Levine的研究结果和研究设计的重新评估得出结论,关于影响的因果结论16岁,怀孕青少年生育是没有必要的。
最初的方法利用了MTV的观众群属性这一事实之前的开始16岁,怀孕2009年6月,美国各地区(指定市场区域或dma)的广播都是异质的。这将使研究人员发现真人秀影响强度的差异。
一些地区的出生率已经在下降
Jaeger, Joyce和Kaestner认为16岁,怀孕在美国各地同时开始播出,没有明确的方法来确定哪些青少年没有接触过这个节目;换句话说,没有一个组可以作为对照。这种“控制”群体对于消除除电视或特定节目之外的其他变化可能影响结果的可能性至关重要。
反驳的作者认为,其他未被观察到的因素,巧合地发生在同一时间窗口的广播16岁,怀孕——比如大衰退开始后当地劳动力市场状况恶化——也可能影响了最初研究的结果。
如果这种说法是正确的,那么问题就来了:在MTV开始之前,年轻人观看MTV的频率是否更高16岁,怀孕不同于那些很少看MTV的地区?如果是这样的话,在MTV收视率高的地区,青少年出生率是否已经比MTV收视率低的地区下降得更快呢之前的释放16岁,怀孕?
为了回答这些区域是否存在差异,作者首先复制了与原始研究完全相同的统计方法,但将观察窗口延长了几年。如果将时间窗口延长3年,则在广播播出之前,出生率就出现了明显的下降趋势16岁,怀孕了,根据Jaeger, Joyce和Kaestner的说法,这使得原来的研究设计无效。此外,他们在某一点上几乎找不到间断的证据16岁,怀孕发布(点击图片放大)。
人为地改变播出日期挑战了节目的效果
与临床研究类似,作者使用了一种被称为a安慰剂试验来证明他们的发现。如果16岁,怀孕实际上减少了青少年的生育,当原始的分析被复制到“广播”的时候,不应该出现任何影响16岁,怀孕被人为地分配给安慰剂期前的实际2009年国务院总理。当将发行日期改为2005年、2006年和2007年时,安慰剂测试证实,在MTV收视率较高的地区,前期趋势确实打乱了最初的结果。无论选择何种虚假广播,对生育率的重大负面影响都出现在本不应该出现的地方(见下表)。
这次重新评估的教训是什么?最重要的是,Jaeger、Joyce和Kaestner对原始结果的重新审视,进一步证明了经济学和其他社会科学中复制是重要和必要的。如果没有这种复制,原始分析中的问题就不会暴露出来,也就没有机会纠正真人秀电视节目对青少年生殖活动影响的记录。
除了纯粹的科学修正,由于最初的研究也吸引了广泛的媒体报道,政策制定者可能会相信像这些代表的“轻推”16岁,怀孕至少在这种情况下,没有因果关系被证明是有效的。在经济学和社会科学期刊上,要想找到正确的答案,既要根据原始数据重新分析,又要在不同的背景下重复“实验”,因此应该有更高的优先级。
更新(2016年11月2日):Kearney/Levine发布了一份响应(IZA DP第10318号)。
为复制提供激励
Jaeger、Joyce和Kaestner的反驳强调了复制在建立坚实的经验证据基础方面发挥的重要作用。前IZA新闻编辑室的职位讨论了缺乏复制作为一个经典的“公地悲剧”人们普遍认为复制是有用的,但大多数人指望别人来进行复制。必须提供新的激励措施,例如通过更好的发表可能性或支持这类研究的具体资金,以提高复制的内在价值,特别是对早期职业研究人员。