2016年6月

IZA DP No. 9988:大数据是一件大事,但我们需要多少数据?

发表在:旅行社社会统计资料,2016,2-3

我们当中比较保守的人认为“大数据是一种时尚,很快就会消失”,事实上他们可能部分是正确的。相比之下,其他人â欧——尤其是那些冷静地指出数字化现在才开始提供有效载荷的人â欧——可能不敢苟同。我们认为,考虑到所有因素,大数据可能会不复存在,尽管这种情况发生的原因不是因为它是一种时尚,而是因为所有数据最终都将成为大数据。在这篇文章中,我提出并讨论了“我们真正需要多少数据”的问题,因为生活中的一切,因此数据增量的回报应该遵循某种收益递减规律:越多越好,但在某些时候,收益不值得付出努力或变成负数。因此,我从小的和大的,具体的和一般的例子来阐明这个问题。我并没有详尽地探讨这些答案,而是更多地旨在激发读者的思考。尽管如此,主要的结论是,根据用例的不同,数据的不足和丰富都可能适得其反,个人、数据专家、公司或社会都有不同的优化问题,因此没有什么能让我们摆脱关于多少数据才足够的决策,数据密集型社会将面临的最大挑战是正强化、反馈机制和数据内质性。