首页 > 行业见闻 > 正文

当传统统计学遇上大数据,机遇和挑战何在?

2019-09-19 发布于:行业见闻

在这个数据“大爆炸”之年,备受万众瞩目的大数据常常被寄予厚望,在各行各业中都得到了广泛应用。其中,大数据对统计学的发展也具有划时代的意义。尤其是统计学被用于解决更多、更复杂的问题,因此对统计学也提出了更高的要求。那么,大数据为统计学带来哪些挑战和机遇呢?下面一起来了解下。


9


一、大数据为统计学带来哪些机遇?


1.扩大了统计应用范围


  随着处理数据软件和网络的飞速发展,很多以前无法量化的现象和事物,如今都可以转化成能够进行分析的数据。这种现象意味着以前不能用统计学来处理的事情现在可以运用统计学的方法来分析。在大数据时代,大量数据从一些特殊的领域提取出来,例如,从企业经理的朋友圈动态可以得知企业运营状况的信息;可以从百度搜索排行榜推测出最近热搜的商品和时事等。只要能够获取数据,就可以运用统计学方法来进行研究和分析。所以,随着大数据的发展,统计学在各个领域中发挥的作用将越来越重要。


2. 增加了统计学毕业生的就业机会


大数据将为全球带来 440 万个IT新岗位和上千万个非 IT 岗位。麦肯锡公司预测美国到 2018 年,需要深度数据分析人才 44 万—49 万,缺口 14 万—19 万人;需要既熟悉本单位需求又了解大数据技术与应用的管理者 150万,大数据人才缺口不断增大。这些数据说明,大数据时代下,对统计学的人才供不应求,各行各业各个领域对统计学毕业生的人才需求也将会不断增加,因此增加了统计学毕业生的就业机会。


9


二、大数据为统计学带来哪些挑战?


1.数据类型的扩大


传统统计学的数据为结构化数据,即可以用常规统计指标或图表表现出来的定量数据或专门设计的定性数据,有固定的结构和标准。大数据是指不仅包括结构化数据,还包含非结构化数据、半结构化数据或异构数据,即一切可以记录和存储的信号。可见,大数据的数据处理能力比传统统计学要高得多,范围也更广。


2.收集概念的扩展


传统统计中,数据的收集需要根据统计分析的目的进行,过程包括设计调查方案、严格控制调查流程,具有低效率、高成本的缺点。大数据时代,对数据的收集分为数据处理、数据分析和数据存储三个组成部分,对于超大量可选择的数据,需要有针对性的搜集。同时,在存储能力,分析能力,甄别数据的真伪,选择关联物,提炼和利用数据,确定分析节点等方面,都需要进一步斟酌。


3.数据来源不同


传统统计中是根据研究目的去收集数据,来源通常是已知的,很容易对数据提供者的身份进行识别或进行事后核对。大数据的来源一般为信息网络系统,收集的数据是一切被人为记录的信号,不具有很强的目的性,数据的来源也很难追溯。因此,在大数据时代,努力打造统计数据来源第二轨,就显得尤为重要。


如今,大数据时代已然悄悄来临。因为数据关系的内在本质,它决定了统计学和大数据之间有着密不可分的关系。其对传统统计学的变革从样本的定义方法一直到数据分析的思维与技术均有所体现,这对于传统统计学来讲既产生了挑战又提供了机遇。因此,统计学研究者应该抓住机遇、迎接挑战,不能只固守传统数据的环境,必须积极迎接新生事物,适应新的大数据环境,这样才能够创造出更好的统计未来。