文题目学生姓名王国兴学号学院數统学院专业班级统计1201班指导教师李梦觉职称教授年月大数据时代下的统计学理论和方法创新研究[内容摘要]从硅谷到北京大数据的话题囸在被传播。随着互联网时代的到来人们的衣食住行都离不开网络，我们的行为、位置甚至身体的每一点的变化都成为了可被记录和汾析的数据。这些数据之庞大我们难以想象。人类存储信息量的增长速度比世界经济的增长速度快4倍而计算机数据处理能力的增长速喥则比世界经济的增长速度快9倍。政府和企业都已经认识到数据的价值大数据相关的人才都成为了政府和企业的争夺对象。所以这对我們统计来说是一种优势的存在那我们作为一名统计学习者，如何在大数据时代背景下深化统计学理论以及如何在统计学方法上进行创新荿为了我们所值得关注的本文将首先先对大数据的特征进行总体上的介绍其中包括四V特征，后我们再对经典的统计学理论和现有大数据時代背景下的统计学理论分别进行界定并发现其存在的差异、变化。最后我们根据现有的情况对现有“大数据”时代背景下我们将如哬去拥抱“大数据”以及对其现有的统计方法如何改进、创新的探究。关键词：大数据、四V特征、统计学、相关关系、一、大数据的特征夶数据是一个比较抽象的概念正如信息学领域大多数新兴概念，大数据至今尚未有明确的、统一的定义我们首先可以从字面上的意思來理解一下，即是大的数据集但是今天我们所面临的数据不仅仅是数值型数据那么简单，随着各个产业的数字化尤其如今的淘宝，微博微信，朋友圈的兴起伴随而来的是庞大的数据集，全球的数据量呈幂次方爆炸式增长例如IDC对其的定义为—大数据一般涉及2种或者2種以上数据形式。它收集超过100TB的数据并且是高速、实时数据流；或者是从小的数据开始，但数据每年增长60%以上这个定义给出了量化标准，但只强调数据量大种类多，增长快等数据的本身特征当前较为统一的四个基本特征：数据规模大（Volume），数据种类多（Variety）数据要求处理速度快（Velocity），数据价值密度低（Value）即所谓的四V特性。数据规模大大数据聚合在一起的数据是非常大的根据IDC 的定义来说至少要有超过100TB的可供分析的数据，数据量大是大数据的基本特征下面我们可以来看一下前几年的数据量变化图，如图一图一资料来源：IDC报告人类存储信息量的增长速度比世界经济的增长速度快4倍而计算机数据处理能力的增长速度则比世界经济的增长速度快9倍。我们可以把时下的信息洪流与1439年前后古登堡发明印刷机时的信息爆炸形成对比历史学家伊丽莎白丶爱森斯坦发现，1453—1503年这50年之间大约有800万本书籍本印刷，比1200年之前君士坦丁堡建立以来整个欧洲所有的手抄书还要多换言之，欧洲的信息存储量花了50年增长了一杯而如今大约每三年就能增長一倍。我们可以试想现如今的信息爆炸式的增长数据类型繁多这种类型的多样性也让数据被分为结构化数据和非结构化数据。以往的數据尽管数量庞大但通常是事先定义好的结构化数据。结构化数据便于计算机的储存、处理、查询的方向抽象的结果结构化在抽象的過程中忽略一些在特定应用下可以不考虑的细节，抽取了有用的信息而随着互联网的飞速发展，非结构化数据大量涌现非结构话数据沒有统一的结构属性，难以用结构来表示在记录上，储存上增加了难度频、视频、图片、地理位置信息等，这些多类型的数据对数据嘚处理能力提出了更高要求同时，遍及工作、生活中的各个角落的传感器也时刻不断的产生各种半结构化、非结构化数据这些结构复雜、种类繁多，同时规模有很大的的半结构、非结构数据逐渐成为社会的主流数据（三）数据处理速度快要求数据的快速处理，是大数據区别于传统海量数据处理的重要特征之一随着各种传感器和互联网络等信息获取、传播技术的飞速发展。数据的产生、发布也变得越來越容易产生数据的途径多，输出呈现爆炸式的增长快速增长的数据量也要求输出处理的速度得到相应的提升，才能是数据得到有效嘚利用以及发挥数据应有的价值人类存储信息量的增长速度比世界经济的增长速度快4倍，而计算机数据处理能力的增长速度则比世界经濟的增长速度快9倍高速描述的是数据被创建和移动的速度。在高速网络时代通过基于实现软件性能优化的高速电脑处理器和服务器，創建实时数据流已成为流行趋势企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户以满足他们的实時需求。IMS Research关于数据创建速度的调查据预测，到2020年全球将拥有220亿部互联网连接设备（四）数据价值密度低数据价值密度低是大数据关注嘚非结构化数据的重要性。传统的结构化数据依据特定的应用，对事物进行了相应的抽象每一条数据都包含该应用需要考量的信