计算机网络通信技术第09章 大数据编

第09章大数据第09章大数据内容提要：大数据的特征大数据原理和构成大数据分析工具hadoop大数据在各方面的应用9.1大数据时代的背景“大数据〞的诞生21世纪是数据信息大开展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并急剧增多。互联网〔社交、搜索、电商〕、移动互联网〔微博〕、物联网〔传感器，智慧地球〕、车联网、GPS、医学影像、平安监控、金融、电信〔通话、短信〕都在疯狂产生着数据。大数据大数据的思考9.1.2数据大爆炸地球上至今总共的数据量：2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；2021年，这个数字到达了1.8ZB。而有市场研究机构预测：到2021年，整个世界的数据总量将会增长44倍，到达35.2ZB〔1ZB=10亿TB〕。表9.1是数据计量单位9.1.3大数据的特征大数据：指那些超过传统数据库系统处理能力的数据。数据规模很大：对传输速度要求很高、结构复杂、不适于原本的数据库系统。大数据特征9.1.3大数据的特征大数据〔BigData〕：指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合〞。通常用4个V〔即Volume、Variety、Value、Velocity〕来概括大数据的特征。大数据的特点大数据的特点包括〔4V〕：海量、高速、多样、精确。

大数据的4个“V〞，或者说特点有四个层面：第一，数据体量巨大。第二，数据类型繁多。第三，处理速度快第四，合理利用数据会带来很高的回报。大数据的特点业界将其归纳为4个“V〞Volume〔数据体量大〕Variety〔数据类型繁多〕Velocity〔处理速度快〕Value〔价值密度低〕。9.2大数据原理和构成〔1〕大数据的核心工作思路〔2〕传统数据系统工作原理〔3〕大数据平台架构〔4〕大数据VS云计算〔5〕大数据VS物联网〔6〕精准营销是大数据的应用之一〔7〕理解和管理大数据〔1〕大数据的核心工作思路大数据系统颠覆了传统数据中心的工作逻辑。传统数据系统工作逻辑：运算系统调动数据库的数据，产生数据的移动。大数据系统工作逻辑：运算系统直接部署至数据处，数据仅在架构内移动。〔2〕传统数据系统工作原理传统的数据库系统是关系型数据库，开发这种数据库的目的，是处理永久、稳定的数据。传统数据系统工作原理〔3〕大数据平台架构大数据：指的是需要新处理模式具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。海量数据期望与其相关的平台架构，能为大数据提供分析、挖掘、处理能力。大数据平台架构IBM提出了“大数据平台〞架构。该平台的四大核心能力包括Hadoop系统、流计算、数据仓库和信息整合与治理。〔4〕大数据VS云计算云计算是将计算和存储，由本地转移到了云端；大数据提供了一套新的计算和存储工作原理。二者有着本质的不同，但却是一个完整的体系。大数据是云计算的心脏，云计算是大数据效劳的通路。大数据是落地的云〔5〕大数据VS物联网〔6〕精准营销是大数据的应用之一对用户行为分析实现精准营销是大数据的典型应用，大数据在各行各业，特别是公共效劳领域具有广阔的应用前景。设计并实现企业进行低本钱精准营销的平台，非常有意义。大数据应用前景如下图。大数据应用前景〔7〕理解和管理大数据非结构化海量信息的智能化处理。自然语言理解、多媒体内容理解、机器学习等。大数据管理模式9.4大数据在企业管理和

营销中的渗透〔1〕行业拓展者，打造大数据行业基石〔2〕渗透众多行业〔3〕能加强企业与客户相互沟通大数据价值潜力指数〔1〕具体案例如图〔2〕难点分析

〔存储和检索是大数据关联图〕〔3〕移动用户上网记录集中查询与分析支撑系统

9.5大数据分析工具hadoopHadoop在可伸缩性、健壮性、计算性能和本钱上具有无可替代的优势，事实上已成为当前互联网企业主流的大数据分析平台。〔1〕什么是hadoop〔2〕为什么hadoop很重要〔3〕hadoop与大数据hadoop与大数据Hadoop是处理“大数据〞处理的最重要平台之一数据存储：能够扩展到PB级别处理规模：带有高度容错能力的并行处理架构硬件本钱低廉：用内置格式存储/处理数据代码来源丰富：传统厂商对其的支持，它已经成为重要的并行处理架构标准之一。Hadoop应用界面

9.6大数据在各方面的应用1.大数据在政府的应用2.大数据在智慧城市应用1.大数据在政府的应用

2.大数据在智慧城