大数据与通信

大数据与通信姓名：学号：什么是大数据大数据的“4V”特征12大数据的“4V”特征大数据的时代背景facebook社交网络淘宝、ebuy电子商务微博、Apps移动互联21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。“大数据”的诞生：半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。大数据时代的背景TBPBZBEB大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长根据IDC监测，人类产生的数据量正在呈指数级增长，大约每两年翻一番，这个速度在2020年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量数据量增加数据结构日趋复杂这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴大数据时代正在来临..大数据时代到来Volume海量的数据规模Variety多样的数据类型StreamsRealtimeNeartimeBatchTBPBEBStructuredUnstructuredSemi-structuredAlltheaboveValueVelocity快速的数据流转巨大的数据价值大数据的4V特征大数据怎么用大数据时代的背景大数据的处理过程及关键技术大数据的应用12大数据采集大数据预处理大数据储存及管理大数据分析与挖掘智能感知层实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等基础支撑层提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。大数据采集大数据的处理过程及关键技术大数据采集抽取将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的清洗去除无价值数据以及错误数据大数据的处理过程及关键技术大数据采集大数据预处理大数据储存及管理大数据分析与挖掘大数据预处理开发新型数据库采用NoSQL（NotOnlySQL）数据库，去除了关系数据库的关系型特性，简化了数据库结构，便于对数据和系统架构进行扩展。开发大数据安全技术改进数据销毁、透明加解密、分布式访问控制、数据审计等技术；突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。大数据的处理过程及关键技术大数据采集大数据预处理大数据储存及管理大数据分析与挖掘大数据储存及管理可视化分析数据挖掘算法预测性分析语义引擎数据质量和数据管理大数据的处理过程及关键技术大数据采集大数据预处理大数据储存及管理大数据分析与挖掘大数据储存及管理通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔的应用前景消费行业金融服务食品安全医疗卫生军事交通环保电子商务气象大数据的应用

互联网智能电网大数据与通信大数据时代的背景大数据背景下的信号处理大数据驱动下的移动通信网络12大数据背景下的信号处理压缩感知降低信号数据量多传感器信息融合处理复杂多源信息智能传感技术提取有价值信号高速信号处理提高信号处理速度[1]《大数据背景下的信号处理》。2013压缩感知。它作为一个新的采样理论，通过开发信号的稀疏特性，在远小于Nyquist

采样率的条件下，用随机采样获取信号的离散样本，然后通过非线性重建算法完美的重建信号。压缩感知方法抛弃了当前信号采样中的冗余信息。它直接从连续时间信号变换得到压缩样本，然后在数字信号处理采用优化方法处理压缩样本。压缩感知降低信号数据量多传感器信息融合处理复杂多源信息智能传感技术提取有价值信号高速信号处理提高信号处理速度大数据背景下的信号处理信息融合原因：多传感器组网信息量大且单一节点冗余多精度差模型JDL模型，Byod控制环，瀑布模型，Dasarathy模型，混合模型数学方法尔曼滤波方法、非线性滤波方法、贝叶斯估计法、证据理论方法、模糊推理方法、随机集理论方法压缩感知降低信号数据量多传感器信息融合处理复杂多源信息智能传感技术提取有价值信号高速信号处理提高信号处理速度大数据背景下的信号处理智能传感技术目的将部分信号处理任务前移至传感器节点,以减轻通信、存储和后续处理的负担实现一是许多感兴趣的信号的信息量远少于原始数据量,位于高维原始传感数据空间的一个非常低的子集中，智能传感器直接获取这种信息二是当前,硬件技术飞速发展,使得可以低成本地在传感器节点配置足够的计算资源,来进行信号处理.压缩感知降低信号数据量多传感器信息融合处理复杂多源信息智能传感技术提取有价值信号高速信号处理提高信号处理速度大数据背景下的信号处理高速信号处理产生原因–数据量增大从GSM迁移到LTE,计算量需求从大约10个MOPS(每秒百万次运算)提高到10万甚至100万MOPS,如此才可以提供LTE所要求的10∼100Mbps数据传输性能发展方向多核信号处理器、高速多处理器互联技术、高性能开放式标准总线架压缩感知降低信号数据量多传感器信息融合处理复杂多源信息智能传感技术提取有价值信号高速信号处理提高信号处理速度大数据背景下的信号处理大数据与通信大数据时代的背景大数据背景下的信号处理大数据驱动下的移动通信网络12[1]《大数据驱动的绿色通信网络》。2013大数据驱动的移动通信网络提高有限网络资源利用率基于现网大数据的分析与应用大数据的网络承载提高有限网络资源利用率—虚拟化目前国际上对虚拟化理论的研究还主要集中在计算机及计算机网络领域．在该领域，研究者主要从计算机逻辑架构的不同层面进行计算机的虚拟化过程，包括指令集层、硬件抽象(hardwareabstractionlayer，HAL)层、操作系统层和应用层当前的虚拟化技术研究主要针对有线网络，无线网络虚拟化仍是一个难题．无线网络虚拟化仍是一个难题．当前的无线接入网络是多种不同的网络垂直独立共存，不同网络支持不同协议，网元节点具有不同属性，如WLAN接入点（AP)和移动通信网络家庭基站(HNB)等．同时，无线接入网络必须支持用户的移动性，这使得业务具有更复杂的突发性和动态变化大数据驱动的移动通信网络大数据驱动的移动通信网络无线网络虚拟化ThisdemoexposesseveralwirelessWiFiaccesspointsprovidinguserswithdifferentandspecificservicesfromtheCloud.Eachphysicalequipmentischaracterizedby2GByteRAM,C2D-2.2GhzCPU,4GbpsEthernetnetworkinterfaceandWiFiAtheroschipsetbasedcard.ThevirtualaccesspointimplementsaDHCPserverwhichprovidesIPaddresses(IPv4orIPv6)forusersaskingforconnections.[1]VirtualAccessPointtotheCloud.

2012无线资源管理在低业务量时期减少发送时隙在时域、空域和频域通过动态/半静态优化系统配置网络站点部署引入宏基站、微基站、微微基站和无线局域网(，WLAN)等混合覆盖的立体分层组网新模式．在话务热点和深度覆盖盲区，加设微蜂窝基站和微微基站等在数据话务热点区域大幅度增加WiFi无线接入站点(accesspoint，AP)部署，构建无线mesh网络，大数据驱动的移动通信网络提高有限网络资源利用率MobileInternetBigDataPlatforminChinaUnicomChinaUnicom’sbigdataplatform,startingfromOctober2009,hasrecordedmonthlytrafficofmorethan2trillionrecords,monthlydatavolumeisover525TB,andthemaximumdatavolumerecordedhasreachedapeakof5PB.Overallwritingspeedhasreached1390000recordspersecond,andtherecordedretrievaltimeinthetablethatcontainstrillionsofrecordsislessthan100ms.大数据驱动的移动通信网络BigDataPlatform大数据驱动的移动通信网络HadoopDistributedFileSystem(HDFS)HBase对运营商的影响大数据驱动的移动通信网络丰富用户信息业务转为数据微信、QQ针对性业务推荐客户洞察业务构架盈利格局谢谢！2012年大事记■2012年1月，世界经济论坛年会把“大数据、大影响”作为重要议题。■2012年2月，工信部发布物联网“十二五”规划，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析等大数据技术的重要组成部分。■2012年3月，美国政府发布《大数据研究和发展倡议》，拿出两亿美元提升美国利用大数据的能力。■2012年7月，天猫与阿里云、万网宣布联合推出聚石塔平台，以云计算为“塔基”，为天猫、淘宝平台上的电商及电商服务商提供大数据云服务。■2012年8月，美国《连线》杂志报道谷歌新一代交互式大数据分析技术Dremel，称可在3秒内分析PB级数据，比Hadoop快10~100倍，将大数据技术水平向前推进了一大步。随后Dremel其开源版本ApacheDrill也正式启动开发。■2012年9月，百度对外开放核心云能力，向开发者提供百度指数、司南、风云榜、数据研究中心和百度统计五个大数据服务[1]2012年中国通信产业十大关键词点评文章(九)大数据BCM21892是博通公司针对智能手机和平板电脑市场推出的4GLTE-Advanced调制解调器，拥有业界最小尺寸，这款调制解调器还能够支持LTE等级4的速率-150Mbps，可在所有3GPP网络中运行，并能够在各种4GLTE、3G和2G接口技术之间进行无缝切换。同时，该公司的StrataConnect系列是中小企业网络交换解决方案，在单一芯片上高度集成了第二层和第三层(L2/L3)交换、16个千兆以太网(GbE)物理层收发器(PHY)、10GbE以及高性能中央处理单元(CPU)，为中小企业提供了大企业级网络管理功能。代号为CrystalForest的英特尔新一代通信平台于2012年10月发布，提供高达每秒1.6亿个数据包的三层数据包转发性能，从而能够在每个网络节点发送数千个高清视频。CrystalForest平台让设备制造商将能够在多核英特尔架构处理上整合三种通信负载——应用、控制与数据包处理，从传统的、以不同架构的硬件为核心的设备平台转向采用单一硬件架构，基于软件实现不同网络组件的高效解决方案，有效