大数据与云计算-黄哲学

1、深圳大学 计算机与软件学院1大数据与云计算:-信息技术发展的新纪元黄哲学 博士深圳大学特聘教授大数据技术与应用研究所所长深圳大学 计算机与软件学院2大纲大数据与云大数据与云计算计算云计算云计算大数据平台与技术创新大数据平台与技术创新大数据平台大数据平台产业化与应用案例产业化与应用案例深圳大学 计算机与软件学院3什么是大数据对数据的使用者来讲，如果数据集超出了使用者所拥有的信息处理和分析的能力，就给使用者带来了大数据问题深圳大学 计算机与软件学院4大数据V特征Volume数据规模大Velocity数据变化数据快Variety数据属性复杂Value 价值大数据的特点并不只是数据规模大深圳大学 计算

2、机与软件学院5数据的量呈现指数增长 2009年至2020年将增加44倍 数据的体量从0.8 zettabytes增加到35ZB生成和采集的数据将按指数增长根据麦肯锡预计美国超过1000雇员的公司，平均每个公司存有200TB的数据，很多行业的公司，如银行、电讯、互联网、政府部门等，平均存储的数据超过1个PB。深圳大学 计算机与软件学院6大数据的多样性Variety 不同的数据格式，数据类型和数据结构 文本、数字、图像、音频、视频、时间序列、社会媒体数据、高维矩阵数据等 静态数据 vs. 流数据 同一个应用可以生成和采集不同类型的数据为了提取知识 尽可能多地综合不同类型的相关数据深圳大学 计算机与

3、软件学院7大数据的速度Velocity 数据的采集速度的加快导致处理时间都需要有相应的提高 在线数据分析 (Online Data Analytics) 决策的延误 商机的消失 实例 网上营销(E-Promotions): 基于用户当前的位置和过往的交易数据预测用户的喜好 在合适的时间和地点发送用户感兴趣的产品和店铺 健康监控(Healthcare monitoring): 利用穿戴式的传感器监控用户的生理和活动数据 及时提供需要的医疗服务深圳大学 计算机与软件学院8大数据的价值 (Value)未来大数据的产业规模将会至少以万亿美元来进行衡量，大数据将会给信息技术领域带来一个新的增长点。美国医

4、疗保健美国医疗保健n每年产值达3000亿美金n每年生产率增长约0.7%制造业制造业n 最多可节省50%的产品研发、组装成本n 最多可节约7%的营运资金美国零售业美国零售业n净利率增长可能高达60%+n每年生产率增长0.5-1.0%欧洲公共部门欧洲公共部门管理管理n每年2500亿欧元n每年生产率增长约0.7%全球个人定位全球个人定位数据数据n1000亿+的服务供应商收入n为终端用户带来高达7000亿美的价值深圳大学 计算机与软件学院9大数据的产生 数据的发展和创新将不再是如何生成和采集数据 具备对采集的数据进行管理、分析、总结、可视化展示和知识发现的能力已经成为新的挑战社会媒体网络(每个人都在产

5、生数据)科学仪器 (采集不同类型的数据)移动终端 (个人地理信息数据)传感器网络(测量不同类型的数据) 深圳大学 计算机与软件学院10大数据的技术挑战 存储 分布式、低成本 传输 能力、成本 处理 集成、融合、处理 分析 能力、效率 挖掘 方法、能力、技术、平台 应用 能耗深圳大学 计算机与软件学院11互联网与电讯行业需求某互联网公司 100多在线游戏，4亿在线游戏用户 在线系统记录每个游戏用户在线玩游戏的详细数据，包括游戏、时间、动作、结果等，TB级数据 分析需求： 用户行分类与预测，用户行为客户群划分 用户挽留、用户奖励和级别提升某电信公司 深度包检测（DPI）大数据分析，研究客户互联网行

6、为模型，流量分析，数据套餐设计 百万人口城市，每天数据量TB级深圳大学 计算机与软件学院12云计算云计算是一种新的大规模分布式计算模式 通过网络和资源 虚拟技术，实现计算及存储资源集中管理，面向用户提供服务云计算可以解决目前计算机使用的诸多问题，是计算技术发展的一个新的里程碑 2022-5-512传统计算机的问题传统计算机的问题 使用成本高资源分散资源不足资源浪费高能耗环境污染云计算的优点云计算的优点 成本低易于普及可扩展能力高节能环保深圳大学 计算机与软件学院13 云计算的五个基本特征1. 按需自助服务 （On-demand self-service）2. 广泛的网络接入 （Broad ne

7、twork access）3. 资源池 （Resource pooling）4. 快速弹性化 （Rapid elasticity ）5. 可度量的服务 （Measured Service）2022-5-513深圳大学 计算机与软件学院14云环境 （A Cloud） 云指的是一个遥远的计算环境，这个环境是用来为计算环境外的用户提供可扩展和可度量的计算资源。 用户可能不知道具体的云环境在哪里。如用户在深圳，云环境可能在内蒙古。2022-5-514深圳大学 计算机与软件学院15云环境的计算资源 物理服务器CPU, 内存, 外存（磁盘、磁带） 虚拟服务器CPU, 内存, 外存 软件 服务 （应用）20

8、22-5-515物理服务器虚拟服务器软件服务深圳大学 计算机与软件学院16虚拟化是云计算的核心技术 虚拟化技术可以将一个物理服务器当作多个虚拟服务器使用，多个用户共享物理服务器的资源，但用户对虚拟服务器的体验是独立的计算机。用户不需要了解物理服务器 虚拟服务器的运行由物理服务器统一管理和维护，虚拟机用户不需要维护。 当某虚拟机用户需求变化时，物理服务器的资源可以自动扩展。2022-5-516深圳大学 计算机与软件学院17弹性化和可扩展性 弹性化是云计算的重要特征，计算资源弹性化可以使云环境的计算能力随着用户需求变化而增加或减少。 水平扩展 向外扩展 Scale out增加资源 向内收缩 Sca

9、le in减少资源 垂直扩展 向上扩展 Scale up提升CPU和内存 向下收缩 Scale down 降低CPU和内存2022-5-517云服务器深圳大学 计算机与软件学院18面向服务 Service Orientation云计算的独特特征是服务导向或面向服务，就是将计算和存储资源作为服务供用户使用服务的收费方式是谁使用谁付钱，例如：付使用存储服务的费用付使用CPU的费用付使用数据库软件的费用用户不拥有这些资源，因此不需维护它们2022-5-518深圳大学 计算机与软件学院19云计算的三种基本服务模式云设施服务 Cloud Infrastructure as a Service (IaaS

10、)云平台服务 Cloud Platform as a Service (PaaS)软件作为服务 Cloud Software as a Service (SaaS)2022-5-519深圳大学 计算机与软件学院20云计算架构 Cloud Architecture2022-5-520虚拟化计算服务Computing Service存储服务Storage ServiceDBMSMapReduceGoogle App EngineCRMERPCAD/CAM POSWindows Azure Infrastructure as aService （IaaS）Platform as aService （

11、PaaS）Software as aService （SaaS）物理资源物理资源深圳大学 计算机与软件学院21云服务应用的部署模型公有云 Public cloud私有云 Private cloud社区云 Community cloud混合云 Hybrid cloud 2022-5-521深圳大学 计算机与软件学院22大纲大数据与云大数据与云计算计算云计算云计算大数据平台与技术创新大数据平台与技术创新大数据平台大数据平台产业化与应用案例产业化与应用案例深圳大学 计算机与软件学院23挑战性的技术问题Access to Diverse Heterogeneous Distributed DataEx

12、pression Arrays (various tissues)Personal genomicsX-rays, MRI, mamograms, etcClinical RecordAnalysis lab notesHospital events .admission, surgery, recovery, discharge 1.Patient Information数据融合(fusion)数据集成(integration)挑战病人健康医疗数据没有有效的数据集成就不能进行有效的综合数据分析深圳大学 计算机与软件学院24挑战性的科学问题成千上万个属性超高维问题百万以上甚至超亿个记录1. 混

13、合数据类型2. 缺省值/噪声3. 相关性问题4. Unbalance5. Subspace property 6. Uninformativeness12nn-1n-2n-3n-4f1f2f3f4f5大数据集的挑战 （Big Data Matrix） 深圳大学 计算机与软件学院25超高维数据聚类算法研究1. 对属性变量做分组归并，产生组变量2. 对组变量和属性变量分层加权重3. 扩展软子空间聚类算法EWKM，在聚类过程中自动计算组变量权重值和属性变量权重值4. 最后得到以组变量为主的子空间聚类结果组变量相当于在高空看数据，大轮廓清晰属性变量相当于在低空看数据，细节清晰组变量属性变量深圳大学 计

14、算机与软件学院26SRF：基于MapReduce大数据随机森林算法Layer宽度优先、大规模分层建树策略宽度优先、大规模分层建树策略深圳大学 计算机与软件学院27大数据随机森林算法研究成果属性加权抽样随机森林算法，用于超高维数据分类，平均精度提高20%。与澳大利亚联邦税务总局数据挖掘首席科学家Graham Williams合作，将随机森林算法用于ATO缴税分类建模。分布式高可扩展随机森林分类算法，实现了对千万个客户记录、千个变量、100GB规模数据的建模能力。将分布式随机森林算法发布到国际著名的统计分析平台 R 系统上，扩大国际影响力。研究成果国际化推广研究成果国际化应用随机森林模型并行化实现

15、属性加权抽样随机森林模型深圳大学 计算机与软件学院28云计算与大数据分析数据挖掘是从数据中发现知识的方法和过程，是解决各种科学和应用问题的重要手段由于数据的快速增长，传统的数据挖掘技术和软件正面临极大的瓶颈 银行：人民银行征信系统收录了自然人6.4亿人的信贷记录 金融：南方基金公司有近1000万客户资料需要分析 电讯：广东中国移动每天产生2TB通话记录数据 零售：Wal-Mart每天产生2.6亿个交易记录，其数据中心存储4PB的交易数据 互联网： Amazon有5900万活跃客户，超过42TB的客户数据2022-5-528云计算的优点是处理海量数据的能力，为大数据挖掘提供了新的计算平台 深圳大

16、学 计算机与软件学院29云计算海量数据处理的核心技术2022-5-529 数据划分数据划分GFS (Google) GFS (Google) HDFS (Hadoop)HDFS (Hadoop) 算法编程算法编程Map Map 和和 Reduce Reduce 两两个基本操作个基本操作大规模分布计算大规模分布计算可扩展性可扩展性 程序运行程序运行负载平衡负载平衡任务调度任务调度容错容错深圳大学 计算机与软件学院30MapReduce编程模型主节点主节点节点节点节点节点节点节点节点节点节点节点用户编程用户编程 文件文件文件文件文件文件文件文件文件文件输出输出输出输出文件划文件划分分Map Map

17、 运算运算Reduce Reduce 运算运算结果输出结果输出程序写成程序写成MapMap和和ReduceReduce两步运算两步运算1. 1. MapMap统计单个文本词频统计单个文本词频2. 2. ReduceReduce综合所有文本的词频综合所有文本的词频(Map)(Reduce)深圳大学 计算机与软件学院31MapReduce 管道式运算2022-5-531M RM RM RM RK-K-均值聚类均值聚类对象分簇对象分簇MapMapReduceReduceM RM RM RM RM RM RM RM R输出输出输入输入? ? ? ? ? ?收敛收敛? ?重新计算重新计算簇簇中心点中心点

18、深圳大学 计算机与软件学院32基于云计算的大数据分析平台区域智能数据中心区域智能数据中心支持多种终端访问n 以区域性智能数据中心及高速互联网为基础设施n 以互联网服务体系为架构n 以大数据存储、处理、挖掘和交互式可视化分析等关键技术为支撑n 通过多样化移动智能终端及移动互联网为用户提供数据存储、管理及分析服务。深圳大学 计算机与软件学院33关键技术云计算引擎高性能海量数据挖掘算法库工作流引擎支撑海量数据处理、挖掘与分析运算提供海量复杂数据处理、分析与挖掘高可扩展算法数据处理分析流程图形化设计数据处理分析流程自动执行资源调度及优化Open API提供数据挖掘平台与第三方应用系统的扩展接口支撑海量

19、数据存储与管理云存储大数据分析平台大数据分析平台深圳大学 计算机与软件学院34云计算大数据挖掘平台云计算大数据挖掘平台110台服务器, 840 CPU核, 550TB 存储容量构建云计算大数据挖掘平台，具备TB级数据存储、处理与分析能力，为大数据挖掘技术与系统开发和测试提供实验支撑环境。数据库：MySQL5.0 商用版云存储：Hadoop、Casendral数据挖掘软件：Alphaminer、R平台规模软件环境平台功能大数据云存储与管理分布式并行数据挖掘任务执行可视化数据分析执行引擎深圳大学 计算机与软件学院35云计算数据挖掘算法库基于MapReduce模型，实现了11个常用数据挖掘算法分布式

20、并行化。K-MeansK-ModesW-K-MeansEWKM聚类算法Decision TreeRandom ForestsLDA分类算法Logistic RegressionRandom Forest Regression回归算法FP-Growth关联规则部分算法的测试性能已达到TB级数据的处理能力。 K-Means算法性能数据规模：1TB，1千万条数据* 1万维执行效率：初始10个聚类中心，一次迭代时间约30分钟 Random Forests算法性能数据规模： 110GB，1千万条数据*1千维执行效率：建立20棵树约36分钟针对传统数据挖掘算法不能处理大数据的挑战，开发基于云计算的高可扩展

21、并行数据挖掘算法库，突破TB级数据处理瓶颈。深圳大学 计算机与软件学院36大数据处理流程-医保数据案例1型糖尿病性神经炎（原始记录）糖尿病性神经炎（ICD国际疾病分类标准）内分泌，营养和代谢疾病（ICD国际疾病分类标准）疾病匹配疾病分类疾病分类深圳大学 计算机与软件学院37在线数据分析 通过仪表盘图形化的KPI指标 支持全局的运营表现和局部细节的钻取分析 快速了解业务运营的各项指标 实施获取告警信息 定制化的应用开发深圳大学 计算机与软件学院38移动终端上的商务智能 分析平台系统框架基于浏览器的BI分析平台基于智能移动终端的BI分析平台深圳大学 计算机与软件学院39海量数据可视化深圳大学 计算

22、机与软件学院40大数据分析与挖掘平台智能数据中心基于WEB的数据分析流程设计工具基于WEBD 数据管理工具深圳大学 计算机与软件学院41创新点：与搜索引擎区别主要功能海量数据分析海量信息检索处理对象 各类型海量数据网页任务目标 挖掘新知识、分类模型等已有信息的查询与集成应用目标 智能决策支持信息查询核心技术 机器学习、数据挖掘、分布式计算网页爬虫、索引、快速查询应用领域 新兴领域（互联网、移动互联网、电子商务、医药研发、气象预测）教育、军事、情报、互联网vs.大数据分析平台搜索引擎深圳大学 计算机与软件学院42创新点：与云服务区别主要功能海量数据存储与分析服务云服务处理对象 各类型海量数据Pa

23、aS，SaaS 应用任务目标 挖掘新知识、分类模型等提供低成本计算服务应用目标 智能决策支持支持中小企业IT应用相互关系 应用云计算技术提供数据分析服务支撑数据分析服务vs.云服务平台大数据分析平台深圳大学 计算机与软件学院43创新点：与传统BI区别应用模式互联网服务解决方案软件解决方案技术支撑 智能数据中心、互联网大型BI软件及昂贵硬件服务器扩展性 弹性扩展扩展性差TOC 按需付费解决方案，价格昂贵，成本极高应用领域 新兴领域（互联网、移动互联网、电子商务）传统领域（金融、保险、电信、零售）适用性 大型企业（BI 私有云）中小企业（BI SaaS）大型企业vs.BI ServiceBI Ru

24、ntimeBI ServerVisualization传统BI大数据分析平台深圳大学 计算机与软件学院44大纲大数据与云大数据与云计算计算云计算云计算大数据平台与技术创新大数据平台与技术创新大数据平台大数据平台产业化与应用案例产业化与应用案例深圳大学 计算机与软件学院45大数据信息服务产业链大数据信息服务产业链金融传统应用领域新型应用领域互联网智慧城市电子商务现代物流制造零售通信智能电网深圳大学 计算机与软件学院46大数据信息服务业的机遇大数据信息服务业的机遇 大数据是新兴技术和战略性产业，各国都处在同一起跑线，原始创新机遇大； 我国数据资源丰富，应用需求巨大，有条件实现跨越性发展，走在世界前

25、列深圳大学 计算机与软件学院47大数据分析平台产业化大数据分析平台技术及产业化优势：降低企业应用成本，技术积累和专业化服务，培育新的大数据分析和信息服务产业。孵化面向不同行业的专业咨询公司、大数据分析公司和信息服务公司。深圳大学 计算机与软件学院48电信大数据分析案例深圳大学 计算机与软件学院49MBB数据及预处理uMBB(Mobile Broadband)数据通过移动互联网访问网络的日志数据,该数据为运行商的原始数据。2进制编码，有标准的协议，需要根据协议进行解码。规模大，一个中等规模的城市每天产生数TB的MBB数据uMBB数据预处理根据MBB数据协议进行解码,一般由设备供应商提供。解码后得

26、到的数据payload字段是二进制编码，其他字段都是文本。Payload是应用程序在互联网上的传输协议，每个协议都有具体的格式。对该部分内容的解析叫做DPI（Deep Packet Inspection）。深圳大学 计算机与软件学院50MBB数据格式（小部分属性）AAL514 bytesOuter IP20 bytesOuter UDP8 bytesGTPU8 bytesInner IP20 bytesInner TCP20 bytesPayload1400 bytes深圳大学 计算机与软件学院51MBB数据重要字段解释序号序号名称名称意义意义1srcip外层源IP2dstip外层目的IP3t

27、ype_id string业务类型，如Streaming，Web_Browsing等4service_id服务类型，如PPStream，HTTP等5detail_id详情，如PPStream_UDP，HTTP等6imsi国际移动用户识别码，储存在SIM卡中，可用于区别移动用户的有效信息7imei国际移动装备辨识码，用于识别每台手机8rnc_id基站编号9cell_id小区编号10setup_timeRNC建立时间11access_timeRNC连接时间12quit_timeRNC断开时间13terminal终端深圳大学 计算机与软件学院52用户上网位置和行为分析u抽象数据模型（U，L，A）U

28、- IMEI和IMSI共同标示一个用户L - 通过小区编号cell_id标识A - 通过详情detail_id作为用户的行为标识深圳大学 计算机与软件学院53用户上网位置和行为分析（续1）LocationgroupsActiongroupsLocation_group6302953122620502Action_group11PPStreamSkype_IMIcecastAction_group12POP3KooWoIMAPLocation_group7452531697118746Action_group69158_VChatHTTPTongDaXinAction_group7POP3_SS

29、LIMAP_SSLPPVA_Control_data深圳大学 计算机与软件学院54结果展示 地点组和行为组的关系在地点主题1，用户的行为主题主要集中在行为主题6某个地点组对应某个行为组的概率分布，其中列代表地点组，行代表行为组，颜色越深表示概率值越大，颜色越浅表示概率值越小 深圳大学 计算机与软件学院55基于位置的推荐模型 基于位置的行为推荐当用户出现在某个地方，推荐可能感兴趣的k个应用k精度精度139%542%1054%1569%2070%2571%3084%算法算法准确率准确率贝叶斯网络贝叶斯网络62.0%决策树决策树32.9%模型预测准确度与k的关系其他方法预测准确度当k取到15以上，我

30、们的方法比传统的分类方法具有更高的推荐预测准确率深圳大学 计算机与软件学院56电力行业大数据分析案例深圳大学 计算机与软件学院57智能电网大数据 自动化数据采集装置在智能电网中大量采用n东莞 p大工业的电力用户达两万多家p每十五分钟采集电压、电流、功率等数据p每月平均数据量达85GB深圳大学 计算机与软件学院58用电行为模式的客户分群n选取客户不同维度的数据进行客户分群n日周月用电模式n用户行业背景n用户地理信息n用户电力设备信息n地区宏观经济数据n通过对客户分群，获取用户不同的用电模式n工作日双班制，三班制，四班制n周末长短周轮休n夜间用电高峰n行业间用电模式比较n不同地区不同行业用电模式比较n节假日及用电模式趋势预测电力用户客户分群用户地理信息用电模式用户行业背景深圳大学 计算机与软件学院59用户类型分布行业类别总计金属制品业3456通信设备、计算机及其他电子设备制造业2983塑料制品业2918纺织服装、鞋、帽制造业1682电气机械及器材制造业1393纺织业1147橡胶制