大数据时代下的云计算

中国科学院大学管理学院彭赓世界地图？/flutrends,2013年11月7日/flutrends,2013年11月7日美国流感趋势美国总统科学技术顾问委员会给总统和国会的报告《规划数字化的未来》，联邦政府的每一个机构和部门，都需要制定一个应对“大数据”的战略。2012年7月，联合国发布了“大数据政务白皮书”，总结了各国政府如何利用大数据更好地服务和保护人民。

google、amazon、twitter等美国知名互联网企业率先实施大数据发展战略2013年4月，马云宣布阿里巴巴进入大数据时代

银行、电力、石油等国内多个行业的大企业都在思考如何迎接大数据时代的机会和挑战大数据被誉为“21世纪的新石油”。据美国研究机构统计，大数据能够为美国医疗服务业每年带来3000亿美元的价值，为欧洲的公共管理每年带来2500亿欧元的价值，帮助美国零售业提升60%的净利润，帮助美国制造业降低50%的产品开发成本

显而易见，大数据应用扩展到社会领域，正在上升到国家战略层面，具有良好信息化基础的行业成为大数据应用的先行获益者。大数据被誉为“21世纪的新石油”

运用大数据进行模拟实境，发掘新的需求和提高投入的回报率；提高大数据成果在组织的分享程度，提高整个管理链和产业链投入回报率加强已有的产品和服务，创造新的产品和服务，打造出全新的商业模式。32对顾客群体细分，然后对每个群体量体裁衣般的采取独特的行动大数据主要商业价值情境模拟创新管理高效运营精准营销大数据成为一种新型战略资源沃尔玛分析销售、定价和经济、人口、天气方面的数据来为特定的门店选择合适的产品，并确定降价的时机；银行根据求职网站岗位数量推断就业率；对冲基金依据购物网站顾客评论分析企业产品销售状况;UPS挖掘货车交付时间和交通模式方面的数据以调整路线；大数据价值版图城市交通部门通过收集成千上万个传感器的数据，描绘出交通的数字化地图，为城市异常交通情况制定应对方案……这些生动的商业案例为我们描绘了一张机遇无限的“大数据价值版图”，也推动商业社会重新思考自身的业务模式所带来的大数据需求，以更加快速的行动向大数据实践迈进。基于网络数据的挖掘互联网的三类数据，分别代表了不同的经济含义和行为特点浏览数据——记录了用户的访问脚步、访问路径搜索数据——刻画了用户的兴趣点和关注度互动数据——反映了用户的倾向性和情绪因素网络浏览、搜索和互动行为，能有效地反映网民的网络活动和规律，映射出网民在现实中的社会经济行为趋势；近10年来，应用网络数据来挖掘社会经济行为已经成为一种新的预测方法，受到全球学术界广泛关注我们的相关研究（一）基于网络数据挖掘的应用利用电子商务网站服务器日志的浏览数据挖掘，分析网民的访问/购买行为。前向路径分析我们的相关研究（二）后向路径分析用户聚类结果购买类、浏览类、积累信息类、浅薄类、门户&下载我们的相关研究（续）利用网络搜索数据挖掘应用：监测和预测：宏观经济指标：CPI、小微企业经营景气指数、沪市指数流行疾病的监测：艾滋病、流感、梅毒等旅游客流量的分析与预测世博会日客流量/园博会日客流量海南省/云南省游客数据天山景区客流量电子商务交易量的预测、网购达人的挖掘与淘宝网合作雪花啤酒微博达人挖掘流行疾病的数据拟合效果基于网络多源数据的挖掘分析多数据源网络浏览数据网络搜索数据网络互动数据网络媒体数据目标：网络互动数据中的情绪挖掘多源数据挖掘，揭示不同网络行为之间的关联性数据介绍浏览数据浏览量(PV)、新访客数、IP数、平均访问页数和时长官网服务器的日志文件园博会官网：/搜索数据互动数据博客与微博：sina、sohu、腾讯、网易媒体数据国内主流平面媒体和网络媒体游客数据前10个关键词合成的搜索指数R2=0.878594535，微博情绪与游客数量的关联性17大数据蓝图框架中所涉及的范围大数据战略蓝图框架价值驱动大数据战略技术驱动数据中心规划

技术

实施评估

云计算战略

技术挖掘

应用

大数据蓝图框架战略实施公共云

私有云

混合云

SaaSPaaSIaaS云计算的背景大数据时代下，世界各国将大数据战略提升到国家战略层面，进一步推动了云计算数据中心的广泛应用。互联网经济的形成分布式计算、集群技术、虚拟化技术等关键技术的逐渐成熟IT服务质量与服务交付速度的要求（敏捷业务能力）IT成本控制的要求专业化分工的趋势（自建改租用云运营商提供的专业服务）带宽不再是障碍挑战旧体系的创新动力（新的IT能力提供与消费模式）系统经过长期的建设和积累、结果是…不同的应用、不同的硬件平台机房空间、电力供应、空调制冷不足应用不停更新配置不断升级软、硬件的维护成本持续增加长期的性能调优…主机虚拟化能解决所有问题吗？更加昂贵、更加复杂、更难管理烟囱式的系统建设，IT成本居高不下（硬件/能耗/管理）按峰值规模建设，资源平均利用率低缺乏弹性的系统设计，应对业务突发情况差建设周期漫长，无法快速提供与部署业务需求的快速增长，设备更替快，不利投资保护集中资源池的共享虚拟化、分时/区共享动态调配、弹性伸缩自动化、自服务低成本、标准化硬件云计算下一代IT数据中心技术标准化能力服务化提供快速化资源弹性化管理自动化管控集中化传统模式IT部门借助云计算应对挑战NIST对云计算的定义及服务模式云计算是一种能够方便地按需从网络访问共享的可配置计算资源（如网络、服务器、存储、应用程序和服务）池的模型，且只需最少的管理或服务提供方交互即可快速供应和发布该模型。云计算SaaSPaaSIaaS管理型工具型网络游戏搜索网络教育在线视频网络邮箱在线统一通信在线杀毒…在线CRM在线ERP在线HR在线进销存在线客服与网络营销在线OA在线PM…在线开发平台在线测试平台在线运营平台电子商务平台企业网站平台数据库中间件……网络硬盘随需租赁的数据中心…云服务提供者是将提供完整解决方案、具有吸引力的价格、低成本的基础架构包装组合成可盈利的商业模式复杂的架构（可扩展的基础架构、工作负载优化、虚拟化、生命周期自动化等）满足不同用户的群体需求高效的管理模式（服务管理、配置/资产管理、数据管理、业务连续性、网格/高性能计算）低成本运营

云服务消费者只需要一个设备和互联网连接，就可以获得所需要的……不需要软件、硬件、技术知识不拥有但是却可以随时随地访问不需要承担服务组件的风险和成本，但是却可以使用可扩展的、弹性的、可共享的技术按需付费……Gartner认为云计算是一种计算方式，它能将大量灵活弹性的IT相关能力打包成服务提供给使用互联网技术的外部客户"云计算的供需方特征云计算的价值实现ROICAPEXOPEX工程周期人力资源……虚拟化（CPU，存储，网络,…）共享资源（数据库，文件系统，内存对象,…）弹性计算（ScaleOUTandScaleUp,…)自服务(服务开通能力，SLA，QoS,…）安全性（数据安全，访问安全，SSO，3A，…)业务创新商业联盟社会营销移动战略……为用户提供IaaS,PaaS或SaaS创造差异化竞争能力将IT从成本中心转型为利润中心通过平台共享、标准化、自动化降低经济成本构建易于管理且能够确保运营质量与运营效率的IT中心系统管理/CloudMaster海量数据分布式文件系统

HyperDFS网管系统mSpacesIDC。。。开源的Linux操作系统

基于Xen的虚拟机分布式并发控制/GlobalLock平台安全管理/CloudSecurity结构化海量数据管理

HugeTable并行程序设计和开发环境

MapReduce数据挖掘工具库BC-PDM搜索引擎核BC-MSE云存储中间件BC-MCSS云计算应用层（SaaS)

中国移动内部的新型IT支撑系统

IDC,mSpaces,email等互联网应用

数据挖掘工具库：挖掘应用的算法工具云存储中间件：提供海量对象存储能力搜索引擎核：提供基本的搜索引擎能力云计算平台层(PaaS)

MapReduce：MapReduce并行程序框架

HugeTable：结构化数据存储

HyperDFS：海量数据的分布式文件系统

CloudMaster:云计算平台系统管理虚拟化资源层(IaaS)

构建在海量同质化的PC与不可靠硬盘上使用开源的Xen提供计算资源的虚拟化运行于开源的Linux系统之上业务支撑管理系统对象存储系统oNest云计算技术架构引入云计算的两种思路对既有系统做IaaS层面的云化改造，主要是通过虚拟化技术将同类型的主机、存储做合并，实现硬件负载均衡和按需动态调整；对既有系统做PaaS层面的云化改造，实现集中化、标准化、自动化、弹性化、快速化；采用标准化设备构建全新的IaaS+PaaS平台，用于支撑未来内部所有新建IT系统及要替换升级的IT系统的运行；PaaS平台构建的两个核心是数据库层及中间件层，数据库层构建主要考虑集群技术，中间件层构建可以考虑软件集群技术、内存数据网格技术，使用具备全面管理能力的成熟商用管理软件；随着IT支撑系统专业化的不断发展，系统被细分为能力，能力逐步以服务的形式提供，实现支撑能力服务化，数据库及中间件的基础PaaS平台与共享服务构成真正PaaS；构建统一的内部共享的开发、测试及预研云，提高IT构建效率及节约成本；私有云公共云引入云运营商的云服务，以服务于自身的IT建设需求；构建新一代的云化数据中心（包括虚拟主机租用、存储租用、应用平台租用、企业应用的直接租用等IaaS/PaaS/SaaS公共云服务），成为云运营商；传统环境和云环境建设周期的对比App部门独自全新的开发应用IT提供和部署应用IT按照需求调整能力效率低下的，部门有很多无用开销AppApp曾经有机构统计过，依靠传统环境进行基础设施建设，需要花费

大约33天。部门通过使用共享服务和组件构建应用部门通过自服务门户部署应用能力调整自动化高效的，部门按需付费AppAppApp针对云环境的应用，一个管理员大约用108分钟完成自动供应基础设施。

国外一些企业对云的理解和认识“云计算给我们的最大好处就是，它使我们不需要再去购买额外的数据中心。使用云计算方案，我们不需要购买任何服务器、存储设备以及网络设备。一切软、硬设备和技术问题都交付给云计算服务提供商完成。我们也不会因为兼容问题而被局限在一个硬件厂商的产品、方案中。另外，云计算采用按需使用、即付即得的交付模式。这样我们不必关心硬件系统的性能、容量等IT基础设施的技术参数，我们只需要关心自己的业务。云计算的升级方式非常灵活，完全可以支持业务的动态变化。更重要的是，我们不需要为将来可能用到的系统付费，我们只为正在使用的资源付费。”澳大利亚联邦银行C