大数据现象与机遇课件

1、大数据、云计算与移动应用大数据、云计算第1讲大数据现象与机遇Big Data & Cloud Computing2第1讲大数据现象与机遇Big Data & Cloud 大数据现象与挑战3大数据现象与挑战3大数据成为全球新热点数据来源：百度搜索量统计大数据成为全球新热点数据来源：百度搜索量统计大数据现象大数据现象大数据产生原因来自“大人群”泛互联网数据来自大量传感器的机器数据行业内容数据多结构专业数据大数据产生原因来自“大人群”泛互联网数据来自大量传感器的机器全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年每天会有 2.88 万个小时的视频上传到You

2、tube，足够一个人昼夜不息的观看3.3 年推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年每天亚马逊上将产生 6.3 百万笔订单每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EBGoogle 上每天需要处理24PB 的数据在web 2.0的时代，人们从信息的被动接受者变成了主动创造者Big Data时代到来Web 2.0时代全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足新摩尔定律全球数据总量每18个月翻番。大数据已经成为一种自然资源大数据不被利用就是成本新摩尔定律全球数据总量每

3、18个月翻番。未来增长不可限量来源：IDC数字宇宙研究报告，2011.11据IDC预测，未来10年全球数据量将以40+%的速度增长，2020年全球数据量将达到35ZB （35,000,000PB），为2009年（0.8ZB）的44倍未来增长不可限量来源：IDC数字宇宙研究报告，2011.11数据利用比例直降计算速度越来越快，企业却越来越笨。今天很多企业能弄懂7%的企业数据，但这个数字很快会下降到4%，然后继续螺旋式下降。IBM实体分析首席科学家Jeff Jonas数据利用比例直降计算速度越来越快，企业却越来越笨。IBM实体数据使用率提升10%的影响数据使用率提升10%的影响预测2020年，大数

4、据应用市场规模将达到近2600 亿美元公共管理医疗制造位置服务零售大数据市场前景对欧洲的公共管理部门来说，大数据每年有2500 亿欧元的潜在价值-比希腊的GDP 还高对美国医疗行业来说，大数据每年拥有3000 亿美元的潜在价值生产商可以利用大数据使产品研发、组装成本削减50%，人力成本削减7%利用全球的个人位置信息，每年可以取得6000 亿美元的消费者价值零售商可以利用大数据使经营利润取得60%的增长大数据成为全球新的经济增长点预测2020年，大数据应用市场规模将达到近2600 亿美元公各国政府高度重视美国：奥巴马政府3.29宣布“Big Data Research and Developme

5、nt Initiative” 将投入超过2亿美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对超级计算和互联网的投资相提并论中国：工信部物联网十二五规划信息处理技术作为4 项关键技术创新工程之一被提出包括海量数据存储、数据挖掘等各国政府高度重视美国：奥巴马政府3.29宣布“Big DatIT盛宴IT盛宴1. Volume2. Variety3. value4. Velocity结构化数据、半结构化数据和非结构化数据如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求沙里淘金，价值密度低以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用

6、的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题实时获取需要的信息大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合什么是Big Data数据量巨大全球在2010 年正式进入ZB 时代，IDC预计到2020 年，全球将总共拥有35ZB 的数据量大数据的4V特征1. Volume2. Variety3. value4. 大数据 = 海量数据 + 复杂类型的数据海量交易数据：企业内部的经营交易信息主要包

7、括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。大数据包括：交易数据和交互数据集在内的所有数据集海量交互数据：源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群

8、中运行的Apache Hadoop。大数据的构成大数据 = 海量数据 + 复杂类型的数据海量交易数据：大数据大数据涉及的关键技术需求技术描述关键技术海量数据分布式处理Hadoop 生态系统针对大量数据进行分布式处理的系统框架实时数据处理Streaming Data流计算引擎非结构化数据处理文本处理技术；自然语言理解； 多媒体处理技术文本内容分词与分析；图像、音视频分析可视化交互界面通过交互式可视化界面辅助用户进行分析交互式可视化探索分析技术智能数据分析大规模机器学习技术计算机模拟人类学习行为，包括特征提取、图形生成等保护隐私数据与信息个体的对应关系等安全技术高效存储和管理大规模数据数据存储备份

9、技术、数据放置和调度技术、数据溯源存储、放置、调度大规模的数据数据隐私保护数据隐私防范保护措施与数据安全技术大数据采集处理大数据分析存储、组织、管理大数据涉及的关键技术需求技术描述关键技术海量数据分布式处理H大数据的技术领域-分布式领域海量存储GFSHDFSAmazon S3TFSCEPH离线计算MapReduceTenzingHive/PigDremelDrillImpalaElastic MapReduce在线计算SpannerBigTableHBaseSimpleDBDynamoDBRedisMongDB流式计算S4Puma2StormStreamBase相关领域ChubbyZookee

10、perPregelHAMAMahoutSparkCaffineProtocolBufferAvro/Thrift大数据的技术领域-分布式领域海量存储GFSAmazon S3大数据的技术领域-数据分析与挖掘相关工具: SAS，R，Rhive/Rhadoop, Mahout，Xlib，OpenMPI大数据的技术领域-数据分析与挖掘相关工具:国外运营商利用大数据应用按流量种类的固定收费，解除用户流量后顾之忧培养用户使用数据业务习惯，增强用户粘性针对预付费用户群，扩大流量收入面向智能终端用户面向低端、高度同质化竞争市场西班牙电信：包月流量套餐定制（根据客户访问内容和SLA要求，提供不同费率套餐） T-

11、Mobile：应用大数据技术，降低客户流失率。在多个IT系统中整合了大数据应用，对客户交易和互动数据进行综合分析，更准确地预测客户流失率。通过将社交媒体数据和CRM和计费系统中的交易数据进行综合分析，T-mobile在一个季度内将客户流失率降低了50%。国外运营商利用大数据应用按流量种类的固定收费，解除用户流量后中移动依托大云，试点经分中国移动：历时多年打造大云平台集团组织技术验证：基于大云平台，以经分为切入点，利用现有数据，探索大数据技术，已在河北等三省试点应用探索：尝试利用大数据技术识别异常话单产品线： 分析型PaaS产品，大数据处理的一个主要产品，包括Hadoop基础平台。基于Hadoo

12、p的大数据仓库。并行数据挖掘工具。搜索引擎系统，基于中国移动“大云”平台，推出面向公众的搜索业务”盘古搜索”。中移动依托大云，试点经分中国移动：历时多年打造大云平台集团组联通试点流量清单查询中国联通：以“流量清单查询”探索大数据技术平台：英特尔至强平台及“Hadoop开发版”大数据解决方案。功能：客户服务人员提供客户上网记录的快速查询服务，或为客户本人提供高效的异常大流量上网记录自助查询服务。上线：完成北京、黑龙江、浙江、重庆试点，预计将会在今年10月份正式发布。 建设模式：联通的大数据平台是建立在数据大集中的基础之上，“我们现在在集团公司进行统一部署，各个省分仅仅是做数据的采集，按照业务实时

13、性将数据传送到集团公司，由集团公司统一处理。 ” 联通试点流量清单查询中国联通：以“流量清单查询”探索大数据技互联网公司：阿里巴巴阿里巴巴的企业愿景是要做分享数据的第一平台。大数据时代“将阿里集团变成一家真正意义上的数据公司”知道“你是谁，你想要什么”阿里巴巴集团所积淀的商业数据，支付宝、淘宝、阿里金融、B2B的数据都会成为这个巨大的数据分享平台的一部分，将会获得深度发掘和应用。互联网公司：阿里巴巴阿里巴巴的企业愿景是要做分享数据的第一平马云成功预测2008 年经济危机“2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货，出去以后再获得数据；我们提前半年时

14、间从询盘上推断出世界贸易发生变化了。”通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一。大数据时代马云：大数据赋予我们洞察未来的能力马云成功预测2008 年经济危机人类从依靠自身判断做决定到依禽流感和板蓝根禽流感和板蓝根数据化运营数据化运营行业分析行业分析阿里巴巴介入金融服务领域，核心优势是其拥有

15、的庞大的客户资源和数据，并能基于云计算平台通过对客户信息的充分分析、挖掘，实现对客户信用水平和还款能力的准确、实时把控商品供应商（企业和个人）商品购买者（企业和个人） 资金流资金流云计算平台信息流交易信息信息流网络数据模型在线视频调查模式交叉检验技术(辅以第三方验证)客户信用水平和还款能力评估报告和结果交易信息发放贷款信息流监控客户现金流，如出现违约，可截断客户的现金流各渠道信息和调研获得的客户信用记录、交易状况、投诉情况海量的客户和交易数据赋予了阿里巴巴掌握客户信息及其交易行为的强大的优势阿里巴巴介入金融服务领域，核心优势是其拥有的庞大的客户资源和阿里小贷公司建立了多层次微贷风险预警和管理体

16、系，实现了贷款前、中、后三个环节的紧密结合，有效规避和防范了贷款风险贷前贷中贷后根据企业电子商务经营数据和第三方认证数据，辨析企业经营状况，反应企业偿债能力通过支付宝及阿里云平台实时监控商户的交易状况和现金流，为风险预警提供信息输入通过互联网监控企业经营动态和行为，可能影响正常履约的行为将被预警贷后监控和网络店铺（账号）关停机制，提高客户违约成本，有效控制贷款风险贷前、贷中、贷后的一体化数据采集和分析线上行为：社区活动、在线交易、增值服务、产品发布、企业基本资料线下行为：银行流水、经营模式、财务状况、家庭情况等阿里小贷公司建立了多层次微贷风险预警和管理体系，实现了贷款前阿里巴巴金融凭借强大的数据支持，充分发挥成本和效率的优势，使得微贷工厂化的运营模式日趋成熟，极具发展潜力商户阿里小贷提出贷款申请审核客户数据视频远程沟通客户资信评估发放贷款收到贷款视频远程沟通数据支持