企业大数据解决方案

大数据时代，泽佳助力企业发展@2013

北京泽佳公司版权所有Copyright©2013ZejiaConsultingCorporation第2页什么是大数据@2013

北京泽佳公司版权所有Copyright©2013ZejiaConsultingCorporation第3页数据无处不在任何时间，任何地点，任何事情，任何人?Anytime，anywhere，anything，anyone?休息中，随意刷微博爬山时，记录每一瞬间旅途中，处理公司事件工作时，实时掌握市场动态@2013

北京泽佳公司版权所有Copyright©2013ZejiaConsultingCorporation第4页大数据时代已经来到每分钟都有大量数据产生1min486笔订单（2012年11月）7.3万笔交易数（2012年双11）1.1GB文件下载9.5万条微博发送14万张照片上传70TB处理数据@2013

北京泽佳公司版权所有Copyright©2013ZejiaConsultingCorporation第5页互联网中的大数据Web3.0时代，社交媒体网站数据出现井喷式激增，截至2013年3月底，新浪微博注册用户数增长到5.36亿，日均活跃用户数达到4980万，每日新增微博约2亿。企业在大数据时代，面临文化、战略、组织、流程、信息化、公共公关系、人才培养方方面面的挑战，同时也迎来重大的转型机遇和飞跃契机。@2013

北京泽佳公司版权所有Copyright©2013ZejiaConsultingCorporation第6页互联网中的大数据

大数据在消费IT领域的作用更加明显。只要你用PC上网或手机浏览信息，你便在网络上处处留照了，性别、年龄、爱好、踪迹、信用等等便被大数据刻画的一览无余，恭喜你已经成为数字透明人了！可能你都不知道自己下一步要干什么，产品经销商借助搜索引擎、电子商务平台、旅游网站的数据根据你的浏览行为已经在为你张罗生日、餐饮、旅游、结婚、生子、购房、购车了，特价机票、婚纱、尿不湿、奶粉、海景房等广告已经为你编排好了。大数据在消费IT领域的作用更加明显。只要你用PC上网或手机浏览信息，你便在网络上处处留照了，性别、年龄、爱好、踪迹、信用等等便被大数据刻画的一览无余，恭喜你已经成为数字透明人了！可能你都不知道自己下一步要干什么，产品经销商借助搜索引擎、电子商务平台、旅游网站的数据根据你的浏览行为已经在为你张罗生日、餐饮、旅游、结婚、生子、购房、购车了，特价机票、婚纱、尿不湿、奶粉、海景房等广告已经为你编排好了。@2013

北京泽佳公司版权所有Copyright©2013ZejiaConsultingCorporation第7页企业IT进入2.0时代随着公司业务的增长，大量和流程、规则相关的非结构化数据也爆发式增长。比如：1、业务系统现在平均每天存储20万张图片，磁盘空间每天消耗100G；2、平均每天产生签约视频文件6000个，每个平均250M，磁盘空间每天消耗1T;@2013

北京泽佳公司版权所有Copyright©2013ZejiaConsultingCorporation第8页大数据的特性

V

V

V

V价值Veracity体量Volume多样性Variety速度Velocity68%31%来源多；格式多：大数据包括结构化数据和非结构化数据，邮件，Word,图片，音频信息，视频信息。最新研究报告，到2020年，全球数据使用量预计暴增44倍，达到35.2ZB。价值密度低，犹如沙里淘金，海量业务中寻找价值。1秒定律，实时获取所需要的数据，为决策提供依据。@2013

北京泽佳公司版权所有Copyright©2013ZejiaConsultingCorporation第9页企业大数据的挑战业务数据的映射提取大数据价值大数据隐私大数据分析@2013

北京泽佳公司版权所有Copyright©2013ZejiaConsultingCorporation第10页泽佳建议企业大数据解决方案@2013北京京泽泽佳佳公公司司版版权权所所有有Copyright©©2013ZejiaConsultingCorporation第11页大数数据据基基础础架架构构要要求求可预预测测的的低低延延迟迟高事务务参参数数灵活活的的数数据据结结构构获取取组织织分析析决策策高吞吞吐吐量量就地地准备备所有有数数据据源源和和结结构构深度度分分析析敏捷捷开开发发高度度可可伸伸缩缩性性实时时流数数据据运营营影影响响@2013北京京泽泽佳佳公公司司版版权权所所有有Copyright©©2013ZejiaConsultingCorporation第12页泽佳大大数数据据解解决决方方案案，，以以数数据据融融合合、、综综合合处处理理为为方方向向大交交易易数据据大交交互互数数据据大交交易易融融合合大数数据据处处理理企业业供应应链链消费费者者SNS互联联网网物联联网网移动动终终端端OLTP实时时交易易处处理理OLAP实时时分分析析处处理理SOCIALMEDIADATAOTHERINTERACTIONDATAMachine/DeviceSensors/meters/RFIDtagsCDR/mobileSD，MM，PP，SD，FICO。。。。。@2013北京京泽泽佳佳公公司司版版权权所所有有Copyright©©2013ZejiaConsultingCorporation第13页泽佳佳大大数据据解决决方方案案整体体架架构构企业业内内外外部部协协同同（（供供应应商商+企业业内内部部+客户户+银行行+税务务+政府府+社区区+……)外部部信息息（（社社交交+电商商+移动动+视音音频频+……)开放放式式API和协协议议通用用的的设设计计和和模模型型环环境境通用用数数据据管管理理环环境境交易易数数据据管管理理社交交数数据据管管理理移动动数数据据管管理理主数数据据管管理理内存存数数据据管管理理企业业数数据据仓仓库库管管理理数据据存存储储数据据获获取取数据据组织织数据据分分析析数据据展展现现无线线数数据据管管理理信息息管管理理和和实实时时数数据据迁迁移移联合合访访问问实时时大大数数据据平平台台门户户数据据分分析析电子子邮邮件件办公公软软件件大屏屏幕幕电脑脑桌桌面面移动动终终端端企业业级报报告告工工具具Adhoc即时时查查询询例外外分分析析非结构构化化数数据据探探索索预测测与与挖挖掘掘@2013北京京泽泽佳佳公公司司版版权权所所有有Copyright©©2013ZejiaConsultingCorporation第14页泽佳大大数数据据解决决方案案体体系系数据据多样样性性模式式动态态模模式式HDFS分布布式式文文件件系系统统Hbase分布布式式列列存存储储系系统统SybaseESP事件件流流处处理理器器HdoopMapReduceBigDataConnectorsYounghongBI获取组织分析决策复杂场场景处处理实时时决策策ETLEDW@2013北京泽泽佳公公司版版权所所有Copyright©2013ZejiaConsultingCorporation第15页一般企企业数数据处处理平台的的基础础架构构@2013北京泽泽佳公公司版版权所所有Copyright©2013ZejiaConsultingCorporation第16页泽佳大数数据解解决方方案基基础架架构门户泽佳大数数据平台快速、可靠大屏幕幕电脑桌桌面电子邮邮件SCMCRMERP数据分分析人人员办公软软件移动终终端安全，，部署署，管理灵活体体系MESPDM@2013北京泽泽佳公公司版版权所所有Copyright©2013ZejiaConsultingCorporation第17页泽佳建议议企业业大数数据解决方案基基础架架构图@2013北京泽泽佳公公司版版权所所有Copyright©2013ZejiaConsultingCorporation第18页应用层层数据据分析析@2013北京泽泽佳公公司版版权所所有Copyright©2013ZejiaConsultingCorporation第19页视频存存储@2013北京泽泽佳公公司版版权所所有Copyright©2013ZejiaConsultingCorporation第20页离线日志分分析@2013北京泽泽佳公公司版版权所所有Copyright©2013ZejiaConsultingCorporation第21页在线数数据分分析@2013北京泽泽佳公公司版版权所所有Copyright©2013ZejiaConsultingCorporation第22页大数据解解决方方案特特点泽佳大数据解解决方方案提提供高高速、、低速速两种种互联联解决决方案案，在在节点点间能能够建建立起起40Gb的互互联通通路，，彻底底消除除系统统节点点间通通信的的瓶颈。高性能能高可扩展性性高可靠靠相比较较传统的的数据据库集集群，泽佳大数据解解决方方案具具有良良好的的可扩扩展性性，随随着数数据节节点的的增加加，系系统整整体性性能接接近线线性增增加。。同时时数据据节点点可以以在系系统运运行中中动态态添加加，对对系统统不会会造成成任何何影响响。因此企业可以根据自自身业业务需需要，，动态态添加加数据据节点点，当当业务务量较较小时时，配配置较较少的的数据据节点点，随随着业业务量量的逐逐渐增增多，，添加加相应应的数数据节节点，，从而而满足足自身身业务务量增增长的的需求求。泽佳大数据解解决方方案能能自动动地维维护数数据的的多份份复制制，并并且在在任务务失败败后能能自动动地重重新部部署（（redeploy）计算算任务务。同同时消消除系系统单单点故故障，，系统统中任任意一一个部部分出出现故故障，，系统统将自自动进进行切切换，，保证证用户户应用用的无无缝连接，，具有有较高高的稳稳定性性和可可靠性性。@2013北京泽泽佳公公司版版权所所有Copyright©2013ZejiaConsultingCorporation第23页大数据应应用技技术@2013北京泽泽佳公公司版版权所所有Copyright©2013ZejiaConsultingCorporation第24页大数据的的技术术领域域占位位图@2013北京泽泽佳公公司版版权所所有Copyright©2013ZejiaConsultingCorporation第25页泽佳大数数据应应用主主要技技术—Hadoop据IDC的预测测，全全球大大数据据市场场2015年将将达170亿美元元规模模，市市场发发展前前景很很大。。而Hadoop作为新一代代的架架构和和技术术，因因为有有利于于并行行分布布处理理““大数数据””而备备受重重视。。ApacheHadoop是一个用java语言实实现的的软件件框架架，在在由大大量计计算机机组成成的集集群中中运行行海量量数据据的分分布式式计算算，它它可以以让应应用程程序支支持上上千个个节点点和PB级别的的数据据。Hadoop是项目目的总总称，，主要要是由由分布布式存存储（（HDFS）、分分布式式计算（（MapReduce）等组组成。。@2013北京泽泽佳公公司版版权所所有Copyright©2013ZejiaConsultingCorporation第26页Hadoop体系架架构MapReduceHDFSHBasePigChuKwaHiveZooKeeperPig是一个个基于于Hadoop的大规规模数数据分分析平平台，，Pig为复杂杂的海海量数数据并并行计计算提提供了了一个个简易易的操操作和和编程程接口。Chukwa是基于于Hadoop的集群群监控控系统统，由由yahoo贡献。Hive是基于于Hadoop的一个个工具具，提提供完完整的的sql查询功功能，，可以以将sql语句转转换为为MapReduce任务进行运运行。。ZooKeeper：高效的的，可可扩展展的协协调系系统,存储和和协调调关键键共享享状态。。HBase是一个个开源源的，，基于于列存存储模模型的的分布式式数据据库。。HDFS是一个个分布布式文文件系系统。。有着着高容容错性性的特特点，，并且且设计计用来来部署署在低低廉的的硬件件上，，适合合那些些有着着超大大数据据集的的应用程程序。MapReduce是一种种编程程模型型，用用于大大规模模数据据集（（大于于1TB）的并并行运运算@2013北京泽泽佳公公司版版权所所有Copyright©2013ZejiaConsultingCorporation第27页Hadoop核心设计计@2013北京泽佳佳公司版版权所有有Copyright©©2013ZejiaConsultingCorporation第28页HDFS—文件读流流程HDFS是一个分分布式文文件系统统。有着着高容错错性的特特点，并并且设计计用来部部署在低低廉的硬硬件上，，适合那那些有着着超大数数据集的的应用程序序。Client向NameNode发起文件件读取的的请求。。NameNode返回文件件存储的的DataNode的信息。。Client读取文件件信息。。@2013北京泽佳佳公司版版权所有有Copyright©©2013ZejiaConsultingCorporation第29页HDFS—文件写流流程Client向NameNode发起文件件写入的的请求。。NameNode根据文件件大小和和文件块块配置情情况，返返回给Client它所管理理部分DataNode的信息。。Client将文件划划分为多多个Block，根据DataNode的地址信信息，按按顺序写写入到每每一个DataNode块中。@2013北京泽佳佳公司版版权所有有Copyright©©2013ZejiaConsultingCorporation第30页MapReduce———映射、化化简编程程模型输入数据据->Map分解任务务->执行并返返回结果果->Reduce汇总结果果->输出结果果@2013北京泽佳佳公司版版权所有有Copyright©©2013ZejiaConsultingCorporation第31页Hbase———分布式数数据存储储系统Client：使用HBaseRPC机制与HMaster和HRegionServer进行通信信Zookeeper：协同服服务管理理，HMaster通过Zookeepe可以随时时感知各各个HRegionServer的健康状状况HMaster:管理用户户对表的的增删改改查操作作HRegionServer：HBase中最核心心的模块块，主要要负责响响应用户户I/O请求，向向HDFS文件系统统中读写写数据HRegion:Hbase中分布式式存储的的最小单单元，可可以理解解成一个个TableHStore：HBase存储的核核心。由由MemStore和StoreFile组成。HLog：每次用用户操作作写入Memstore的同时，，也会写写一份数数据到HLog文件@2013北京泽佳佳公司版版权所有有Copyright©©2013ZejiaConsultingCorporation第32页大数据未来来发展瓶瓶颈通过对大数据据产业链链的分析析，我们们可以看看到，在在大数据据产业链链的各个个生产环环节中，，各大公公司都已已开占位位，随着着高性能能计算机机、海量量数据的的存储和和管理的的流程的的不断优优化，技技术能够够解决的的问题终终将不会会成为问问题。我我们认为为，真正正会制约约或者成成为大数数据发展展和应用用瓶颈的的有三个个环节：数据收集和提提取的合合法性，，数据隐隐私的保保护和数数据隐私私应用之之间的权权衡。大数据发发挥协同同效应需需要产业业链各个个环节的的企业达达成竞争争与合作作的平衡衡。大数据结结论的解解读和应用。@2013北京泽佳佳公司版版权所有有Copyright©©2013ZejiaConsultingCorporation第33页NoSQL产品@2013北京泽佳佳公司版版权所有有Copyright©©2013ZejiaConsultingCorporation第34页大数据应用用案例@2013北京泽佳佳公司版版权所有有Copyright©©2013ZejiaConsultingCorporation第35页大数据行行业应用用分析应用可能能性电信政府（公公共事业业）交通金融医疗教育能源（电电力/石油）纵轴契合合度：表示该用用户的IT应用特点点与大数数据特性性的契合合程度；；横轴应用用可能性性：表示该该用户出出于主客客观因素素在短期期内投资资大数据据的可能能性；注：该位置为为分析师师访谈的的综合印印象，为为定性分分析，图图中位置置不代表表具体数数值HighMidLowLowMidHigh优先关注注行业用用户应用特点点与大数数据技术术有较高高的契合合度，在在主客观观条件上上也有较较高的应应用可能能性。值得关注注行业用用户应有特点点与大数数据的契契合度及及应用可可能性综综合较高高适当关注注行业用用户两个维度度暂时都都不具备备优势，，可适当当给予关关注互联网（（电子商商务）契合度流通零售制造@2013北京泽佳佳公司版版权所有有Copyright©©2013ZejiaConsultingCorporation第36页互联网行行业大数数据需求求分析网络终端设备网络技术的升级和终端设备的爆发，使今天的用户能够使用多种设备、从不同位置、通过多种手段来接入互联网，并在这一过程中不断创造新内容在线应用和服务越来越丰富的在线应用和服务，不断激励用户创造和分享信息，尤其是社会化媒体业务，带动图片、视频等非结构化数据飞速增长与各垂直行业的融合互联网作为一个高渗透力的行业，正在与各垂直行业发生深度的融合，原本隐藏于先下的孤岛信息，源源不断的输入到线上。互联网行行业拥抱抱大数据据的关键键因素互联网大大数据技技术的应应用，会会首先带带动社会会化媒体体、电子子商务的的快速发发展，其其他的互互联网分分支也会会紧追其其后，整整个行业业在大数数据的推推动下将将会蓬勃勃发展。。互联网行行业对数数据实时时分析要要求较高高，例如如广告监监测、B2C业务，往往往要求求在数秒秒内返回回上亿行行数据的的分析，，从而达达到不影影响用户户体验和和快速准准确营销销的目的的。目前互联联网企业业面对大大数据，，会普遍遍感觉到到实时分分析能力力差、海海量数据据处理效效率低、、缺少分分析方法法、分析析软件能能力差等等问题。。互联网行行业大数数据分析析面临的的主要问问题@2013北京泽佳佳公司版版权所有有Copyright©©2013ZejiaConsultingCorporation第37页腾讯基于Hadoop的大数据据架构图图@2013北京泽佳佳公司版版权所有有Copyright©©2013ZejiaConsultingCorporation第38页腾讯大数