UCPfor大数据解决方案30

HDS统一计算平台的大数据解决方案HDSchannelenablementTeamCiceanWang第一页，共三十一页。议程什么是大数据？HDS和大数据大数据应用案例大数据成功案例第二页，共三十一页。什么是大数据？它真正的含义是什么？第三页，共三十一页。大数据及大数据时代“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产力增长和消费者盈余浪潮的到来”

———麦肯锡您将会面对的是……16.4ExabytesIn201035ZxabytesIn2020IDC®

做出估算30倍

这不是简单的数据增多的问题而是全新的问题第四页，共三十一页。大数据的定义（4V）海量（Volume）多样（Variety）快速（Velocity）价值（Value）3亿用户，每天上亿条微博中型城市每月数十亿智能电表数据2015年全球移动终端产生的数据量6300PB卫星图像个人信息M2M日志文件传感图像视频音频非结构化数据将占到75%-85%增长速度快用户基数庞大设备数量众多实时海量数据数据指数级别增长单条数据并无太多价值，但庞大的数据量蕴含巨大财富第五页，共三十一页。存储理解控制大数据最终的目的大数据可以从根本上提高洞察力获得洞察力！跨越鸿沟输入数据$提高收益$提高投资回报率扩大客户数量大数据分析处理的最终目标！从复杂的数据集合中发现新的关联规则，继而进行深度挖掘，得到有效用的新信息第六页，共三十一页。大数据-第三次浪潮的华彩乐章2012年3月份美国奥巴马政府发布了《大数据研究和发展倡议》(BigDataResearchandDevelopmentInitiative)，投资2亿以上美元，正式启动“大数据发展计划”。计划在科学研究、环境、生物医学等领域利用大数据技术进行突破。奥巴马政府的这一计划被视为美国政府继信息高速公路(InformationHighway)计划之后在信息科学领域的又一重大举措。与2013年12月贯彻落实《广东省信息化发展规划纲要（2013-2020年）》，加快物联网、云计算、大数据等新一代信息技术创新应用，推进我省智慧城市建设，打造珠三角世界级智慧城市群，全面提升全省信息化发展水平。广东省委副书记朱小丹广东省经济和信息化委员会副主任，党组副书记邹生第七页，共三十一页。我们为什么需要大数据在没有大数据技术之前，无论是机器，还是人工方式，无法获得全量样本。以人口普查为例，如果挨家挨户调研，甚至随机抽取做调研，都非常耗时，费力，很多国家甚至做不到每年发布一次在没有大数据技术之前，大量海量数据中非结构化数据，分析与计算，几乎是一个不可能逾越的鸿沟，更别说挖掘价值了。在没有大数据技术之前，分析数据仅作为参考目前现状的理论依据，也就是经验说话，数据无法实时展现价值。在没有大数据技术之前，有原因所以有结果，维度由于分析能力有限，无法表现其真正意义，相关而非因果。价值变革经济变革第八页，共三十一页。大数据应用案例将大数据承诺转化为巨大的价值第九页，共三十一页。10从“谷歌流感趋势”工具看大数据应用跟踪搜索词相关数据来判断全美地区的流感情况这个工具工作的原理大致是这样的：设计人员置入了一些关键词（比如温度计、流感症状、肌肉疼痛、胸闷等），只要用户输入这些关键词，系统就会展开跟踪分析，创建地区流感图表和流感地图。谷歌多次把测试结果（蓝线）与美国疾病控制和预防中心的报告（黄线）做比对，从图可知，两者结论存在很大相关性。第十页，共三十一页。以银行信贷审批决策为例第十一页，共三十一页。用户移动轨迹和精准用户群集分析应用第十二页，共三十一页。实时精准营销->只给最近的你第十三页，共三十一页。HDS统一计算平台支撑大数据应用的IT架构实例第十四页，共三十一页。

新的大数据技术传统数据库处理方式

—池塘捕鱼新的大数据处理方式

—大海捕鱼待处理的数据数据规模数据类型模式和数据关系处理对象处理工具第十五页，共三十一页。数据的自由度和性能矛盾。固定字段、维度的表结构，限制了数据的入库和拓展。数据处理数据库中间件索引及应用开发J2EEStorageDatabaseJ2EEJ2EEWebWebWebWebWeb数据索引方式的瓶颈，依赖文件目录结构（NAS）或私有的位图块表结构（Block）。非结构数据还需要上层数据库或文件系统提供索引；面对大数据传统IT的架构的瓶颈存储成本（TB）20,000rmb数据库和中间件（TB）15,000rmb计算（TB）30,000rmb技术服务（TB）10,000rmb应用服务依赖合作伙伴总体拥有成本（TB）>75,000rmb第十六页，共三十一页。数据的膨胀带来更高的成本，但是已有的存储方式不支持线性扩展，还带来了数据管理性能的低下问题后期维护成本低下的数据管理性能存储扩容成本面对大数据传统IT的架构带来的问题第十七页，共三十一页。新的大数据处理技术-Hadoop核心思想：分布式+经济Hadoop:分布式，大数据集，延时，离线计算NoSQL:分布式，小数据集，灵活，实时，快速读写第十八页，共三十一页。天云&HDS大数据混合计算一体机J2EEWeb离散的计算整合的计算HDS

CR220SHadoopDistributionsStreamingSearchingIndexMemDBBDP

(BeagleDataPlatform)Integration/Autumation/Monitoring/Scheduling/MaintainanceDataMgnt:DataView

EasyFail

sense／data

zip/datalifescycle／DR（Optional）BDA(BeagleDataAccelerator)

机器学习组件包

（Optional）BDF(BeagleDataFlow)大数据中间件SaaS/DaaS第十九页，共三十一页。天云&HDS提供混合计算的能力HDS

CR220SHadoopDistributionsStreamingSearchingIndexMemDBBDP

(BeagleDataPlatform)Integration/Autumation/Monitoring/Scheduling/MaintainanceDataMgnt:DataView

EasyFail

sense／data

zip/datalifescycle／DR大数据储存大数据处理数据分享数据检索数据分析数据展现第二十页，共三十一页。基于事件的可视化管理快速就绪的大数据平台天云大数据平台:BDPHadoop集群部署与管理第二十一页，共三十一页。管理控制台HA管理集群性能监控节点性能监控集群磁盘监控告警类型可视化的运维管理天云大数据平台:BDP第二十二页，共三十一页。天云&HDS解决方案产品配置规格型号大数据一体机满配大数据一体机半配管理服务器2台CR220S服务器，每服务器配置：●2*Intel®Xeon®E5-2470●64G内存●2*300GB硬盘，12*3.5寸3T硬盘●1个4端口高性能千兆以太网卡2台CR220S服务器，每服务器配置：●2*Intel®Xeon®E5-2470●64G内存●2*300GB硬盘，12*3.5寸3T硬盘●1个4端口高性能千兆以太网卡数据服务器14台CR220S服务器，每节点配置：●2*Intel®Xeon®E5-2470●64G内存●2*300GB硬盘，12*3.5寸3T硬盘●2个高性能千兆以太网卡6台CR220S服务器，每节点配置：●2*Intel®Xeon®E5-2470●64G内存●2*300GB硬盘，12*3.5寸3T硬盘●2个高性能千兆以太网卡网络与交换2台可管理全千兆以太网交换机2台可管理全千兆以太网交换机其他选配硬件附加硬件组件：●1U机架式KVM●标准42U机柜●外置UPS供电设施（选配）附加硬件组件：●1U机架式KVM●标准42U机柜●外置UPS供电设施（选配）大数据软件BeagleDataPlatformV1.516节点License授权BeagleDataPlatformV1.58节点License授权升级与扩展使用交换机堆叠方式连接多个一体机可升级至大数据一体机满配支持服务●提供软硬一体化整体支持●硬件：三年保修服务●软件：一年维保服务（可续订）●提供软硬一体化整体支持●硬件：三年保修服务●软件：一年维保服务（可续订）第二十三页，共三十一页。天云&HDS大数据一体机方案优势总结备注更低的成本更高的性能由全新分布式架构带来混合的架构存储和计算的能力同时具备软硬件结合的方案强大的计算能力分布式计算NoSQL数据管理应用更加灵活高可扩展和高可用线性扩展，性能线性提升多节点多副本带来高可用性第二十四页，共三十一页。天云&HDS大数据一体机卖点总结强大数据存储能力先进的硬件架构一流的大数据平台软件业界领先的性能就绪的软件最佳实践单机柜提供1PB的存储能力第二十五页，共三十一页。成功案例大数据落地的经验（天云科技）第二十六页，共三十一页。大量用户无法精准识别

重复电话销售产生的抱怨

对品牌形象产生伤害通过统一用户视图进行理财产品推荐实现精准客户营销避免传统轰炸式电话营销对品牌的负面影响人数占比年龄年收入（元）累计标保和缴付保费合计件均标保寿险缴付金额两全缴付金额年金缴付金额万能缴付金额意外缴付金额医疗缴付金额重疾缴付金额投连缴付金额0.60%474820026900804001900050050007670025001002004004001.37%512940015000966001070050090400580011600100800220030000.84%40180600108002130078001100380012400160010030070002.07%472940074007110011000600510015006370010050013005000.68%33820065003070054002008002930020001001001000.84%53360058008050010400053002500530000200772001.77%42974005300980039004003300300017001003004000某保险公司——大数据于精准营销第二十七页，共三十一页。光大银行更侧重理财产品的推广。招商银行更关注大众生活。两大银行的面向品牌认知对比要精确，还是要混杂／效率

第二十八页，共三十一页。Questions

andDiscussion第二十九页，共三十一页。ThankYou第三十页，共三十一页。内容总结HDS统一计算平台的大数据解决方案。“数据，已经渗透到当今每一个行业和