华为商业职能BI云

华为电信BI云化方案汇报提纲BI云计算的理解BI云计算方案BI云计算案例123BI云化的业界理解Gartner公司的一份最新报告指出，云服务中的分析不只是一个基于SaaS的商业智能应用或者托管数据仓库(尽管它确实包含了这些东西)，而是指六个关键要素之中的任何一个。按照Gartner公司的定义：“云分析是指任何在云服务中实现了一个或多个这些要素的分析成果，无论是公共的还是私有的。”这六个要素是：数据源，数据模型，流程应用，计算能力，分析模型，共享或存储结果。Page3近年来业界BI技术发展变化特征DW2.0architecture层次化的数据服务提供，主数据，轻度汇总和低时延DataService非结构化支撑和文本挖掘•数据处理量加速增长，PB级应用开始出现，数据分析和数据挖掘需要高性能并行计算能力；•互联网快速发展，大量的非结构数据分析和社会网数据分析应用呈现；•操作型BI和实时BI应用涌现，低时延RTD/CEP技术开始得到应用，需要基于信息流预测分析、决策技术；•传统数据仓库向DW2.0(HybridBI)架构演进趋势明显，云计算技术的在商业智能领域的应用开始逐步增多；•高交互UCD，面向业务语义数据和信息可视化成为分析呈现和应用的热点；DataVisualization基于算法模型提供一种可交互的应用，让数据的使用者自己去分析，甚至去创造DataVisualization数据的可视化，主要是用直观、清晰、有效的方式将数据间的关系，信息的关联展示出来InfoGraphics信息图形化，主要是将信息、知识、数据用一种图形化的方式来表达Page4汇报提纲BI云计算的理解BI云计算方案BI云计算案例123传统数据仓库解决方案背景现状大规则数据多表关联汇总功能通过是ETL系统中性能开销占比重最大的部分，一般采用昂贵的小型机调用数据库存储过程实现。HAPage6业务发展后旧有架构遇到的困境瓶颈与挑战设备性能增长需要几何级数增长的投入投入规模大，需购买昂贵的设备与存储维护成本高维护依赖单一厂家，响应不及时数据库资源有限，且扩展困难动态扩展性差出现故障，影响面积大现有设备已接近可利用上限Page7云化BI系统架构图Page8ELT调度早期数据加工云平台接口层后期汇总数据仓库云平台高性能查询库云平台清单历史库云平台数据封装层AAE\ADS（应用层云平台）知识库平台\智能规则引擎\AAOC（中间服务云平台）门户平台元数据数据质量运营监控平台自助分析平台营销管理平台客户分析研究平台产品分析研究平台Page8关键点：计算与存储能力分拆40GE以上的INFINIBAND分布式数据计算(计算能力)分布式数据存储（存储能力）含超大规模数据的关联计算使用自己的高速缓冲区支持连续复杂计算大容量的数据保存高性能IO低成本平滑扩容数据服务获取复杂的大数据处理结果开放的应用开放的应用开放的应用直接数据提取随着网络传输技术与分布式计算技术的发展，数据仓库存储与计算职能分拆已成为大势所趋。业内部分数据仓库（特点是计算业务比较单一）已经通过使用NOSQL技术完成了这种分离改造，我们的数据仓库也在探索使用新技术将海量数据关联计算分拆成独立服务。Page9存储云与计算云支撑的数据仓库Page10早期数据汇总加工——分布式SQL数据处理引擎上层汇总——万兆网或IB支持的多节点RACORACLE内存数据库支撑的高性能查询数据库计算云（x86架构设备）存储云（x86架构设备）分布式汇总组件装置目标场景一：数据仓库ETL任务分布式改造ETLControlCenterTask指令序列数据文件数据仓库汇总层汇总数据命令流数据流元数据系统应用系统数据文件FTP接口分布式数据汇总装置完成占广义ETL性能开销比重最大的“大规模数据多表关联汇总功能”，以控制指令方式接受ETL调度服务的管理，替代原来由数据库存储过程完成处理的模式，设计目标要求同等TCO的处理性能达到过去的3倍以上。Page11目标场景二、基于分布式组件的历史库实现Master运算节点运算节点运算节点存储装载节点存储存储装载过程信息流运算过程信息流文件接口机ETL服务器客户端数据装载接口文件通过ETL工具传输到装载节点；装载节点从Master节点获取目标表的信息，根据表类型及分布键将数据并行装载到多个节点同时支持从DB2、Oracle等数据库装载数据

数据运算Master节点接收客户端的数据查询请求Master节点通过SQL解析、SQL重写、SQL优化功能，最终将形成的执行计划分发到多个运算节点做执行Master节点汇总计算节点的执行结果，最终将结果返回给客户端Page12目标场景三：结合内存技术实现高性能数据读写ODBCODBCODBC消息队列集群MASTER集群访问代理内存DBMS（磁盘DBMS）HAHAHA任务分解、归并分布式存储数据路由动态数据迁移负责路由、任务分解、结果组合、平衡命中率的MASTER服务面向访问封装的PROXY服务支撑高速并行查询及写入下层访问Page13汇报提纲BI云计算的理解BI云计算方案BI云计算案例123中移动某省公司的BI云化演进

选取3个主攻方向—数据仓库、非结构化数据处理和实时应用的云化演进过程中取得重大进展和收益。数据仓库云化演进ETL演进为分布式结构，支持根据业务量增加服务器弹性扩展实现库外完成计算量较大的关联汇总逐步完成分级存储，降低主数据仓库压力收益：主数据仓库访问压力和扩容压力减轻非结构化数据处理云化采用Hadoop和分布式搜索技术，并以API方式提供服务，支撑互联网用户行为分析收益：充分利旧和采购廉价设备和存储，统一的API界面降低开发成本、提升开发效率实时应用支撑云化演进BI云化云化内存技术支撑低时延多渠道实时营销；云化营销触发引擎支撑密集实时计算。收益：投入规模显著缩减，可动态扩展Page15案例1.云化ETL支撑大数据处理采用云化ETL—根据业务量需求，逐渐扩充到5台高性价比HPPCServer(CPU:4P4C,内存:64G)支撑：每日近7亿话单，其中近2.5亿语音话单，总数据量达到1.5T的ETL过程Page16日均接触机会总服务客户规模4000万客户业务资源服务全天侯24小时每天缴费办理量180万笔每天网站服务量3000次每天短信服务量1000万次每天客服服务量950万次每天服务量2300万次每天业务办理量120万笔每天1500个坐席提供服务每天30000个营业终端提供服务每天为超过600万户直接提供服务数据来源2009年6月案例2.云化技术支撑智慧运营抓住客户接触机会进行实时精确营销，提高企业营销能力。采用云化方案，移动实时营销响应平均速度小于2秒可通过增加刀片设备进行线性扩展，采用近100片HP+ATAE刀片组成集群（可扩展），支撑低时延数据服务、营销触发服务和事件沉淀Page17用户行为行为分析业务系统网页内容索引上网日志用户检索服务发送服务请求所有网页内容提供查询服务返回用户群列表网页搜索索引视频搜索索引购物搜索索引音乐搜索索引图片搜索索引其它索引域建立索引百度等网页搜条件谷歌等视频搜索条件必应等购物搜条件百度等音乐搜条件谷歌等图片搜索条件其它内容游戏歌曲支付手机阅读Page18案例3.非结构化数据处理云化利旧20台PCServer，采用Hadoop每天更新多大5000万URL(过滤后)，近100G索引存储到分布式文件系统，满足用户行为分析、营销、个性化推荐等诸多应用需求。HadoopThankYou.

谢谢！www.huawei.comCopyright©2010HuaweiTechnologiesCo.,Ltd.AllRightsReserved.Theinformationcontained