某FusionInsight-LibrA案例课件

1、使用说明文档名称辽宁移动FusionInsight LibrA成功案例 ( 一页案例 + 详版案例 )目的给客户讲解辽宁移动成功使用LibrA打造经分系统的成功故事受众一页版： 客户CXO，战略规划部、市场部等早期拓展交流详细版： 客户的技术，规划等部门交流关键信息辽宁移动背景和存在的问题华为LibrA方案设计项目实施效果版本记录版本描述作者审批人V1.0LibrA 上市营销材料, 首次版本上线. 党张波 00330169行销; MKT; 研发辽宁移动通过FusionInsight LibrA实现秒级客户群分析I/O瓶颈：经营分析数据量的爆发性增长， 现存系统I/O无法支撑成本压力：传统IOE

2、设备昂贵，扩容成本压力大演进困难：面向未来需要建设一个支撑海量数据的经分、决策支持、数据挖掘、数据仓库等的新型OLAP数据分析平台客户的痛点和挑战：华为提供的解决方案：开发架构：基于x86服务器 + Linux 开发平台的分布式系统 水平扩容：采用通用廉价方案代替昂贵小机，完成了标签库、自助取数和数据集市的建设，平滑融入现有基础架构辽宁移动的收益：x100 倍性能：客户群分析从10分钟缩短到数秒完成成本按需：设计容量180T，可以容纳现有标签库、自助取数和数据集市全部数据，并支持后续在线扩容架构演进： Cloud Ready， 支持面向未来混合云演进一页案例辽宁移动FusionInsight

3、LibrA新型OLAP分析平台成功案例华为大数据营销团队2018-05-24详版案例辽宁移动背景介绍（1）辽宁移动是中国东北地区最大的移动业务提供商，占据辽宁移动通信市场客户份额69.9%以上，年通信服务收入已超过200亿。辽宁移动背景介绍（2），数据时代到来 互联网业务发展推动中国移动战略转型，传统的“小型机+集中共享存储+Oracle数据库”架构模式存在业务风险高、性能扩展性差、投资费用高和资源利用率低的缺点，集团公司也对支撑系统技术架构演进提出了明确要求。小型机+磁盘阵列硬件层接口层标准JDBC、ODBC辽宁移动经分系统客户画像精准营销应用层自助报表地市级数据集市数据库Oracle数据库

4、Shared-Disk架构扩容难，查询分析性能差旧系统存在以下问题：【存不下】磁盘阵列成本高，空间有限，导致大量历史数据以文本方式存储，数据规模180T，日增量1.5T。【查不出】标签库查询有200+条件，在原小型机+Oracle系统上查询耗时长（10min） 【扩容难】小型机+Oracle 横向扩容难，扩容成本高，处理能力存在瓶颈（50TB）中移动集团公司对IT支撑系统技术架构明确提出了X86 化改造的要求。辽宁移动经分系统的需求与挑战FusionInsight LibrA + 通用硬件解决方案LibrA服务器（20台）数据加载服务器（4台）LVS服务器（2台）OMS服务器（2台）亚信经分系

5、统4A系统ITOM告警管理批量导入系统堡垒机客户端.RPCODBCJDBCSMTPSFTPSFTPJDBCFusion Insight LibrA立足X86+Linux开放平台，以通用廉价方案代替昂贵小机方案。在辽宁移动经分一期项目中，LibrA以26台华为2288服务器（通用X86）搭建一个分布式系统，搬迁现网小机+Oracle。在应用对接上，LibrA支持SQL标准，SNMP和SFTP，分别与业务应用、告警管理、数据导入系统无缝衔接，平滑融入现有基础架构。RAID：系统盘采用2盘RAID1；数据盘3组RAID5，每组6块盘网络：交换机和网卡双冗余，网卡bondOS: redhat 6.5；

6、文件系统ext4，单个3.8TLibrA集群：(1CN+6DN)/节点，主备从采用安全环部署； OMS和LVS双机主备比拼测试：5个厂家中排名第一LibrA在比拼测试环节，从5个家厂商（ Greenplum 、GBase、Vertica、 神舟通用、华为）中脱颖而出，技术指标第一，成功中标辽宁移动项目。性能分类LibrAGreenplumGBaseVerticaVerticaGreenplumGBaseLibrA单表导入耗时687.599 s560 s2130 s1200+s0201压缩比6.24.752.7102001多表导入耗时757.218 s不详，比我们优2400 s不详，比我们差02

7、01压缩6.1不详，比我们差不详，比我们差不详，比我们优2001全表扫第1项2.72445 s20+s0.15 s秒级，比我们差3124第2项0.807455 s5 s4.8 s秒级，比我们差第3项0.953236 s7 s2.9 s秒级，比我们差多表关联第1项26.6021 s13 s19 s1min以上1324第2项11.9492 s80 s67 s1min以上insert52GB108GB90GB88GB3124delete不清理磁盘不清理磁盘不清理磁盘不清理磁盘0000truncate全部支持全部支持全部支持全部支持2222分区全部支持全部支持全部支持全部支持2222嵌套14 s10

8、s39 s11 s3412distinct5.6 s60+s92 s10+s3214即席查询全部支持全部支持全部支持全部支持4444工单6.27544 s160+s2.1 s2 s4132导出1002 s1800+s1900 s1200+s3216性能总分32262038来源：根据POC测试结果模拟打分，客户未正式公开发布。只分析了主要三个竞争对手的情况，神州通用数据未获取。替换4台小机+磁阵，约1.x千万，LibrA硬件采购和扩容成本仅需25%，同时性能获得巨大提升：数据入库性能提升1倍：日新增数据1.5TB，数据入库时间由60min降低到30min。自助报表查询性能提升100倍：由10min降低到6s。用户画像性能提升5倍：由客户不可忍受的5分钟以上，降低到1分钟之内完成。并发能力提升5倍：从200并发量提升到1000。关键性能指标对比助力辽宁移动进行分布式数据库改造，释放数据价值助力运营商ICT转型：实现数字化运营，释放数据价值，华为LibrA系统上线BSS域，完成标签库、自助取数和数据集市的建设，平滑融入现有基础架构，帮助客户关键业务X86化改造迈出了坚实的一步