大数据行业用户案例

大数据行业用户案例HPEVerticaReal-timeAnalyticsPlatform专为大数据分析构建的关系数据库和非结构化分析引擎，分析100%的数据大数据实时分析平台高扩展高扩展列式计算实时聚合高级分析概念模型语义理解X86大规模并行处理架构（MPP）自动优化高速并行装载实时分析查询SQLODBC/JDBC/ADO.NETSQLODBC/JDBC/ADO.NET50x–1000x性能提升TBs~10PBs在线扩展节约90%的存储空间开放、简单易用结构化非结构化ConnectorsRESTful

简单、高效、可扩展、开放的关系数据库和非结构化分析引擎大数据分析平台架构)ODBCJDBCADO.NET安装管理监控优化备份恢复

标准SQL解析，列式计算优化器内存存储自定义存储管理控制台列式计算执行引擎列式存储抽象层HDFSCLI本地文件系统物理存储层负载均衡和失败转移接口层负载管理实时聚合MPP架构数据库引擎New原生高级分析算法自定义分析处理算法SDK：C++、Java、R非结构化引擎RESTfulNewVertica专注于大数据分析，尤其是实时分析数据量高低OLTP系统作业类型单行数据实时性高低批量混合型场景传统数据仓库大数据分析大数据交易以网络为中心的电信业务模式Telco1G…AMPS|nodata2G…GSM|nodata2.5+G…GPRS&EDGE|56kb/s3G…UMTS|237kb/s3.5+G…HDPA/HSPA|14mb/s4G…LTE|100mb/s电信架构演变Vertica电信行业典型方案BSS经营分析〔BASS〕详单〔CDR〕分析流量经营分析精准营销分析历史库与报表合作伙伴与电子渠道分析用户分类与收益分析……OSS信令分析网络错误与性能优化网络分析网络综合分析综合监控分析网络容量管理客户体验管理漫游分析……MSSERP数据仓库财务报表系统集中数据分析……创新业务增值业务分析平台大数据分析平台互联网分析用户行为分析用户位置分析点击流分析……超快分析速度、无限的扩展能力；SQL标准和开放性实时分析和聚合、无限的扩展能力；SQL标准和开放性超快分析速度；SQL标准和开放性开放性和与Hadoop/R的整合能力；超快分析速度、无限的扩展能力；非结构化分析数据量大分析处理能力要求高数据量巨大实时性要求高分析性能要求高数据量巨大分析处理能力要求高分析算法要求丰富业务域挑战的优势HP最具竞争力！很强竞争力！较强竞争力！典型场景:信令监测、共享和分析业务信令采集和实时信令共享，对上层业务数据从多维度关联分析和挖掘，支撑数据业务精确营销和新数据产品效劳。面临的挑战数据量100sTB~PB:从网络和DPI设备上采集的海量日志和日益丰富的应用数据，传统数据仓库难以满足存储和处理的要求分钟级准实时性：以社交新媒体和游戏为重点的应用，要求快速抓取社会热点，传统分析工具无法满足准时分析挖掘的要求Vertica解决方案带来的好处无限的扩展能力快速、持续的数据装载，实时分析和聚合SQL标准和开放性准实时分析，大数据变现典型案例:山西移动信令检测分析60节点HPBL460cG7刀片〔VCFlex10〕D2200sb存储存储〔12*1TB7200RPMSATA〕TMR数据入库超过200MB/s包括GB,IUPS,GN,DPI等原始表入库周期为分钟级别汇总表入库周期为15分钟级别保存2个月，总量超过500TB多种粒度的汇总5分钟、小时、天Vertica准实时分析，前所未有典型场景:网络性能分析和优化业务采集网络设备日志和路测优化无线网络运行状态和效劳质量，提升用户体验。面临的挑战数据量100sTB:从大量的网络设备采集的海量日志，传统数据仓库难以满足存储和处理的要求分钟级准实时性：快速发现网络质量问题，尽可能防止用户投诉Vertica解决方案带来的好处无限的扩展能力快速、持续的数据装载，实时分析和聚合历史和相似场景分析预测潜在问题，有效防止设备过多配置的浪费准实时分析，提升网络效劳质量典型案例:四川电信无线网络优化CDTCM、FM、PMIMSI-终端映射表Rx/Tx/FFER/SINR，位置CDT服务器OMMServer电信终端分析系统FTP普通终端采集数据工参电信资源管理系统数据采集NDS服务器数据预处理：话单分析容量分析，关联分析，预测数据分析电信网优云处理云：解析汇总存储云：话单数据，汇总指标数据应用呈现FTP处理云：Hadoop集群完成数据解析汇总存储云：HPVertica集群完成大数据存储6个节点集群，数据量超过30T主表单表超过20TB，分钟级准实时入库典型场景:经营分析业务利用业务支撑、网络、效劳和财务等系统产生的大量根底数据实现经营情况的分析和监控，供经营决策依据，以实现精细化营销。面临的挑战数据量100sTB~PB:传统数据仓库难以满足存储和快速处理的要求Vertica解决方案带来的好处超快分析速度无限的扩展能力SQL标准和开放性大数据高性能分析支撑精细化营销和差异竞争能力典型案例:河南移动经营分析32节点，数据量360TB数据自助效劳：业务用户自助分析营销大数据分析：各种营销模式和促销手段的大数据分析客户属性数据的关联分析，包括客户画像查询、标签客户群刷新、标签分析的数据刷新典型方案：社交媒体情感分析支撑的营销和效劳系统100%数据深度分析全面把握瞬变的趋势典型案例：CDR/DDR分析+网络性能监控分析2013年营业收入1280亿

4GLTE用户2.8亿1.8亿高速宽带用户裸数据容量3.2PB众多电信分析业务的集中代表典型案例：KDDI网络流量分析平台日本第二大电信运营商4100万用户,15万个基站通过分析所有网络流量来了解用户行为精准营销差异化经营网络质量分析快速定位解决问题，提升客户满意度、提升竞争力Vertica平台：66节点，2.5PB数据量最好的性价比与高可扩展性，大量PB级别的真实案例其它竞争对手都有缺陷Netezza：边加载边查询性能差，压缩比低本钱高Exadata：PB级别查询性能差，本钱高昂国内电信行业案例上海电信3G网络流量分析，>30TB中国电信集团互联网增值业务，>50TB四川电信网络优化,>30TB山西移动信令实时分析，>500TB山东移动网络综分，>20TB河南移动经营分析，>300TB深圳移动全网监控智能分析平台移动西北诸省甘肃移动大数据平台青海移动经分系统陕西移动经分系统典型案例其他行业典型案例Vertica全球超過2500客户，并且不断增长金融行业消费市场在线网站和游戏医疗零售通信行业很多数据量超过1PB的案例能源行业应用场景行业优先工作重点减少能源开采成本通过分析区域数据减少区域服务成本智能电量、智能电表解决方案主要应用场景M2M/智能传感数据分析预测分析个性化价格方案客户行为分析客户价值管理忠诚度管理实时使用分析具体行业公共事业能源开采智能电表智能电网智能数据仓库公司经营面临的挑战公司支撑波罗的海和北欧周边国家的能源供给，包括电力、热能、石油、天然气和页岩气等。整个行业已在2021年1月经被解除管制，公司不再是垄断经营。因此公司需要更好的了解他们的客户，并提供优质和增值的效劳。当前客户的集中化数据仓库已经运行多年，基于Oracle平台。每天晚上的数据加载和批处理时间过长，已经无法在规定时间窗口内完成。现有平台的升级本钱过高，Oracle只提供一体机方案未来3年公司将广泛实施智能电表、智能计价，会产生大规模的传感和计价数据。因此需要一个可扩展的、充分满足未来3年增长需求的数据仓库平台解决方案。智能数据仓库HPVertica解决方案支持超过30种业务流程与分析模型，包括各种深度分析，帮助爱沙尼亚能源创造多种新的业务场景：销售与市场支持：通过消费者使用率分析来指导各种定价标准和市场策略，吸引新客户、保存现有客户用户消耗：用户可以通过快速的查询到按时间维度的详细资源消耗，包括电力、天然气、热力等。损失定位：快速定位能源损耗，是计价设备问题还是偷盗行为。5年前的能源损失率是12%，而在使用新系统后这个数值降为7%，大大提高了利润率和收入。分析和运营报表：快速的生成运营报表，实时加载实时查询，无时间窗口限制，产生更多的各种不同维度的分析报表，供业务部门使用。5个月全部完成了从Oracle到Vertica的应用和数据的迁移生产数据量10TB，1000+张表。包括4个Vertica环境：开发、开发测试、测试和生产典型案例：机器生成数据实时分析智能楼宇实时测控、高能效标准要求电、气、水供给，空调制冷、空气处理、…基于海量的传感器数据的实时分析：实时数据采集和连续装载实时调整优化能源控制策略实时监控设备状态，主动维护设备Vertica实时分析能力和时间序列分析算法，极大限度地优化了资源配置，大幅降低了故障率，提升客服满意度云端部署(AmazonEC2)，可随时按需扩展智能高能效楼宇医疗保健典型应用场景药物开发

药物发现基因数据科学研究

循证医学

预测副作用分析药物风险评估临床治疗基于效果的诊断和治疗个性化治疗

药物影响行为患者护理分析预防慢性疾病业务运维收入保障

内部风险评估

索赔处理方案合规工作流管理收入保障价格优化/医疗保健本钱建模索赔欺诈品牌管理Web分析营销活动优化

医疗创新既挽救生命又省钱5400万条生命，35亿人月的医疗保健数据不可预知的客户需求，极长的批处理队列借助Vertica，可将响应时间缩短到数分钟/秒，批处理等待时间为0现在用于医疗费用建模、慢性疾病预防、索赔欺诈发现、非品牌药的使用等“开始时使用一个研究工程做试验，查询结果返回得如此之快，我们还以为查询失败了呢！如今我们已将整个分析堆栈迁移到Vertica！很快乐成为Vertica的客户。〞蓝十字蓝盾协会高级副总裁兼首席信息官DougPorter蓝十字蓝盾协会您了解吗？数据科学家经常将Vertica与SAS或R等工具一起用于深入的预测性建模Cerner挑战CernerMillennium平台需要更快分析更多的电子健康记录和大量的系统性能度量指标提高医生效率，提升医疗效劳效果和质量，改善诊疗流程解决方案Vertica准实时分析效果提升60倍分析性能，帮助Cerner更全面洞察诊疗全过程，大幅改善医生效率每天快速分析2百万告警，帮助Cerner提前了解面临的问题，并防患于未然HPVertica助力优化医疗信息解决方案广告营销典型案例AppNexus实时在线广告服务平台，>100TB/24节点AppLovin移动应用营销活动监控，100TBInsightExpress跨媒体营销活动效果分析，30TB/8节点Neverblue广告用户体验分析AdformWeb流量和网站分析支撑营销活动优化，30TBAdMarketplace基于用户分析的搜索效果营销广告营销典型案例AppNexus在线实时广告效劳平台背景广告主和在线内容提供商之间的在线实时广告交易效劳平台每天全球数百个企业购置和销售数十亿个在线广告3000亿记录/day,35TB/day挑战高并发、低延迟扩展能力、高可用解决方案HPHAVEn：Vertica+Hadoop优势实时数据装载和查询，高可用性分析模型快速演进零售业典型应用场景销售和库存全视角跟踪提升区域仓库间货物调度效率提供恰当的资源配置以优化店员效率关联和购物篮分析，更好地理解顾客购置行为和忠诚度实时分析对线上或实体零售都至关重要实时洞悉零售情况取代基于Oracle、无法扩展的POS数据仓库使用Vertica时性能提高100倍，可以24x7加载数据，最大限度地减少行政开销每一个商店经理都可以使用MicroStrategy访问移动设备上的数据零售业瞬息万变，所以我们需要使用一个高性能的分析平台，来满足我们对快速处理信息的需求。〞-Guess,Inc.公司首席信息官MikeRelichGUESS,Inc.图片是从Guess年度报告复制的：我们无权使用空中客车的销售预测分析系统系统：Diio应用提供最精确的航空公司销售预测系统数据：包括所有航空公司的企业数据和市场智能数据，这些数据用作合理化预测空客公司的预算流程业务模型：提供清晰的业务预算分析，快速计算容量和费用的影响快速的预测，将以前需要几周的分析流程缩短到一天内完成预测包括基于月度的飞行、销售点和预定级别等各种维度的统计快速汇总，按人群分类、地区和系统，进行根底费用分割、YQ、税和酬金的计算按方案的分析和无限制的预算分析至上而下的收入预测分析系统：4节点的集群，Diio实施应用，IBM外包运维〔中国〕澳洲航空的常旅客管理分析系统原系统无法满足实时分析的要求系统上线以来常旅客数增加了60%而80%的收入增加来源于常旅客基于Vertica的新系统：公司制定以数据驱动业务的策略，需要新的平台来进行市场和客户分析快速实时的分析结果和业务报告典型案例：Symantec托管平安效劳Symantec托管平安效劳：为超过600个客户提供网络威胁检测效劳，每个月：分析超过2750亿条日志，7x24小时不间断识别超过4万个潜在平安问题事件，验证超过4千个严重平安事件平台上有超过1PB数据，目前只能存放90天的数据Symantec面临的挑战：分析查询和数据准实时加载性能低目前由2个割裂的专有系统构成：聚合分析库，历史归档库。历史归档库为了到达12倍压缩率，缺乏高可用性和容灾能力对基于SQL标准的BI工具支撑困难并行处理和扩展能力满足不了要求HP解决方案：采用Vertica，单一数据库实现聚合分析和历史归档功能典型案例：Symantec托管平安效劳HPVertica带来的好处：准实时的数据装载和分析查询内置高可用行，到达14倍压缩效果，能存放更多的数据基于SQL标准和ODBC、JDBC、ADO.NET标准连接方式，支持主流的BI工具VerticaMPP架构的线性扩展能力经过大规模验证，可以从几个～近千个节点在线扩展，性能和本钱完全可控制新部署容灾环境，只增加硬件，不再需要软件投入Vertica自带的高级分析算法，更容易挖掘潜在平安事件：时间序列分析方法：更方便关联分析来自多个网络设备不同时隙的事件模式匹配：理解网络欺诈和攻击行为模式，并用于预防聚类：根据用户行为模式对用户分群，识别高风险用户“Verticahelpsusonthechallengeoftimeconsumingandcomplexityonbigdata,makingdataanalysisoncustomeractionsthroughweblogspossible.Expectmoreco-operationwithHPandVertica.〞

挑战HP16000switch,10000routers,30万用户工作在600个site,全球性的远程接入支持,产生海量网络流量包分析人员如何从海量信息中快速发掘恶意软件的踪迹，找处各种恶意或者为经批准的网络活动，以便第一时间能够隔离或消除其行为结果解决方案结合使用LancopeStealthWatch,一个网络流量异常检测引擎+

HPverticaDatabase,一个能够在海量数据压力下实现高性能实时分析的数据库引擎结合HP已有的侵入保护系统TippingPoint和HP

Arcsight(SIEM)对网络安全提供深层次保护>>>收益近实时在5-10分钟内对流量分析，观察流量汇总和细节完全的自动化整合提升HP安全团队应对攻击的响应效率HP通过海量历史数据分析，能够进一步增强对企业IT运行正常状况的理解，提升对“未知”异常的监测能力HP大数据分析还帮助网络专家识别企业内部应用与网络关系，了解应用使用的情况，从而更好规划企业IT资源金融行业案例HPVertica金融行业案例列表〔局部〕客户名称客户简介系统建设/应用场景BOA(BankofAmerica)美洲银行全球最大银行之一系统1：信用卡数据仓库（替换原有的DB2平台），支持信用卡业务统计分析及实时信用评分，数据量超过到1.5PB（88节点）系统2：投资事业部分析平台（替换原有的TD平台），支持全球资本市场及风险分析，数据量超过1PBRBC(RoyalBankofCanada)加拿大皇家银行加拿大最大的银行风险分析系统（替换原有的TD平台），支持RBC全行的后台风险分析CreditSuisse瑞士信贷银行瑞士第二大的银行投资风险分析平台（替换原Exadata平台），支持跟全面的监管数据报送及交易数据实时加载和风险评估，灵活查询性能提升200%，数据周期由2年延长到10年。BNYMellon纽约梅隆银行全球十大投资银行之一银行事件（交易，事务）实时分析，支撑超过150+业务应用，一期数据量150TBOpenBank俄罗斯开放银行俄罗斯最大的私营银行实时数据仓库，支持全面的BI、实时KPI指标监控及风险策略执行情况ICICIBank印度工业信贷投资银行印度最大私营银行企业级大数据分析平台，融合结构化和非机构化数据，一期数据量300TB新韩银行韩国最大商业银行数据分析平台，现有Teradata数据仓库的补充，一期数据量400TBGarantiBank土耳其担保银行土耳其第三大银行风险管理/运营及安全分析/客户分析招商银行中国领先的商业银行大数据分析平台，20万以下小微贷款，20TB，4节点BOA选择Vertica建设信用卡实时数据仓库背景及挑战性能瓶颈：原有数据仓库Bacardi(BoACardInfrastructure)无法支持实时信用评估，并且欺诈侦测及风险预测模型支持3个月的数据本钱因素：基于Mainframe上的DB2的平台架构，运维本钱很高，并且扩展性受到限制解决方案用HPVertica替换原有DB288节点Vertica集群，1.5PB原始数据收益及效果增量数据实时加载，在1-5分钟内可以用于分析，用于分析的数据量从3个月扩展到5年，批量加载9TB/小时分析性能提升180~240倍，欺诈侦测由2-3天缩短到15分钟数百个分析师同时使用，峰值并发近千个，秒级响应仅系统维护费用，每年就节省数百万美元数据压缩比为1/6，节省了1PB的存储Vertica案例：ICICI企业级大数据分析平台融合结构化与互联网数据，扩展传统数据仓库的广度与深度背景与需求：ICICI是印度最大的民营银行原有基于Sybase的平台无法满足新业务的需求需要建立一个新的企业级大数据分析平台支持实时分析支持互联网、社交媒体数据良好的可扩展性和快速分析能力Vertica新平台同时支持结构化与半结构化数据〔社交媒体〕近实时的营销信息推送，比方个人贷款、消费等当客户访问营销网点时的相应促销活动实时销售数据监测基于地理位置的联合分析，比方哪个ATM空闲等一期400TB，21节点新韩银行：选择Vertica建设数据分析平台传统数据仓库的补充与替代背景与需求：1998年开始使用Teradata作为数据仓库，数据容量持续增长〔120TB->240TB〕，扩容及运维本钱巨大考虑其他解决方案以缓解目前的压力，并拓展新型的分析型应用快速增长的新金融业务，更强的风险控制解决方案选择Vertica建设数据分析平台48节点，120TBHPDL380Gen87个月完成系统迁移〔2021.1~2021.7〕45000+模型转换5000+脚本迁移Vertica集群前端展现分支IT

总部存款外汇客户贷款核心系统IBglobalbankafund其他源系统ODS信息分析DW目前DW(Teradata)EUCmart新集市新集市集市3集市2集市1单一数据流新韩银行：选择Vertica建设数据分析平台通过性能提升，大幅增强目标客户的营销能力及时为每个网点提供目标客户信息生成目标客户信息的时间缩短3个小时〔3个小时5分钟〕充分保障向目标客户开展直销活动的时间增加自助式BI系统的可用时间提前5小时提供自助式BI效劳〔12:007:00〕数据能够更快的提供给各个业务部门，节省更多时间来进行后续的作业处理〔分析，汇总等〕提升营销信息的查询性能查询时间提升11.7倍，〔过去平均4份44秒现在平均22.6秒〕当处理大约500个营销信息是,处理时间从2366分钟减少到188分钟。(共减少36个小时)所需时间对比性能提升比例138%159%整体汇总加载性能对比—ETL批处理整体汇总加载1170%原数据库

原数据库

所需时间对比性能提升比例性能对比—营销信息查询新韩银行：选择Vertica建设数据分析平台降低系统的整体拥有本钱〔TCO〕，优化系统架构深圳招联：风险与营销大数据分析平台通过大数据分析开掘新的业务时机背景与需求：招联是招商银行与中国联通共同出资组建的子公司，专注于小微贷款〔20万以下的〕风险与营销业务。数据驱动：通过金融数据与电信数据的融合分析，对客户的信用及风险进行实时分析