大数据宗露华为大数据产品及金融行业实践课件

华为金融行业大数据实践分享华为金融行业大数据实践分享大数据是华为ICT战略的重要支柱Source:Huaweicorporatepresentation全球8个研究所，保持1000+的研发投入；拥有社区Committer、IEEEFellow等世界级数据挖掘和人工智能专家；截止2016年12月，华为大数据取得专利190+，其中发明公布136件，发明授权54件。ProfessionalServiceBigDataAnalyticsPlatformDataCenterInfrastructureCoreNetworkIP+OpticalFBBEnterpriseNetworkMBBThings(M2MModule)People(SmartDevice)EnterpriseAppsSDPBSS/OSS3rdPartnersContent&App3rdISVs大数据是华为ICT战略的重要支柱Source:Huawei华为大数据：IDC中国大数据MarkerScape领导者第一IDC观点：华为公司大数据的竞争优势在于：大数据作为公司重点战略，公司内部有持续发展的规划，网罗全球高端专家，持续进行高研发投入，为公司打造了持续创新的能力。华为聚焦大数据平台层，秉承开放、合作、共赢的理念，以技术合作和人才培养为支撑，携手合作伙伴打造大数据生态。截至2016年12月，华为FusionInsight大数据平台主要商业合作伙伴超过200家。当前行业数据处理规模最大的即公共安全、银行业以及运营商，这几个领域对于大数据平台的性能要求最高。华为在这三大领域积累了700多个案例，证明了产品的稳定性、可靠性以及安全性。华为同时也是活跃的开源社区贡献者。华为是OpenStack董事与白金会员，CompletedBlueprints贡献全球第一，综合贡献在中国厂商中排名第一，Hadoop社区贡献全球第三，Docker开源社区综合贡献排名全球第三。2016年华为创建了社区项目ApacheCarbonData，发布了实时反欺诈平台FarmerRTD。华为大数据：IDC中国大数据MarkerScape领导者第一华为是大数据生态建设的倡导者和践行者Top2Top4DatabricksClouderaIntelHuaweiMeituanAppierAlpineDataHortonworksHuaweiClouderaNTTAltiscaleIntelYahoo2015年10月，华为贡献大数据挖掘隐私保护增强技术（PET），将PET技术应用于大数据领域，助力产业发展。2016年6月，华为将CarbonData贡献给社区，成为全球第一个由中国企业提出,被Apache社区接纳的开源组件。2015~2016年统计数据GartnerDMSA魔力四象限报告华为是大数据生态建设的倡导者和践行者Top2Top4Da华为FusionInsight，云化、开放、融合的大数据平台数据集成PorterSqoop批量采集大规模并行处理数据库ApolloDBFlume实时采集

Oozie作业调度管理Kafka消息管理

FtpOnHDFS文件传输

管理平台Manager大数据分析关系型数据库服务:

RDS运维管理配置管理故障管理性能管理安全管理……Hadoop生态发行版HD（HDFS、MapReduce、HBase、Hive、Solr、Spark、Storm、Flink、Elk、CarbonData等核心组件）数据洞察Miner（图分析引擎、机器学习、数据标签）大数据云服务数据智慧Farmer（实时决策引擎Farmer

RTD）数据接入服务:

DIS数据分析服务：MRS、DWS、Stream、M-OLAP…人工智能服务：MLS、NLP…华为FusionInsight，云化、开放、融合的大数据平台HD：全新数据格式Carbondata，同时满足多种业务需求多维分析LargeScansOLAPSequentialAccessRandomAccessSmallScans传统模式Carbondata模式高效率，高性能，存储灵活，兼容HD：全新数据格式Carbondata，同时满足多种业务需求MPPDB：帮助企业构建高性能、PB级新数仓数据迁移SQL开发集群管理完备的工具链FusionInsightMPPDB64位Linux系列，通用X86架构（SUSELinux、Redhat）硬件+OS集群服务器-1集群服务器-nMPP大规模并行处理集群SCTP大规模集群通讯网络……DNDNDNDNDNDNDNDNDNDNDNDNDNDNDNDNDNDNCore1Core1Core1Core1Core1Core1Core1Core1Core1完备的SQL能力，应用平滑迁移开放平台性能业界最佳弹性伸缩支持PB级数据处理MPPDB：帮助企业构建高性能、PB级新数仓数据迁移SQL开Miner：一站式图形化大数据洞察平台FusionInsightMinerMinerBase数据探索并行化算法库(机器学习、图分析、时空数据分析)模型管理数据分析产品图分析引擎(Weaver)日志分析(DataCompass)建模分析标签管理全流程；多维度；高性能；开放Miner：一站式图形化大数据洞察平台FusionInsigFarmer：实时应用使能器，助力企业实时决策平滑微服务化；易运维；高可用性；业务人员直接写规则FusionInsightHD,Redis,RTDDBMQ消息队列ALB接入负载均衡…Container容器池RTD执行RTD编排数据服务管理自定义应用1自定义应用NFusionInsightFarmerFarmer：实时应用使能器，助力企业实时决策平滑微服务化；HDFSOBSBatch（YARN）SparkHiveMapReduceTensorFlow/MXNet模型文件解析运行引擎YarnHDFSElkX86GPUCOTSGPU芯片ATLASFPGACPUHadoopDataLake（数据第二数据平面）AI平台（训练+推理）DockerContainer算法仓库模型仓库HBaseLoaderStorm/FlinkMLstudio机器学习平台notebook特征工程模型训练Weave图引擎知识管理图计算图存储金融行业AI解决方案总体架构语音API语音识别语音合成文本API情绪分析机器翻译文字摘要图像API人脸识别OCR识别图像识别行业使能服务API知识图谱API通用知识业务知识图展示RestfulAPIs业务场景智能客服智能投顾智慧预测营销智能风控、征信。。。单据识别OCR实时决策RTD规则模型事件接入流计算KV引擎生物识别业务系统核心信用卡零售对公客户接触渠道短信网银微信银行手机银行电话语音（IVR）移动互联呼叫中心排队机/叫号机贵宾厅门禁互联网一网通高柜/低柜ATM网点远程银行自助设备PAD银行掌上生活推送电邮自助终端VTMPOSDM（RDB）ODS企业级数仓（第一数据平面）EDW(GP/TD/LibrA)WebServiceVMNASHDFSOBSBatch（YARN）SparkHiveMapT保险大数据建设历程2013年2015年EDW大数据应用技术平台批处理平台FusionInsightHD基于专用设备，实现结构化数据离线、实时计算引入企业版Hadoop，开放技术与通用设备，构建企业内统一数据平台基于Hadoop，企业内统一的批处理平台，离线计算与分析能力2016年2017年数据集市人工智能AI机器学习ML基于GreenPlum，构建数据仓库，承担企业数据批量加工基于Oracle，建立财务、资产、审计、绩效、风险、ACRM等集市客户数据ATM基于Hadoop，提供目标客群确定、目标客群提取功能数据平台类营销类反欺诈类产险/寿险IDS基于Oracle，对产险/寿险业务数据实现T+0实时供出引入MPP架构的分布式数据平台，开放技术与通用设备，实现结构化数据批量加工FusionInsightWeaver业务运营类引入企业版图分析引擎，开放技术与通用设备，构建企业内关系分析平台打假通(车险)基于Weaver，通过图计算和关系分析，发现理赔时的骗保案件LBS业务基于Hadoop，提供根据用户当前位置做产品精准推荐智能运维基于Hadoop，从业务系统收集日志，实时分析，发现异常情况，给出告警集团标签系统知客系统自动核保基于Hadoop海量数据处理和实时计算能力，实现与历史数据关联检查功能人管预考核基于Hadoop，实现业务人员考核，包含实时推送预考核结果流平台基于Hadoop，企业内统一的流处理平台，数据实时计算新数据仓库基于Hadoop，集团内新数仓/集市平台，卸载GP的财务、审计应用基于Hadoop基于Hadoop工具软件车险理赔定损基于ML医疗单据识别基于AIPython/R数据架构研究：烟囱式数据应用->企业统一大数据平台->深化大数据应用->数据智能智能客服基于AIT保险大数据建设历程2013年2015年EDW大数据应用技术打假通业务场景业务场景：保险理赔案件中存在欺诈和骗保行为，需要通过技术手段快速和有效识别。当前使用手工查找复杂关联关系，耗时耗力且易遗漏关键信息；当前只能对个案风险进行评估，串案和团伙不易被侦测。方案要点：通过图计算和关系算法分析，发现理赔案例中的骗保行为和案件：同地多案、同号多案、可疑时间、可疑三者、同车多案、复杂串联案件。核心技术：大数据、图分析引擎（Spark，GraphX，Miner(Weaver)）大数据方案：利用华为大数据技术+华为图分析引擎+可视化界面展示支持十亿结点千亿边。客户收益：1、打假业务人员人工表格方式->图形化展示，提升分析效率2、人工表格方式找案件关联，很难做多层扩展->案件自动关联，多层关联和扩展，找串案、窝案3、单人分析->对案件人工标注，多人协作打假根据输入数据，构建多源异构信息的复杂网络，打通数据边界根据拓扑结构与信息传递过程识别异常模式，判断欺诈案件、犯罪团伙打假通业务场景业务场景：根据输入数据，构建多源异构信息的复杂点击规则双引擎问答系统：自动化的检索系统&精准的知识图谱Spark人工坐席界面TopN答案标记数据处理过滤规则化搜索问题工单已有知识库新聊天记录知识库Lucene关键词匹配算法索引算法问题初筛相似模型排序算法相似度排序排序融合引擎可执行引擎工单问题Tensorflow/Mxnet构建知识库离线排序算法排序模型SVMCNN知识图谱问答系统图数据库知识图谱工单已有知识库Spark数据处理知识表示标记问答检索系统融合引擎点击规则双引擎问答系统：自动化的检索系统&精准的知识图谱Sp基于图引擎构筑企业级知识应用数据接入知识获取知识表达知识计算知识应用交易数据用户数据商户数据社交数据网上银行数据FusionInsightHadoop（HDFS/Hive/HBase）FusionInsightMiner知识建模（统计、分类/聚类、关联、关系抽取、图挖掘、打标签）Spark读数据，并计算FusionInsightWeaverOWL本体语言基于OWL表达的图数据导入搜索、路径、匹配、推理（Plugable）入库（Plugable）分析计算接口层知识存储查询、遍历（Plugable）推荐营销问答123456在知识的获取过程中，可以利用华为的Miner进行建模，也支持其他建模工具，只需要知识的结果遵循OWL标准，即可按照标准格式入库到Weaver。基于图计算和知识图谱技术，构筑企业级相关关系网和知识库，在金融反欺诈、反洗钱、营销、智能客服等场景下，对业务变革影响越来越突出，甚至在IT运维管理方面也有不错的创新实践。风控基于图引擎构筑企业级知识应用数据接入知识获取知识表达知识计算实时风控需求与挑战EXAMPLE多业务、多维度、多渠道、事中风控基于全量数据的毫秒级分析3000TPS交易，5000TPS行为，300+规则（每笔交易2K+IO操作）30天时间窗口（单渠道XX亿级记录）100ms时延，挑战50ms，事中风控自主：IT可自定义上线新渠道自定义新增渠道、新增维度自定义新增数据源（支持非结构化）业务管理开放API快速：业务10分钟上线新规则自定义/开发变量、规则、规则模型在线规则测试灰度发布/冠军挑战者模型全行统一的大风控平台业务：变以账户为中心为人和风险为中心；经验、技术共享运维：降低运维管理成本技术需求：可水平扩展、多租户、多渠道业务连续性任何情况下数据不能丢，业务不中断RPO=0,RTO≈0，MTTR=25min实时风控需求与挑战EXAMPLE多业务、多维度、多渠道、事中风控方案总体架构风控方案总体架构数量不断增长的电子银行欺诈已经成为全球增长最快的“产业”之一。电子银行欺诈不仅会造成用户直接的经济损失，也会动摇客户对银行的信心，影响银行的信誉。现有系统的实时性不足，且无法支撑高并发的业务压力。客户挑战解决方案华为FusionInsightFarmerRTD实时反欺诈平台提供了实时决策引擎，通过PL/SQL定制化反欺诈规则，支持多租户。FarmerRTD是高效、可靠、易用的实时发欺诈框架，响应时延小于50ms、支持10000+TPS并发、满足1000+规则同时运行关键组件：FarmerRTD客户价值构建统一的实时反欺诈平台，同时满足电子渠道（零售）、信用卡等多个维度的实时反欺诈业务。已经上线400+反欺诈规则，高并发的情况下，规则总运行时间小于50ms，实现了用户完全无感知的实时反欺诈。实时反欺诈实施效果手机银行网上银行电话银行ATM机实时反欺诈平台财务处理拦截登记卡片冻结FarmerRTD数量不断增长的电子银行欺诈已经成为全球增长最快的“产业”之一已经选择华为大数据的金融机构已经选择华为大数据的金融机构谢谢谢谢华为金融行业大数据实践分享华为金融行业大数据实践分享大数据是华为ICT战略的重要支柱Source:Huaweicorporatepresentation全球8个研究所，保持1000+的研发投入；拥有社区Committer、IEEEFellow等世界级数据挖掘和人工智能专家；截止2016年12月，华为大数据取得专利190+，其中发明公布136件，发明授权54件。ProfessionalServiceBigDataAnalyticsPlatformDataCenterInfrastructureCoreNetworkIP+OpticalFBBEnterpriseNetworkMBBThings(M2MModule)People(SmartDevice)EnterpriseAppsSDPBSS/OSS3rdPartnersContent&App3rdISVs大数据是华为ICT战略的重要支柱Source:Huawei华为大数据：IDC中国大数据MarkerScape领导者第一IDC观点：华为公司大数据的竞争优势在于：大数据作为公司重点战略，公司内部有持续发展的规划，网罗全球高端专家，持续进行高研发投入，为公司打造了持续创新的能力。华为聚焦大数据平台层，秉承开放、合作、共赢的理念，以技术合作和人才培养为支撑，携手合作伙伴打造大数据生态。截至2016年12月，华为FusionInsight大数据平台主要商业合作伙伴超过200家。当前行业数据处理规模最大的即公共安全、银行业以及运营商，这几个领域对于大数据平台的性能要求最高。华为在这三大领域积累了700多个案例，证明了产品的稳定性、可靠性以及安全性。华为同时也是活跃的开源社区贡献者。华为是OpenStack董事与白金会员，CompletedBlueprints贡献全球第一，综合贡献在中国厂商中排名第一，Hadoop社区贡献全球第三，Docker开源社区综合贡献排名全球第三。2016年华为创建了社区项目ApacheCarbonData，发布了实时反欺诈平台FarmerRTD。华为大数据：IDC中国大数据MarkerScape领导者第一华为是大数据生态建设的倡导者和践行者Top2Top4DatabricksClouderaIntelHuaweiMeituanAppierAlpineDataHortonworksHuaweiClouderaNTTAltiscaleIntelYahoo2015年10月，华为贡献大数据挖掘隐私保护增强技术（PET），将PET技术应用于大数据领域，助力产业发展。2016年6月，华为将CarbonData贡献给社区，成为全球第一个由中国企业提出,被Apache社区接纳的开源组件。2015~2016年统计数据GartnerDMSA魔力四象限报告华为是大数据生态建设的倡导者和践行者Top2Top4Da华为FusionInsight，云化、开放、融合的大数据平台数据集成PorterSqoop批量采集大规模并行处理数据库ApolloDBFlume实时采集

Oozie作业调度管理Kafka消息管理

FtpOnHDFS文件传输

管理平台Manager大数据分析关系型数据库服务:

RDS运维管理配置管理故障管理性能管理安全管理……Hadoop生态发行版HD（HDFS、MapReduce、HBase、Hive、Solr、Spark、Storm、Flink、Elk、CarbonData等核心组件）数据洞察Miner（图分析引擎、机器学习、数据标签）大数据云服务数据智慧Farmer（实时决策引擎Farmer

RTD）数据接入服务:

DIS数据分析服务：MRS、DWS、Stream、M-OLAP…人工智能服务：MLS、NLP…华为FusionInsight，云化、开放、融合的大数据平台HD：全新数据格式Carbondata，同时满足多种业务需求多维分析LargeScansOLAPSequentialAccessRandomAccessSmallScans传统模式Carbondata模式高效率，高性能，存储灵活，兼容HD：全新数据格式Carbondata，同时满足多种业务需求MPPDB：帮助企业构建高性能、PB级新数仓数据迁移SQL开发集群管理完备的工具链FusionInsightMPPDB64位Linux系列，通用X86架构（SUSELinux、Redhat）硬件+OS集群服务器-1集群服务器-nMPP大规模并行处理集群SCTP大规模集群通讯网络……DNDNDNDNDNDNDNDNDNDNDNDNDNDNDNDNDNDNCore1Core1Core1Core1Core1Core1Core1Core1Core1完备的SQL能力，应用平滑迁移开放平台性能业界最佳弹性伸缩支持PB级数据处理MPPDB：帮助企业构建高性能、PB级新数仓数据迁移SQL开Miner：一站式图形化大数据洞察平台FusionInsightMinerMinerBase数据探索并行化算法库(机器学习、图分析、时空数据分析)模型管理数据分析产品图分析引擎(Weaver)日志分析(DataCompass)建模分析标签管理全流程；多维度；高性能；开放Miner：一站式图形化大数据洞察平台FusionInsigFarmer：实时应用使能器，助力企业实时决策平滑微服务化；易运维；高可用性；业务人员直接写规则FusionInsightHD,Redis,RTDDBMQ消息队列ALB接入负载均衡…Container容器池RTD执行RTD编排数据服务管理自定义应用1自定义应用NFusionInsightFarmerFarmer：实时应用使能器，助力企业实时决策平滑微服务化；HDFSOBSBatch（YARN）SparkHiveMapReduceTensorFlow/MXNet模型文件解析运行引擎YarnHDFSElkX86GPUCOTSGPU芯片ATLASFPGACPUHadoopDataLake（数据第二数据平面）AI平台（训练+推理）DockerContainer算法仓库模型仓库HBaseLoaderStorm/FlinkMLstudio机器学习平台notebook特征工程模型训练Weave图引擎知识管理图计算图存储金融行业AI解决方案总体架构语音API语音识别语音合成文本API情绪分析机器翻译文字摘要图像API人脸识别OCR识别图像识别行业使能服务API知识图谱API通用知识业务知识图展示RestfulAPIs业务场景智能客服智能投顾智慧预测营销智能风控、征信。。。单据识别OCR实时决策RTD规则模型事件接入流计算KV引擎生物识别业务系统核心信用卡零售对公客户接触渠道短信网银微信银行手机银行电话语音（IVR）移动互联呼叫中心排队机/叫号机贵宾厅门禁互联网一网通高柜/低柜ATM网点远程银行自助设备PAD银行掌上生活推送电邮自助终端VTMPOSDM（RDB）ODS企业级数仓（第一数据平面）EDW(GP/TD/LibrA)WebServiceVMNASHDFSOBSBatch（YARN）SparkHiveMapT保险大数据建设历程2013年2015年EDW大数据应用技术平台批处理平台FusionInsightHD基于专用设备，实现结构化数据离线、实时计算引入企业版Hadoop，开放技术与通用设备，构建企业内统一数据平台基于Hadoop，企业内统一的批处理平台，离线计算与分析能力2016年2017年数据集市人工智能AI机器学习ML基于GreenPlum，构建数据仓库，承担企业数据批量加工基于Oracle，建立财务、资产、审计、绩效、风险、ACRM等集市客户数据ATM基于Hadoop，提供目标客群确定、目标客群提取功能数据平台类营销类反欺诈类产险/寿险IDS基于Oracle，对产险/寿险业务数据实现T+0实时供出引入MPP架构的分布式数据平台，开放技术与通用设备，实现结构化数据批量加工FusionInsightWeaver业务运营类引入企业版图分析引擎，开放技术与通用设备，构建企业内关系分析平台打假通(车险)基于Weaver，通过图计算和关系分析，发现理赔时的骗保案件LBS业务基于Hadoop，提供根据用户当前位置做产品精准推荐智能运维基于Hadoop，从业务系统收集日志，实时分析，发现异常情况，给出告警集团标签系统知客系统自动核保基于Hadoop海量数据处理和实时计算能力，实现与历史数据关联检查功能人管预考核基于Hadoop，实现业务人员考核，包含实时推送预考核结果流平台基于Hadoop，企业内统一的流处理平台，数据实时计算新数据仓库基于Hadoop，集团内新数仓/集市平台，卸载GP的财务、审计应用基于Hadoop基于Hadoop工具软件车险理赔定损基于ML医疗单据识别基于AIPython/R数据架构研究：烟囱式数据应用->企业统一大数据平台->深化大数据应用->数据智能智能客服基于AIT保险大数据建设历程2013年2015年EDW大数据应用技术打假通业务场景业务场景：保险理赔案件中存在欺诈和骗保行为，需要通过技术手段快速和有效识别。当前使用手工查找复杂关联关系，耗时耗力且易遗漏关键信息；当前只能对个案风险进行评估，串案和团伙不易被侦测。方案要点：通过图计算和关系算法分析，发现理赔案例中的骗保行为和案件：同地多案、同号多案、可疑时间、可疑三者、同车多案、复杂串联案件。核心技术：大数据、图分析引擎（Spark，GraphX，Miner(Weaver)）大数据方案：利用华为大数据技术+华为图分析引擎+可视化界面展示支持十亿结点千亿边。客户收益：1、打假业务人员人工表格方式->图形化展示，提升分析效率2、人工表格方式找案件关联，很难做多层扩展->案件自动关联，多层关联和扩展，找串案、窝案3、单人分析->对案件人工标注，多人协作打假根据输入数据，构建多源异构信息的复杂网络，打通数据边界根据拓扑结构与信息传递过程识别异常模式，判断欺诈案件、犯罪团伙打假通业务场景业务场景：根据输入数据，构建多源异构信息的复杂点击规则双引擎问答系统：自动化的检索系统&精准的知识图谱Spark人工坐席界面TopN答案标记数据处理过滤规则化搜索问题工单已有知识库新聊天记录知识库Lucene关键词匹配算法索引算法问题初筛相似模型排序算法相似度排序排序融合引擎可执行引擎工单问题Tensorflow/Mxnet构建知识库离线排序算法排序模型SVMCNN知识图谱问答系统图数据库知识图谱工单已有知识库Spark数据处理知识表示标记问答检索系统融合引擎点击规则双引擎问答系统：自动化的检索系统&精准的知识图谱Sp基于图引擎构筑企业级知识应用数据接入知识获取知识表达知识计算知识应用交易数据用户数据商户数据社交数据网上银行数据FusionInsightHadoop（HDFS/Hive/HBase）FusionInsigh