大数据平台产品体系介绍

1、大数据平台产品体系介绍全面透视大数据平台的架构、能力与价值数据采集分析与挖掘可视化计算与存储ETLESB爬虫Kafka消息中间件HDFSHbaseHiveMapReduceMPPSpark StreamHadoop人工智能实时分析离线分析流式分析Quick BIUI 可视化平台DX关联分析系统DE根因分析系统基于大数据基础服务提供用户大数据采集、存储、计算能力；通过分析平台实现轻BI商业智能、人工智能服务，具备一站式数据应用能力。大数据产品体系大数据平台产品架构大数据平台特点领先技术创新专业实验室提供业界领先技术支撑内嵌业界领先的分析技术和模型开放易集成架构开放，支持构建应用百花齐放的局面预置

2、更加智能化/自动化的专项应用自研系列产品，易提供定制工具，快速响应需求行业借鉴商业模式洞察，创新模式快速响应业界资源汇聚整合，行业经验共享安全可靠专业的大数据平台建设和维护能力电信级安全标准要求，保障系统数据安全低成本X86化的计算云，存储云，缓解IOE扩容带来的成本压力集中化的采集、处理，解决烟囱式系统的冗余浪费BIG Data25%20%大数据交换汇集平台ETL、ESB、爬虫、Kafka、消息中间件原始数据源数据采集交换区大数据存储分散、种类多样化，时效性差异大多种技术手段，平台化系统，快速部署，统一监控管理为大数据应用提供全兼容数据存储任务流程调度操作控制流程控制转换流程数据抽取数据加载

3、数据转换调度操作控制子任务Pyspider（互联网爬虫）Spark Streaming + kafka（流数据）大数据交换汇集ETL丰富的ETL构件库ETL界面及效果提高开发效率缩短周期 图形化界面创建数据采集转换、抽取、清洗作业； 支持智能采集； 丰富的数据交换功能 支持多种数据库、实时接口及库表交换、文件交换； 支持全量、增量方式的数据捕捉方式； 实现复杂数据处理 零编码的数据处理产品;零编码图形化拖拽方式，完成数据抽取、转化、清洗设计； 支持多种存储架构 支持hadoop、Mpp、传统数仓多层次安全机制保障 支持分级分域授权、三员分离；支持通道安全，支持SSL传输通道加密功能；支持数据加

4、密，支持国密算法；支持交换全过程监控、审计，并提供邮件、短信预警功能；ETL的监控管理单一业务的任务详情图形化展示任务执行日志任务运行情况变化曲线全方位洞察一项任务执行定义指定任务的报警规则定制指定任务的报警渠道指定报警信息的接收者根据需要控制告警规则的启用与关闭告警帮你随时把握任务异常可视化手段多角度作业监控作业执行状态与成功率监控对作业进行多角度排序ETL任务执行一览无余 四方伟业互联网爬虫工具是一个集成在数据模块下的自动下载网页的程序，它根据既定的抓取目标，有选择的访问网页与相关的链接，获取所需要的信息，无需安装任何软件，挖掘互联网数据、配置规则简单（支持循环翻页、集合、点击事件、模拟账

5、号登录）支持分布式采集、定时循环采集、有效的防范IP被封，支持采集数据导出，并且能够对接各种主流存储结构的面向主题爬虫。用户应用爬虫引擎运行管理监控平台配置管理统计查询解析器任务调度中心应用支撑定制化模块任务管理数据处理监控日志管理互联网分页数据多层网页复杂网页事件网页互联网爬虫工具互联网爬虫工具-界面展示案例-工商局大数据服务项目案例-工商局大数据服务项目一周内完成近20000户网店信息采集及比对数据本身价值超过10万元4天完成18725户企业官网信息合法性检测一月内完成全成都市220万户企业主体信息的采集，并实现每半月滚动更新一次一个月完成40万户企业ICP备案信息采集企业主体信息： 22

6、0万户 （近亿条数据） 企业ICP备案信息：40万户 （200多万条数据）企业官网信息： 3W户 （8.6万条数据）企业店铺信息： 2W户 （6.5万条数据）沉淀的数据：大数据治理平台元数据管理、数据质量管理大数据治理平台功能架构组织：角色、责任、权限策略：计划、部署、监控、评估数据标准管理数据元管理目录管理数据字典管理段码管理信息类管理资源检索业务配置数据质量管理数据库管理数据规则管理数据映射配置任务调度任务监控问题数据治理资源监控管理质量统计分析数据管理数据资源管理数据库配置管理数据台帐管理开放服务系统在线服务管理服务调用认证服务监控数据治理-元数据管理数据治理-数据标准与质量数据治理-界

7、面展示大数据基础平台大数据存储、计算基础框架，运维管理监控。分布式计算引擎批处理MapReduce内存计算Spark流处理StormHive、SparkSQL、Redis、Phoenix、StreamCQL、SparkStreamingHBaseHDSF数据存储ZookeeperParquet分布式数据存储oraclePostgreSQLMySqlSqlServerYarn（分布式资源管理）Elasticsearch分布式数据存储软件管理配置管理故障管理性能管理安全管理租户管理备份管理运维管理ETLDB实时采集批量采集网络爬虫kafaka校验与清洗SqoopFlumeWebService文件G

8、eccosocket伟业可视化平台TableauQlikView可视化系列。实时分析人工智能数据挖掘系列伟业智能分析平台SAS、SPSS RapidMiner 大数据基础平台架构大数据应用流程控制任务耗时情况总览耗时监控，透视任务执行的时间状态监控，随时掌握任务执行状态的总体分布任务状态情况总览耗时的任务和步骤，需要得到我们的重点关照具体任务耗时追踪大数据分析流程监控与调度大数据基础平台：应用流程实现任务导航列表任务查询任务创建拖拽算法，拼接数据分析流程定义任务基本属性配置任务调度信息大数据基础平台：数据查询数据图表数据明细元数据信息查询日志历史记录HDFS文件大数据基础平台运维监控管理提高部

9、署运维效率统一管理，自动化操作使集群运维成本下降：30%精确定位故障问题检查集群状态，使故障减少：80%业务可视化，业务设备关联，故障定位时间缩短：50%直观运行监控展示丰富的监控报警和报告大数据智能分析平台算法模型管理、大数据挖掘分析大数据智能分析平台体系架构大数据智能分析平台技术架构业务场景导入数学分析建模大数据模型发布应用大数据应用政务大数据应用工业大数据应用交通大数据应用旅游大数据应用 数据归集与预处理算法选择算法自定义分析建模设计模型训练模型发布模型调度运行管理知识库管理模型运行大数据运行服务大数据可视化展示知识库共享大数据分析与挖掘模型全生命周期管理大数据智能分析平台界面-总体布局

10、案例:客户基金定投购买响应预测-客户细分特征解读该子群客户均拥有贷款；该子群客户几乎均不拥有定存、国债等稳定收益产品；该子群客户很少拥有基金、黄金、利得盈等投资理财产品；该群客户全不持有信用卡。V1：长期负债族AUM均值是所有子群中最高的；近三个月稳定性资产积累余额均值（定存加国债）是所有群体中最高的；极少客户持有活存、信用卡和基金；交易次数是所有子群中最少的。平均年龄是所有子群中最高的，超过50岁。V5：固定储蓄族该群中客户的人数是所有子群中最多的；该群客户全部持有活存，且持有借记卡的比例较高，达83.9%。该群中的客户利用活存进行交易是所有子群中最频繁的。该子群客户几乎不拥有其他产品。V2

11、：活跃结算族该群客户以结算类帐户和固定储蓄帐户用以满足基本日常需求。从总体分布比例上来看，持有其他产品的比例很低。该群客户理财以稳定收益的国债、行内理财产品为主，同时，几乎都不持有基金V3：基本需求族AUM均值较高，在所有细分群体中居第二位；几乎所有的该群客户拥有基金；且基金的持有余额在所有子群中是最高的。持有行内利得盈、汇得盈等理财产品的比例最高；另有少量客户持有信用卡、国债等产品；V4：高端积极理财族该群客户几乎全部持有贷款和信用卡；信用卡消费金额、次数较大；几乎全部（99%）客户均有活存；且活存借方、贷方交易次数和金额均较大。少量客户拥有稳定性资产积累和基金；V6：活跃负债族该子群客户全

12、部持有基金；近三个月基金持有余额均值在所有子群中居第二位，仅次于高端积极理财族。持有定存比例很低，而价值客户的平均水平为23.6%。少量客户（5.9%）客户拥有信用卡，且无论是开卡率还是消费金额都很低。V7：积极理财族该子群中的客户全部持有信用卡；信用卡的消费金额较高，和消费次数是所有子群中最高的。仅有1.78%的客户持有定存；少量客户持有基金（7.74%），但这群基金客户的余额较高（46600元）V8：潇洒信用卡族案例:客户基金定投购买响应预测-细分结果分析构建流程图进行模型训练案例:客户基金定投购买响应预测模型流程图案例:客户基金定投购买响应预测模型规则配置配置决策树规则和回归参数配置基金

13、定投相应预测模型规则引擎是将模型的结果，回归参数，或者决策树的规则，配置到规则库中，后台可实现批处理评分或者实时评分案例:客户基金定投购买响应预测决策分析-评分卡配置根据回归参数、评分卡参数生成的评分卡案例:客户基金定投购买响应预测决策分析实时评分根据客户信息实时生成的评分卡案例:客户基金定投购买响应预测营销反馈实时的监控营销发布、执行和成交的情况案例:客户基金定投购买响应预测营销评估比较精准营销与大众营销的成功率等大数据可视化平台大数据可视化UI设计工具、敏捷BIWYDC 可视化平台商业智能BI终端用户、BI分析人员、页面开发人员表格、图表数据展现，还能编排高级的UI页面每个图表平均支持80

14、个以上的属性配置支持页面级、组件级的定时刷新，动态模型绑定灵活的事件响应，组件、页面间/系统内外参数传递终端用户、BI分析人员面向表格类、图表类数据展现支持简单和基本样式、可设置性低固定页面，固定数据仅基本的钻取、联动支持海量数据渲染主要以后台计算结果的方式展现用户使用群体编排效果样式设置动态绘制可编程能力渲染性能支持流式布局之上，增加自由布局、响应式布局提供自定义模板、多种布局组件页面布局多使用流式布局、固定布局固定模板支持多样化的WEB组件，数量达50个以上少量、基本无WEB组件WYDC可视化平台与BI的区别大数据可视化UI设计UI编排组件库事件联动模型数据过滤条件设置组件渲染容器监听主题管理布局模板任务管理 UI设计平台专精于业务数据可视化展示，通过图形界面轻松搭建专业的可视化应用，满足您日常业务监控、调度、会展演示等多场景使用需求。大数据可视化平台界面哥伦比亚阿根廷印度尼西亚古巴巴西坦桑尼亚乌克兰塞尔维亚伊拉克科威特巴林塔吉克斯坦巴基斯坦印度伊斯兰卡泰国西班牙新西兰俄罗斯北非与华为强强联手，四方可视化平台应用到全球近100个国家，上千个客户。目前已经配置了200多个局点的可视化/BI报表系统。中国利比亚智利墨西哥越南产品应用