大数据云平台项目建设方案

1、数据云平台项目建设方案构建大数据基础软件设施，发掘数据资源关键价值第1页总体规划建设方案项目报价010203CONTENTS成功案例03第2页建设目标打通内部EAS系统、智慧小区系统、天眼系统、停车场管理系统、EBA智能设备系统，经过数据清洗、转换、比对实现数据整合，打破企业内部数据孤岛。构建企业内部三层架构数仓，形成运行、市场、财务类主题数据资源，建立大数据挖掘分析模型，实现多维数据分析。构建数据管理门户平台，形成数据服务能力、数据集成能力、数据管理能力、应用能力，从微观层面和宏观层面，提升企业运行管理和辅助决议水平。数据整合数据治理数据服务第3页总体架构支撑层应用层数据层标准规范与管理体系

2、信息安全保障体系用户层展示层业务人员运行部门集团领导办公电脑业务风险问题预判综合大屏数据融合采集ETL绩效考评评定商业智能BE财务系统业务审批系统EBA智能设备系统人力HER系统业务运行趋势分析数据门户管理平台任务配置任务执行状态监控节点管理停车系统数据共享服务数据资源管理数据授权管理数据集成数据服务引擎数据接口图表分析报表分析联动配置查询检索汇报管理权限管理数据仓库数据指标数据模型数据指标手机终端第4页技术架构第5页建设思绪整体设计，突出重点统筹规划，分步实施整合资源，协同共享主动创新，务实高效优化机制，统一标准整合与完善硬件基础设施，形成计算、网络和存放共享资源池基于大数据技术，改进信息资

3、源整合、挖潜、分析和研判实现跨业务综合应用支撑体系，实现层级整合、领域整合、系统整合标准化和自动化数据管理服务流程强有力网络与信息安全保障着手制订和完善平台建设、应用交互、数据共享等相关标准资源数据应用服务安全标准第6页总体规划建设方案项目报价010203CONTENTS成功案例03第7页伟业ETL在传统ETL基础上支持Hadoop、Hbase、实时流等数据采集、转换，主要能力以下：批量采集提供存放过程、触发器、脚本、sql、sqoop、文件等方式批量采集能力实时采集 提供实时消息流、消息队列等实时采集能力各种数据源支持HDFS、Hbase、Hive、IBM DB2、Oracle、Sqlser

4、ver、SybaseMysql、HTTP、MongoDB跨平台支持云平台、Windows、Unix、CentOs、Liunx等主流操作系统厂商运行环境丰富组件支持20各种主流数据库采集，30各种数据文件格式，20种清洗组件融合采集ETL第8页融合采集ETL-采集流程分散、种类多样化，时效性差异大各种技术伎俩，平台化系统，快速布署，统一管理为大数据应用提供全兼容数据存放原始数据源数据湖数据采集交换区任务流程调度操作控制流程控制转换流程数据抽取数据加载数据转换子任务调度操作控制流数据采集传输第9页融合采集ETL-数据处理流程提升开发效率缩短开发周期图形化拖拽方式快速集成实现复杂数据处理流程NoSQ

5、L接入 云化布署第10页主要功效能力描述备注支持数据源HDFS独有Hbase独有Hive独有IBM DB2OracleSqlserverSybaseMysqlKingbasePostgreSQLHTTPMongoDB实时采集Flume独有Kafaka独有TCP/IPWebserviceCDC增量采集时间戳全表对比基于数据库日志分析（oracle、mysql、Sqlserver）组件Access输入、Excel输入、固定宽度文件输入、文件内容加载至内存、流查询、值映射、插入/更新、列拆分为多行、列转行、去除重复统计、唯一行（哈希值）、增加常量等20各种清洗组件集群能力支持处理节点扩展，增加机器等

6、方式扩展处理能力组件扩展插件扩展任务调度任务并发度控制（任务级）、任务开启、任务中止、提供定时调度（多样定时组合，时间间隔能够到秒），并能可视化配置；提供跨节点调度，方便位于不一样机器上运行节点之间调度，并能可视化配置运行监控图形监控、统计监控、日志汇报融合采集ETL-主要功效第11页融合采集ETL-构件库第12页融合采集ETL- 监控管理单一业务任务详情图形化展示任务执行日志任务运行情况改变曲线全方位洞察一项任务执行定义指定任务报警规则定制指定任务报警渠道指定报警信息接收者依据需要控制告警规则启用与关闭告警帮你随时把握任务异常可视化伎俩多角度作业监控作业执行状态与成功率监控对作业进行多角度排

7、序ETL任务执行一览无余第13页数据接入新建数据表连接数据库上传文件新建sql数据表连接校验数据预览权限配置数据表管理自循环列公布下线数据表编辑行列转换日志查询数据处理数据处理表关联数据过滤数据汇总字段过滤计算字段列排序抽取配置抽取频率配置抽取方式配置业务表管理业务表编辑公布下线数据预览日志查询业务表授权图表分析选择图表选择业务数据集配置维度度量配置分析指标轮播配置参数配置配置常量线配置高级分析线统计报表分析简单报表复杂报表联动配置组件与组件联动查询条件与组件联动查询条件配置普通查询条件配置自定义查询条件配置辅助组件配置汇报管理汇报编辑公布下线日志查询导出打印预警提醒数据预览配置计算指标OLA

8、P分析权限管理目录管理功效权限管理数据权限管理登录与密码设置日志管理移动端账号管理商业智能平台-功效架构第14页BE ClientVue.jsBE ServerSAEECoreEMgrSAE业务数据库数仓外部业务数据源数据分析查询流程数据分析查询流程(已存放在数仓)业务配置流程系统管理流程商业智能平台-业务架构第15页F检验层次分析法单样本T检验卡方独立性检验卡方拟合性检验离散值特征分析皮尔森相关系数全表统计双样本T检验相关系数矩Correlation协方差矩阵数据视图信息增益信息增益率方差分析ANOVA指数平滑法30余种高级挖掘分析算法支持100余种基础算法支持数字函数ABS(number)

9、ACOS(number)ASIN(number)ATAN(number)ATAN2(y number, x number）CEILING(数字)COS(number)COT(number)DEGREES(number)DIV(整数 1, 整数 2)EXP(number)FLOOR(数字)HEXBINX(number, number)HEXBINY(number, number)LN(number)LOG(number , base)MAX(number, number)MIN(number, number)PI( )POWER(number, power)Radians (number)ROU

10、ND(number, decimals)SIGN(number)SIN(number)SQRT(number)SQUARE(number)TAN(number)ZN(expression)字符串函数ASCII(string)CHAR(number)Contains(string, substring)ENDSWITH(string, substring)FIND(string, substring, start)FINDNTH(string, substring, occurrence)LEFT(string, number)LEN(string)LOWER(string)LTRIM(stri

11、ng)MAX(a, b)MID(string, start, length)MIN(a, b)REPLACE(string, substring, replacement)RIGHT(string, number)RTRIM(string)SPACE(number)SPLIT(string, delimiter, token number)STARTSWITH(string, substring)TRIM(string)UPPER(string)时间函数ISDATE(string)MAKEDATE(year, month, day)MAKEDATETIME(date, time)MAKETIM

12、E(hour, minute, second)MAX(expression) 或 MAX(expr1, expr2)MIN(expression) or MIN(expr1, expr2)MONTH(date)NOW( )TODAY( )YEAR (date)商业智能平台-算法支持第16页SQL DBFlatFilesOracleSQL其它DB业务数据库BE 前端其它应用系统自助分析BE Server导入优势1:1.不需要事前建立数据立方体2.节约系统构建时间周期3.需求发生改变时，能够快速应对，易于维护优势2:1.不影响原业务系统，不给源数据库造成压力2.不需要事前建立关联表，不需要事前设计

13、维度从源数据库导入数据不给业务系统造成压力优势3:1.前端展现工具丰富多彩2.操作简单，非IT技术者业务人员也能够随时随意制作统计分析汇报3.Web、Excel、Dashboard等各种统计分析界面，产品线丰富，能满足各种层次用户各种需求能给客户带来价值：1.节约数据库和系统构建成本2. 优质产品：操作简单，减轻IT人员负担，易于推广对于暂时、改变需求能够及时快速应对提取、清洗、转换、装载、整合ETLDWH数据仓库分析汇报协同互动商业智能平台-OLAP分析第17页集群轻量级数据仓库内置主流RDB，适合用于小数据量场景（GB级别）经过数据抽取将数据包含上传文件数据均存放在数据仓库中。外部业务数据

14、源DriverMasterWorkerNodeWorkerNodeWorkerNodePTMysqlOracleHiveHBase标准数据仓库配套Hadoop产品，适合用于大数据量场景（TB级别以上）商业智能平台-数据仓库第18页联合多个异构数据源拖拽可视编辑数据处理流程数据处理节点，可随时扩展商业智能平台-数据预处理第19页数据模型切换维度/度量/参数过滤排序时序轮播分析特征二维数轴图表分析显示数据分析快照智能图表选择商业智能平台-自助数据分析第20页经过直接配置，实现各种算法进行数据评定分析，包含平均线、指数平滑、线性回归、同比、环比、占比等。商业智能平台-统计分析第21页自动类型识别数据

15、快照智能图标推荐 内置丰富图表展现形式，能够依据用户配置维度度量指标，智能推荐适合图表，帮助用户快速配置，并支持对图表自定义设置。 导入数据后即可自动识别出数据集中全部字段；对系统自动识别维度和度量，用户也可进行手动修正，并可随时对维度和度量进行相互转换。 支持用户在分析过程中实时保存分析思绪，可将当前正在配置分析单元保存为快照。双击快照，打开快照查看界面并覆盖在当前分析单元之上。商业智能平台-智能交换体验第22页商业智能平台-数据权限控制第23页数据库服务器应用服务器(SAE)数据仓库交换机交换机数据库服务器数据仓库节点数据仓库节点应用服务器节点单机组网标准集群组网（后期扩展）商业智能平台-

16、布署架构第24页数据门户-功效规划系统集成设计门户系统基于SOA架构设计，可于第三方报表系统、Web应用集成。对移动端、微信端以及混合应用集成支持良好，支持二次开发。移动端需实现云平台移动端应用用户认证和单点登录集成。 门户系统用户权限、报表系统、三方应用系统集成及SSO整合门户系统设计1.数据资源功效。2.数据导航。3.数据管理。4.数据资料视觉化。5.数据共享管理。6.数据申请管理。7.SSO登录认证数据管理设计数据地图及数据资产管理（管理目录或清单，拥有访问授权），建设公共库，提供API开放数据。指标口径统一管理且和数据关联。提供安全，多粒度访问控制，明细、汇总不一样维度数据服务，支持在

17、线查看，支撑第三方软件自助分析软件或接口调用，同时用户也需要统一管理完整目录API结构，针对资料集与后设资料，提供读写、和查询功效。集成数据存放和完整数据API，可收割。数据接口设计 数据引擎设计1.推送。2.预警。3.支持相关应用规则机制第25页数据门户-数据共享流程共享服务后台服务注册服务参数服务峰值服务同时服务审核授权审核峰值审核参数审核服务公布启用停用控制数据资源中心服务调用方共享服务门户检索服务服务申请服务调测服务调用申请审核授权审核推送频率输入参数鉴权管理调用鉴权调测鉴权用户鉴权第26页数据门户-数据服务页面第27页总体规划建设方案项目报价010203CONTENTS成功案例03第

18、28页项目报价项目模块功效描述数量预算（万元）天骄爱生活云平台项目融合数据ETL以ETL技术架构为关键，可支持传统关系数据库和格式化文件、非格式化文件，可支持多数据源采集。经过数据采集、转换、清洗等实现传统数据存放向大数据存放（HDFS/NoSQL等）数据采集与迁移等功效。平台提供一个简单易用开发、管理工具，提供覆盖从数据集成逻辑设计、开发、调试、布署，到运行、管理、监控各个生命周期不一样阶段集成开发工具。能够实现对数据集成流程开发和布署；经过监控和日志功效，能够实现对数据集成运行过程进行实时监视，对集成流程历史数据进行分析。提供功效级和数据集权限管理，可定义错误告警机制，自定义面板等。120

19、商业智能BE采取业内领先大数据架构，提供数据采集、数据处理、数据存放、数据分析、数据可视化为一体完整商业智能处理方案。具备全新智能交互体验，可依据用户构建数据集，智能推荐展现图表；采取创新数据快照技术，统计分析过程中任意状态，帮助用户备份分析过程并支持快速回溯至上一刻状态。支持自助式数据准备，提供灵活、易用、高效可视化探索分析能力，用户自助组合不一样起源数据，创建分析模型；业务人员只需简单拖拽，就能轻松制作出兼具灵敏分析与精美展示汇报；既能提供传统OLAP相关分析，也支持复杂统计分析，如线性回归、预测等。适应各种屏幕尺寸展示，支持依据PC、平板电脑、手机不一样分辨率自适应展现分析结果；支持用户

20、公布和订阅报表，每个用户可对分享报表进行留言，与报表公布人进行互动。140数据门户平台数据服务引擎：数据服务引擎是数据共享平台数据服务引擎组件，是平台基础，提供了标准JDBC/ODBC访问功效，负责对提交访问SQL处理，负载和并发等处理。数据资源管理：提供基础包含数据资源库管理、逻辑数据模型配置管理、指标统一管理和指标数据资源管理等基础数据资源配置功效。数据共享管理：数据共享管理平台Web端管理组件， 提供数据资源共享管理、数据资源共享目录、申请单管理、用户管理等Web端应用管理功效。数据访问接口：数据共享管理平台标准接口，此次项目提供标准JDBC/ODBC访问，支持帆软、Power BI等第

21、三方软件对接访问。数据共享应用：提供数据资源数据查询和移动端数据展现功效，为数据共享延伸应用。135累计95第29页总体规划建设方案项目报价010203CONTENTS成功案例03第30页某金融客户自助分析项目架构BPS代发薪业务系统手机银行报表个人贷款业务应用层BE集群布署BE服务数据源业务层GPOracleExcel多维分析数据模型报表公布数据抽取数据源接入数据查询报表自助开发可视化组件数据分析数据预处理查询引擎Presto内存计算Spark分布式存放Hive行业管理驾驶舱财私业务报表项目应用1、当前该客户业务量为：单日新增数据300w，关键业务数据表量级为千万百亿级别。采取BE，五台集群、分析性能到达，单表57686267条数据，单列查询0.2秒2、完整用户权限控制，控制当前26个二级行，420个网点，926个用户数据权限，实现数据安全下放。3、实现科技部数据开发SQL脚本，经过产品流程化配置即可实现。大大提升科技人员业务需求响应能力。4、实现银行关键系统业