SMARTBI-广东联通数据中心-方案交流V

金仓思迈特商业智能平台

广东省联通数据中心交流联系我们:

support@S

公司简介产品功能模块介绍数据中心建设方案相关项目经验介绍我们的优势2主题思迈特简介3中国电子科技集团（CETC）成员公司公司背景公司定位BI产商，国内商业智能产品领域的开拓者和领导者技术力量团队核心成员在BI产品研发领域具有5-10年经历，具备丰富的BI平台产品研发经验代理商分布公司总部及研发中心在广州，在华北、华中、华东均有合作伙伴与代理商Smartbi，十年打造4菲奈特软件东南融通思迈特软件1997年之前银行/证券/保险核心系统1999年BI.OfficeV1.0BI项目实施服务2008-2011年10月FreeQuery查询平台（J2EE技术）BI.OfficeV5-V6（J2EE技术）获得BI金融行业垄断地位广泛应用于政府、企业等1997年BI理论研究2000年BI.OfficeV2.0

（COM技术）

BI项目实施服务2001年~2007年BI.OfficeV3.X-4.0（COM+J2EE技术）BI项目实施服务BI产品OEM服务2011年11月-2012年SmartbiV2.0SmartbiMobileV2.0专注行业：军队、政府、集团公司BI平台产品发展里程碑始终一个团队10+年12+行业100+BI客户200+BI项目银行26保险/证券10企业30税务13政府/事业单位19电信/移动9合计100+典型客户5

典型客户6

政府、公共事业金融企业合作伙伴北京人大金仓信息技术股份有限公司文思创新软件技术有限公司软通动力信息技术（集团）有限公司神州数码融信软件有限公司东华软件股份有限公司博彦网鼎信息技术有限公司内蒙古纵横伟业软件技术与服务有限公司北京科蓝软件系统有限公司北京能博文科技发展有限公司北京平步科技有限公司7厦门融通信息技术有限公司厦门同步天成软件有限公司厦门市美亚柏科信息股份有限公司广东省信息工程有限公司广州从兴电子开发有限公司广州市网迅信息技术有限公司广州市都享信息科技有限公司广州毕盛软件有限公司广州科韵信息股份有限公司上海泓智信息科技有限公司湖南省慧祥科技开发有限公司公司简介数据中心建设方案产品功能模块介绍相关项目经验介绍我们的优势8主题应用现状系统目标整体架构规划技术架构规划应用框架规划数据架构及建模数据管控建设路线图政企客户部企业战略部人力资源部财务部客户服务部技术部网络发展部市场部审计部采购事业部下属机构其他部可能面临的问题数据口径不统一,可信度低管理决策数据过于分散,数据来源多样化数据缺乏标准,难以整合缺乏数据管控体系,数据质量难以保证总公司二级机构一级机构决策层手工数据采集数据整合的价值政企客户部企业战略部人力资源部财务部客户服务部技术部网络发展部市场部审计部采购事业部下属机构其他部决策层数据中心（ODS&EDW）专题数据集市专题数据集市专题数据集市管理决策所需数据集中管理，来源唯一形成业务单一视图，数据标准化数据管控体系健全,数据质量得以保证

数据整合后信息流简化共享数据利用率提高数据中心定位与目标现实需要清理和解决基础数据不一致问题，改进数据质量，提高数据的可信度；整合基础数据，形成管理决策所需的“单一数据源”，加强信息共享，提高决策效率；减少重复劳动，降低整体信息获取成本（人工和IT）；促使已有IT设施发挥更大作用。未来价值支持精细化管理；支持绩效考核，提高内部管理能力；提供数据挖掘以获得对全局状况的洞察力，持续支持科学、量化的管理决策。企业级数据整合是一种增强全行商业智能的解决方案和战略管理工具，它支持有远见的决策系统目标以数据为基础、以模型为支撑、以应用为驱动、全面管理信息资产统一咨询实施方法统一数据标准统一数据模型统一数据整合平台统一数据存储平台统一数据应用平台统一数据管控平台规范系统服务流程及标准高效信息资源获取渠道快速业务应用响应平台运营监控及决策支撑绩效管理支撑资产管理及运营中心总体目标可落地咨询规划服务真正为客户创造价值企业愿景可落地咨询规划实施执行一般咨询规划咨询与实施脱节企业愿景无法落地咨询与实施挂钩企业愿景顺利实施业务系统系统整体架构ETL平台前端展现工具及应用发布平台（SmartBI）数据库财务预算OA数据补录工具数据管控（数据标准、数据质量管理、元数据管理）ETL调度和监控平台高效、准确的数据抽取、标准化和装载全局数据模型、数据仓库灵活、直观、丰富的图表数据展现应用集成、界面集成、LDAP集成、单点登录成熟的技术方案及专业实施团队统计分析报表管理运营监控风险评估绩效监控数据挖掘资产管理审计监控商业智能系统&战略绩效管理数据标准管理成熟的行业解决方案及分析模板数据标准咨询方法论实施方法论数据整合及管理服务区准实时应用支撑统一口径支撑ETL服务支撑代码标准化支撑数据质量服务支撑基础数据支撑增量数据支撑系统技术架构偏分析型数据区DATAMART数据源HR计划基础数据模型应用数据服务支撑报表应用支撑查询应用支撑挖掘应用支撑应用分析型应用决策应用支撑增量监控分析应用支撑管理平台数据服务平台调度/监控管理数据质量管理标准化管理ETL全流程监控系统级监控应用级监控数据质量优化流程管理数据分析报告规则库维护代码标准化口径标准化代码标准映射抽取组件转换组件加载组件代码转换组件映射组件代码生成系统调度数据分发………….财务预算装备配发T+1近实时实时管理型应用专题数据服务类应用实时交易数据服务原始交易数据服务法定信息披露流程支撑STG/ODS/DW采购指挥调度外部补录工具商业智能集成展现框架应用规划总账财务会计报表固定资产成本管理现金管理应收管理应付管理产品管理客户管理渠道管理营销管理预算管理管理会计数据仓库（DW）运营管理系统关键指标管理绩效风险预警KPI指标客户发展与收益增值业务主题分析绩效管理主题分析营销服务主题分析产品管理主题分析渠道运营主体分析决策支持系统数据仓库管理驾驶舱运营监控管理工具绩效考核评估体系语音业务主题分析整体的数据模型，而不是为报表而报表17统一的数据仓库模型

长期的成功不同的数据模型对于整体数据仓库的挑战财务系统装备配置系统统一的企业级数据仓库模型?其他系统每一个运营系统拥有自己的数据模型不统一的数据仓库模型导致：

孤立的数据孤岛?数据建模：数据建模方法论逻辑模型业务主题域业务范围业务逻辑化业务抽象对象分析主题规划主题目标域内容概念模型原子层物理模型应用模型注：在模型设计以及构建的过程的同时，针对系统的开发标准、模型的构建标准、使用标准、扩展规范、应用设计规范、命名规则、使用规约等一系列的标准规范及规约并行定制，并逐步的完善。主题域逻辑模型基础数据模型（原子层）基础数据模型（汇总层）对象原子化共享对象唯一化原子对象物理化物理对象存储化存储对象来源化关键模型业务化原子模型分子化数据粒度汇总化应用需求模型化应用模型技术化多维模型关系化星型模型共享化共享模型来源化应用模型数据模型建设19我们的数据模型建设方案：1.模式选择：星型模型与3NF模型有机结合星型模型：解决主题分析、KPI等应用；3NF模型：解决Ad-Hoc等应用；2.建设方式：采用需求驱动方法进行建设。星型模型+范式模型业务需求驱动方法有效管理+优秀团队企业数据仓库数据模型建设20逻辑数据模型建设完备性和方法，决定数据模型适应业务变化的能力范式逻辑数据模型建设：21数据模型建设逻辑数据模型建设完备性和方法，决定数据模型适应业务变化的能力范式逻辑数据模型建设：22数据模型建设保持维度的一致性、完整性、灵活性是维度模型建设成功的关键维度数据模型建设：集团业务范围产品类别部门客户区域渠道业务类型客户属性供应商…维度总线时间产品贡献分析事实表渠道贡献分析事实表资产负债分析事实表代理分析事实表风险分析事实表客户贡献分析事实表产品分析事实表市场竞争分析事实表利润分析事实表市场细分分析事实表销售分析事实表财务分析事实表供应商分析事实表渠道分析事实表以事实表为基础的数据集市插件…安全控制日志控制指标目录采集控制任务流程EnterpriseDataWarehouseSystemControlInformation控制表群以维度为寻址总线数据管控应用框架项目实施工艺项目实施步骤咨询实施公司简介数据中心建设方案产品功能模块介绍相关项目经验介绍我们的优势26主题专业查询、自助查询中国式报表及平衡校验多维分析及分析报告仪表盘移动应用后台管理（任务调度、分发、元数据）二次开发和集成公司简介数据中心建设方案产品功能模块介绍相关项目经验介绍我们的优势27主题银行ODS系统案例企业经营分析平台项目案例企业业务数据中心案例28中国电信EDW-增值业务运营数据中心建设方案目录平台可移植性2总体方案介绍3关键技术介绍4成功案例介绍5数据分析支撑工作方案6实施方案和平台发展方向7建设目标与重点129

公司研发实力形成了成熟的研发体系，具备快速反应及持续开发的能力在电信业务技术规范研究领域处于国内领先地位，编制标准与规范近15项国家专利2项，软件产品登记数13个，计算机软件著作权登记数9个，自主研发产品获多项国家级，省、市级和中国电信级奖项30规范管理专业实验室3G实验室增值业务实验室数据多媒体实验室软件评测实验室产品与中国电信广东研究院战略合作公司人才、技术优势开发知识库公共组件库技术规范质量控制业务优化UI设计以RUP指导项目管理、软件开发过程通过CMMI3级评估核心业务管理支撑系统(MSS）业务支撑系统(BSS）运营管理系统(OSS)业务交互平台行业应用产品质量控制

公司产品与服务31IP移动固定网络MSSOSS系统集成BSSEDA主机集成网络集成SAP二次开发计费帐务与结算IBSS/CRM余额管理平台宽带后台统一充值VC服务开通iSPPUMCCTMASODS增值业务平台转型业务平台统一支付移动支付DACS统一认证商企平台号百平台114搜索导航全球眼(手机全球眼)平安城市商务领航行业应用商务领航平台应用商务领航咨询服务视频监控自助建站数字校园IT监控金视通协同办公系统SAP实施咨询ICT业务与产品3G移动应用号百定制终端校园定制终端政企定制终端任翼行院线通演出票火车票生活搜订酒店框架桌面火讯影视音乐游戏词典QQ天气预报动漫图铃邮箱浏览器企业总机手机搜索189邮箱业务交互平台MBOSS本期项目建设目标本系统关注中国电信所有全国级增值业务的运营分析，实现原始业务运营平台系统的数据采集、数据整合和聚合。提供对用户消费行为、业务推广情况、SP/CP分析监控方面的应用，并实现跨业务、跨平台的融合分析，为增值业务的深度运营提供支撑。32本期项目建设重点技术方面信息组装与个性配数据质量的全程把控知识库的构建系统间互动加强流程的穿越数据运营的理念渗透到系统的技术实现中多维分析跨业务、跨平台融合业务分析对于业务运营全方位的支撑逐步增强构建基于云计算的数据平台实现增值业务统一数据视图技术方面数据质量的全程把控业务方面KPI、综合查询、报表分析33目录建设目标与重点1总体方案介绍3关键技术介绍4成功案例介绍5数据分析支撑工作方案6实施方案和平台发展方向7平台可移植性23435平台可移植性说明层次产品名称适应软件平台适应硬件平台开发语言备注数据获取Informaticawindows/linux/unix等HP/IBM/DELL等JAVA第三方ETL产品数据存储EDW与平台无关与平台无关JAVA\PROC第三方产品DM与平台无关与平台无关JAVA\PROC第三方产品ORACLEwindows/linux/unix等HP/IBM/DELL等JAVA第三方产品[注:ORACLE和IBMDB2二者选一]IBMDB2windows/linux/unix等HP/IBM/DELL等JAVA第三方产品[][注:ORACLE和IBMDB2二者选一]数据应用BIwindows/linux/unix等HP/IBM/DELL等JAVA第三方BI产品IDAPwindows/linux/unix等HP/IBM/DELL等JAVA自主研发产品(自助取数)Tomcatwindows/linux/unix等HP/IBM/DELL等JAVA开源平台数据展现Portalwindows/linux/unix等HP/IBM/DELL等JAVA自主研发产品1)第三方软件（Informatica、Oracle、DB2、BI等）不直接依赖于具体的硬件平台、操作系统和特定的数据库；2)自研产品（Portal、IDAP、EDW、DM）是基于JAVA开发的，具有跨平台性；目录建设目标与重点1平台可移植性2关键技术介绍4成功案例介绍5数据分析支撑工作方案6实施方案和平台发展方向7总体方案介绍336数据采集：从NMSC、集团IT系统、全国接入及管理网管系统及全国和各省增值业务平台采集相关数据。

数据存储：对以上各数据源的数据经过清洗、转换，按照各数据域主题组织、存储，成为决策分析应用的基础。数据应用：从业务运营全流程的各个环节提供相关应用分析，为增值业务的深度运营提供全面的数据支撑。数据展现：为使用人员提供统一门户，通过报表、图形等形式简便、快捷地访问系统中的各种数据并进行各种分析预测操作。总体方案介绍-总体架构3738总体方案介绍-功能架构总体方案介绍-设备逻辑架构VAS-ODMS基于PC云解决方案云内云外灵活部署、安全且易于扩展；采用数据按需服务思想，原始文件进去，分析报告出来；UNIX小型机按处理能力分成2个硬件分区，分别部署数据库和接口服务器，两台构成集群环境；多个PC服务器构成云计算环境，提供ETL数据整合服务和应用分析展现服务。总体方案介绍-设备逻辑架构-云计算PC云逻辑架构VMWARE虚拟化物理PC，构造多虚拟节点群，建议按1:2虚拟化；虚拟节点部署ETL、OLAP、REPORT、应用平台程序；配置ETL和应用平台软件，构成集群和高可用性能力；根据数据处理规模，配置8个虚拟节点构成计算云，4个集群，4个高可用性；根据系统用户和应用规模，配置6个节点构成应用云，实现负载均衡；可选用一台未作虚拟化PC，作为云计算管控平台及部署其它管控平台。41总体方案介绍-应用分布式架构LoadBalancingRedundantCluster作为应用集群请求指派，并根据应用节点访问压力的大小进行负载均衡；LoadBalancing分为主从两个实例，以备在运行的实例出现问题是可由后备实例接管；ApplicationServers包括Web应用、报表服务、OLAP服务等，都以冗余的方式进行分布式部署；DatabaseRedundantCluster冗余部署数据库。42总体方案介绍-设备部署架构分项设备型号配置要求数量数据库/接口服务器HPRX8640同档分区一：16c64G（100万tpmc）分区二：4c16G（20万tpmc）2应用服务器HPBL685c同档每台刀片服务器配置:4CPU(4Core)/64G内存/2*146G硬盘(其中4台刀片安装RedHat企业版5.3操作系统,另外4台安装windows2008server系统)8SAN交换机HP8/24SANSwitch同档24口光纤交换机2磁盘阵列HPEVA6400同档25T容量1磁带库HPMSL8096同档5个LOT4驱动器，55T容量,MSBF:200万次MTBF:100,000小时1防火墙华为1000E-U2同档每台配置4个多模GE光口2核心交换机华为9303同档每台8个多模GE光口，24GE电口2PC台式机普通PCIntel酷睿2代1.86GHz或以上，双核处理器，2MB缓存或以上；4GB或以上；320GB高速硬盘；19”LCD；32速DVDCOMBO；10/100/1000MB自适应以太网网卡2数据库ORACLE10g或DB2数据库(2cpulicenses)forRAC1Windows操作系统WinSvrEnt2008R2CHNSOLPNLwindows操作系统,25个CAL（连接许可License）6Linux操作系统RedHat企业版5.3Linux操作系统(4cpulicenses)4OLAPServerSQLSvrStd2008R2CHNSOLPNL1ProcOLAPServer,提供多维存储和OLAP操作底层支持1报表工具biV6.0OLTP和OLAP的前端报表应用和分析展示工具及门户平台1ETL工具InformaticaPowerCenter8.6ETL工具,数据集中整合、转换、清洗和装载1虚拟化软件Vmware虚拟化软件1备份软件HeartsOneBackupEnterpriseEditionV8.0备份软件1杀毒软件McAfee防病毒软件6WEB中间件Tomcat6.0Web应用平台（免费）1目录建设目标与重点1平台可移植性2总体方案介绍3成功案例介绍5数据分析支撑工作方案6实施方案和平台发展方向7关键技术介绍443关键技术介绍-数据模型44数据模型采用分层架构，分为缓存层、整合层、汇总层、视图层、应用层，元数据层对整个数据生命周期进行管控。关键技术介绍-Informatica(体系架构)RepositoryServicesGlobalRepositoryLocalRepositoryMetadataDirectoryEngineVisualizationServerPowerCenterRepositoryClientToolsDesignViewManageXML,Messaging,

andWebServicesPackagedApplicationsRelationalandFlatFilesMainframe

andMidrangeInformaticaDataIntegrationPlatformProviderXML,Messaging,

andWebServicesPackagedApplicationsRelationalandFlatFilesMainframe

andMidrangePortals,Dashboards,

andReportsConsumerIntegrationServiceUNIX(AIX,HPUX,Solaris,Linux)WindowsNT4.0,2000,2003DesignerNavigatorMetadataDiscoveryCollaborationToolsWorkflowMonitorDashboardsMetadataReporterVisualizationToolsRepositoryManagerMetadataAnalysisAdministrationConsoleWorkflowManagerPowerExchangePowerCenterConnectsSAPBWServiceWebServiceHub45关键技术介绍-Informatica(接口采集)抽取预处理加载NMSC网管WAP平台189平台工作流集中调度46关键技术介绍-Informatica(ETL工作流)47关键技术介绍-Informatica（网格）48关键技术介绍-Informatica（网格）通过ETL集群向导，对虚拟化出的四台ETL服务器进行网格化，设计集群服务。49关键技术介绍-Informatica(分区并向)50目录建设目标与重点1平台可移植性2总体方案介绍3关键技术介绍4数据分析支撑工作方案6实施方案和平台发展方向7成功案例介绍55152成功案例介绍－广东电信省ODS－总体介绍数据质量CRM系统计费系统结算系统ETL汇总数据域临时缓存域数据共享和数据访问域ODS核心层源系统映射层DM层(C网集市、各中心数据集市)EDW营销分析(整合TMAS和CMMS的统计功能)专题分析主题分析KPI统计报表渠道分析智能取数数据门户接入……ODSEDW用户资料数据量：支持全省5000万用户（含C网）；数据存储量：ODS15T左右；EDW40T左右；数据处理量：每天处理18000万条左右记录数，以提供管理层每日快报、关键业务日监测表等应用每月处理数据量：5亿条左右记录，在用功能点超千种：每月8日12点前提供管理层运营分析会材料－信息月报（白皮书共326张，其中业务量白皮书：193张，收入白皮书：133张）每月5日12点前完成全业务指标体系统计（统计指标：361299个，其中移动：111701个，固网：249598个）每月5日12点前整合全省BSS核心系统业务数据，为业务部门提供全省统一口径的固定报表及动态报表展示，提供全省统一报表658张，其中电定报表131张；多维分析主题共102个，其中移动：38个，固网：64个实用情况：每日点击率达到2万以上；报表日均访问次数：850次，高峰期报表日访问1713次，日均多维点击500人次；接口：对外系统接口有30个左右；成功案例介绍－广东电信省ODS－每日快报5354成功案例介绍－广东电信省ODS－管理层看数55成功案例介绍－广东电信省ODS－多维分析56成功案例介绍－广东电信省ODS－关联钻透分析57成功案例介绍－广东电信省ODS－多维分析58成功案例介绍－广东电信省ODS－元数据搜索59

客户关怀客户维系客户挽留数据仓库／客户集市闭环流程效果评估目标筛选方案审批营销执行策划执行客户理解数据集中方案设计脚本设计模型应用定义问题数据准备模型构建成功案例介绍－针对性营销及维系挽留系统－闭环流程根本上解决了分析决策与市场营销不畅的问题，业务分析/人工挖掘的有价值知识，能直达渠道一线，形成营销/维系具体工单，并跟踪评估，持续完善，实现“精准营销”。截至目前已完成移动/宽带客户细分、流失预警、欠费提醒、交叉销售、价值提升等多个模型，并在广东全省推广，均取得较好效果。60成功案例介绍－针对性营销及维系挽留系统－功能架构省维挽系统由客户挖掘、营销策划、工单流转和营销评估四个功能域组成客户挖掘和营销评估功能域由EDW系统实现营销策划、工单流转、客户管理、工作支持、营销共享池在省维挽系统实现在EDW系统上实现的功能，界面最终集成到省维挽系统，保证客户经理的使用感知61成功案例介绍－针对性营销及维系挽留系统－工作界面管理人员首页重点展示：团队任务、团队绩效指标VIP客户经理首页重点展示：待办工单、客户分布、个人绩效指标62成功案例介绍－针对性营销及维系挽留系统－价值提升模型我们面临的价值问题客户价值象限？客户潜在价值如何？如何提升客户价值？有哪些手段？能否提供高潜在价值客户名单和提升建议？能否提供当前高价值客户名单和关怀建议？价值提升模型能做什么模型分析报告会给出当前客户当前价值、客户潜在价值，客户价值象限分布；提供高潜在价值客户名单，并给出价值提升建议；提供高价值客户名单，并给出延长高价值建议；模型必备条件价值业务理解，给出当前价值、潜在价值业务定义；客户价值相关数据：基本资料、业务使用、客户出账、行为活跃趋势；63成功案例介绍－针对性营销及维系挽留系统－价值提升模型模型关键变量基础变量（输入）在网时长城乡标识服务分群会员级别服务等级行业分类套餐档次是否融合套餐余额积分衍生变量（输入）消费水平语音ARPU均值、趋势增值ARPU均值、趋势上网时长均值、趋势电信产品种类电信产品个数新业务接受度客服咨询次数异网ARPU均值、趋势短信发送次数、趋势彩信发送次数、趋势特征变量（输出）价值象限价值敏感度特征描述提升建议＋＝常用算法

Kohonen、Kmeans、时间序列64成功案例介绍－针对性营销及维系挽留系统－价值提升模型惠州政企客户价值提升模型根据“物以类聚，人以群分”的思想对惠州政企客户进行聚类；对客户价值象限进行分区，结合每象限客户使用业务的排名进行业务推送；政企客户经理根据目标客户名单和推荐列表展开提升工作；产品名称推荐群数推荐客户数互联星空371643企业信息上网服务321581查询转接301414CENTREX群组411400企业邮箱＋网络硬盘套餐261307企业总机311247工商电子黄页会员221224宽乐通信16779商务领航产品系列7531模型应用应用效果客户维系后，成功推荐产品的比例达到45％，大大提升营销效果客户价值平均ARPU上升了28％，效果明显；65成功案例介绍－东莞电信云CRM－总体介绍关键创新点1.云端服务提供模式，用户无需服务器，实现SaaS(软件即服务)，用户只需简单操作即可开户使用2.云计算可租赁服务模式，虚拟化资源，实现按需使用，资源合理分配3.可容纳百万级以上用户数据，具备高可扩展性、可用性及容灾性4.瘦客户端，用户可以通过普通廉价PC接入使用，同时提供手机终端应用，实现移动办公。66成功案例介绍－东莞电信云CRM－逻辑架构

为中小商企提供更好的服务提高用户粘性体现并发挥固定电话、宽带、手机移动终端三者结合的优势，提高竞争力合理营运模式下可直接增加营收通过增值服务增值为完善物联网提供补充，并从中获得更大价值67成功案例介绍－东莞电信云CRM－关键技术分布式文件系统TOMCAT集群数据库集群68成功案例介绍－东莞电信云CRM－示例目录建设目标与重点1平台可移植性2总体方案介绍3关键技术介绍4成功案例介绍5实施方案和平台发展方向7数据分析支撑工作方案669数据分析支撑工作方案专题分析支撑临时取数支撑临时报表临时数据提取临时数据统计分析完善数据模型完善数据源完善分析主题数据挖掘支撑运营分析支撑WAP业务分析声讯业务分析政企客户分析融合套餐推荐客户细分业务流失分析业务异动分析为客户提供从临时取数到数据挖掘的全方位现场支撑70目录建设目标与重点1平台可移植性2总体方案介绍3关键技术介绍4数据分析支撑工作方案6实成功案例介绍5实施方案和平台发展方向771实施方案和平台发展方向－项目维护支撑保障最终用户现场支持研发工程师安装调试备件替换现场技术支持远程技术支持项目技术文档设计远程登录解决故障远程系统性能评测支持工程师现场工程师72实施方案和平台发展方向－平台发展演进73

搭建基于云计算的数据平台;形成增值业务统一数据视图;提供对用户消费行为、业务推广情况、SP/CP分析监控方面的应用;实现跨业务、跨平台的融合分析。2010VAS-ODMS1.02011提升数据质量丰富业务功能引入数据集市建立数据仓库信息门户VAS-ODMS2.02012使用人员将逐渐从领导层扩展到关键营销人员和一线营销人员;通过客户分析及运营的建设，提升精确化营销能力；将信息沉淀为知识，强化知识库建设；实现深入的数据挖掘和全面分析应用，并最终实现对企业战略、商业策略、运营管理的全面支撑。全程精确化营销

进一步丰富数据源，奠定企业级数据仓库基础;建立信息门户，实现与OA门户对接，扩展系统使用范围;深化数据集市应用，提升专项业务应用能力;完善经营分析数据质量管理系统，提升数据管理能力;建立系统调优机制，优化系统性能.基础框架架构数据仓库专业数据集市信息门户数据质量深入业务流程强化知识建设VAS-ODMS1.574华夏银行ODS系统Agenda四、

ETL总体设计二、系统总体架构设计三、数据模型设计系统调研目标系统建设现状系统调研成果一、系统信息调研系统调研工作目标总体目标：通过对华夏银行现有IT数据环境的各方面的调研工作，充分理解项目需要实现的各项业务需求；掌握核心、信贷等关键系统的建设现状，数据流向与系统间的关联关系；对样本数据进行数据质量探查分析，了解各系统的数据质量情况。信息调研数据抽取平台作为本项目的主要数据源，调研了解数据抽取平台的总体建设情况数据抽取平台中已经完成了部分客户信息的整合，需要对其进行详细的调研和理解调研各个业务系统的建设情况，了解业务系统的架构、功能、模型、数据字典，特别是涉及到客户信息的系统，作为重点调研对象数据质量调研针对业务系统中的关键表、客户的相关表进行。其它表的数据质量不作为本项目数据质量调研的重点通过对数据质量的数据的完整性、一致性、合法性、唯一性等多方面进行探查，了解源系统各表的数据质量情况，并为后续ODS模型设计提供依据数据抽取平台现状数据抽取平台现有应用软件体系总体数据分布情况当事人账户产品事件协议黄金系统基金系统电子国债系统TPOS系统支付宝系统三方存管系统理财系统银保通系统信贷管理系统核心系统黄金系统基金系统TPOS系统三方存管系统理财系统信贷管理系统核心系统bancslink系统对公客户核心系统个贷核算和公积金系统信贷管理系统核心系统黄金系统基金系统TPOS系统理财系统银保通系统核心系统电子国债系统资金业务系统三方存管系统个贷核算和公积金系统信贷管理系统核心系统黄金系统基金系统电子国债系统TPOS系统电话银行系统金融IC卡系统核心系统黄金系统基金系统资金业务系统金融IC卡系统信贷管理系统电子国债系统资产负债管理系统TPOS系统三方存管系统理财系统银保通系统个贷核算和公积金系统核心系统担保资产信息资金业务系统信贷管理系统贷款产品信贷管理系统核心系统信贷管理系统核心系统渠道核心系统VIP系统财富系统电话银行系统个人征信系统企业征信系统信贷管理系统核心系统资金业务系统TPOS系统三方存管系统理财系统银保通系统个人征信系统企业征信系统个贷核算和公积金系统信贷管理系统核心系统员工中间业务机构存款产品贷款事件账户个人客户个人贷款合同卡事件理财协议签约协议对公贷款合同投资类产品信用卡渠道资金事件总账系统总账资源调研工作成果-数据质量调研数据合法性问题系统调研过程中，发现现有部分系统的表间关联关系一致性，无法直接关联保持一致，需通过复杂的处理，例如：基金系统的基金客户信息表(FUND_ACCT_CUST)的银行账号(DEPOSITACCT)，与核心系统账号的关联关系一致性检核数据一致性问题系统调研过程中，发现现有系统中存在疑似无用或者已废弃的数据。这些数据并没有做清理，导致我们在查询分析时很难判定数据的正确性，例如：黄金系统的客户信息(GOLD_CUSTOMINFO)的银行账号(BANK_ACC)数据有效性问题相同业务属性在不同系统中对应的码值和编码规则存在不一致的现象；此种现状的存在，导致业务口径不统一，即相同含义的业务属性在不同系统中的代码不一致。例如：客户的“证件类型”属性代码质量问题调研工作成果-信息调研示例示例示例示例示例调研工作成果-元数据梳理数据字典整理及加工规则Agenda四、

ETL总体设计二、系统总体架构设计三、数据模型设计系统总体架构系统数据架构系统数据存储架构系统物理架构系统网络拓扑图系统运维体系一、系统信息调研总体架构规划-目标架构源系统数据交换数据平台数据治理元数据管理数据质量管理数据标准管理统一调度监控任务调度任务监控公共应用服务访问控制层ODSDLA数据装载区应用集成访问控制统一认证多维分析用户数据挖掘用户固定报表用户灵活查询用户临时文件区数据访问SDM标准增量区FDM基础模型区GDM公共汇总区EDWDLA数据装载区FDM主题模型区GDM公共汇总区GMM公共集市区数据服务数据服务接口数据交换平台ETL管理应用集市分析类应用风险管理类灵活查询固定报表数据挖掘Dashboard多维分析客户分析类监管报送类准实时类应用风险监控KPI监控历史数据归档准实时数据处理批量数据处理核心系统外围系统管理信息系统MDM系统（ECIF）操作类应用数据下发历史查询稽核|审计总体架构规划-数据交换数据交换模块主要实现数据平台的数据抽取功能数据抽取的方式包括主动抽取与被动提供2种方式数据的主动抽取通过数据服务平台连接业务系统主机/备机，进行数据的获取数据的被动提供，是源系统将数据按照统一的接口规范生成后，将数据提供到数据获取层临时文件区总体架构规划-数据平台数据平台模块包括ODS、EDW、数据服务3个子模块ODS主要负责数据的增量剥离，数据的清洗与转换，对公共汇总数据进行轻度的加工，保留最新数据EDW主要负责数据的整合，对公共汇总数据的复杂加工与深度汇总，范式化存储，保留长期的数据数据服务包括来自ODS、EDW的公共服务接口；提供历史数据的归档；并提供数据的分发服务总体架构规划-数据应用基于数据平台能够提供公共应用服务，包括灵活查询、固定报表等分析类应用模块包括应用集市、准实时类应用及原始交易类应用操作类应用服务包括总、分行的数据下发服务和外部监管数据提供服务应用的数据访问可以来自自身集市，也可以来自数据服务接口总体架构规划-其它层次访问控制层，对各类应用集市进行集成，对用户的角色和权限进行统一的控制，并实现统一的认证系统内包括元数据、数据质量的管理，结合行内数据治理的需求，进行规范和处理系统内采用统一的调度监控平台，对整个平台以及应用集市系统中的任务进行统一的调度，统一的管理和统一的监控系统总体架构-过渡架构源系统数据交换数据平台数据治理元数据管理数据质量管理数据标准管理统一调度监控任务调度任务监控公共应用服务访问控制层ODSDLA数据装载区应用集成访问控制统一认证多维分析用户数据挖掘用户固定报表用户灵活查询用户临时文件区数据访问SDM标准增量区FDM基础模型区GDM公共汇总区EDWDLA数据装载区FDM主题模型区GDM公共汇总区GMM公共集市区数据服务数据服务接口数据交换平台ETL管理应用集市分析类应用风险管理类固定报表数据挖掘Dashboard多维分析客户分析类监管报送类准实时类应用风险监控KPI监控历史数据归档准实时数据处理批量数据处理核心系统外围系统管理信息系统MDM系统（ECIF）操作类应用数据下发历史查询稽核|审计数据抽取平台灵活查询数据交换系统数据架构-过渡架构数据源ODS数据装载区（DLA）核心系统信贷系统总账系统新网银……国际结算信用卡……数据交换平台应用集市对公CRM应用集市核心系统信贷系统总账系统新网银黄金……基金标准增量区（SDM）核心系统信贷系统总账系统新网银黄金……基金基础模型区（FDM）贷款存款中间业务总账客户渠道交易银行卡公共公共汇总区（GDM）客户主题账户主题机构主题数据服务接口（DSI）对公CRM数据服务接口数据抽取平台数据备份区文件预处理区（PRE）数据存储集市应用层系统数据存储架构源系统核心系统数据交换文件预处理ODS数据装载区标准增量区基础模型区公共汇总区CRM风险应用集市其它应用集市信贷系统总账系统FlatFile,XML,xls数据存储以数据库为主数据保留时间与源系统应用相关数据交换以文本形式存储从源系统获取的文件建议保留15天文件预处理层的文件建议保留15天数据装载区以数据库形式存储，按数据日期建表，数据暂存，保留15天标准增量区以数据库形式存储，数据暂存，保留1天基础模型区以数据库形式存储，建议保留31天公共汇总区以数据库形式存储，建议根据应用需求，保留1-3年数据分发区以文本形式存储，建议保留15天数据分发区数据库形式存储数据保留时间与应用相关数据抽取平台系统技术架构系统物理架构外汇卡…其他数据文件数据文件数据文件ODS数据库服务器基础、汇总区ODSFDMGDMSDMDLAETL服务器ETL

调度服务器预处理区(PRE)备份数据区存储周期（15天）存储周期（1年）数据抽取平台接口文件落地区存储周期（15天）DSI数据交换平台系统网络拓扑图直连光纤网络管理终端HAETL服务器调度服务器备机路由器&防火墙生产网段系统监控注：

1.由于服务平台涉及到大量的数据传输，系统内部服务器联接建议光纤直连；磁盘阵列RACDB服务器DB服务器备机系统运维体系系统监控管理系统维护管理备份恢复管理故障切换管理性能容量规划运维安全管理Agenda数据模型层次关系模型主题划分客户主题模型设计客户视角360度视图四、

ETL总体设计二、系统总体架构设计三、数据模型设计一、系统信息调研数据模型-数据模型层次ODS公共汇总区基础模型区标准增量区账户客户公共汇总区共享的，面向汇总的针对各种应用常见的汇总需求进行总结提炼以基础模型区数据加工汇总而成通常针对账户、客户、机构的视角进行汇总，是冗余的基础模型区共享的，面向主题不为支持某个特定的、预先定义的应用设计是ODS的基础数据数据结构与源系统基本保持一致，适当增加属性进行扩展保留系统最新的数据，并根据应用需要存储一定时间段的数据，部分冗余机构模型主题划分原则模型主题划分原则六、各模型层次的主题可根据实际情况划分二级主题五、基础数据层主题划分为：存款、贷

款、银行卡、客户、总帐、中间业务、渠道、交易、公共。四、不同的数据层次，由于其业务关注视角不同，其主题划分的结果可以不同。一、根据关键业务要素或业务关注视角及他们之间关系划分。二、通过抽象银行业经营活动中的要素及要素之间关系的形式划分。三、公共汇总数据层的主题划分则是基于业务共性需求。基础模型主题划分客户主题模型设计客户主题模型设计-个人客户公共汇总层模型设计-客户360度视图客户主题覆盖数据范围客户基本信息主要包括客户基本属性信息及扩展信息。基本属性信息涵盖的数据范围有客户名称、客户编号、客户归属机构、客户证件类型等信息客户-产品信息主要包括客户持有产品情况，涵盖的产品数据范围有存款、贷款、基金等信息客户-渠道信息主要包括客户与银行发生业务交易的渠道信息，涵盖的渠道数据范围有网上银行、电话银行、B2B等信息客户主题覆盖数据范围划分客户基本信息汇总客户-产品汇总客户-渠道汇总主要汇总对公、对私客户基本属性信息及扩展信息主要汇总客户持有产品情况信息主要汇总客户与银行发生业务的各种交易渠道信息Agenda四、ETL总体设计二、系统总体架构设计三、数据模型设计一、系统信息调研ETL架构设计ETL数据处理ETL调度监控ETL数据质量控制ETL接口设计ETL备份恢复策略ETL总体设计-逻辑架构ETL过程描述ETL1本层实现数据抽取加载功能，支持数据库直连抽取和源系统提供文本文件加载方式，文件接口遵循统一规范，同时会根据实际处理己知的其他文件规范。ETL2本层实现对需要增量处理的数据增量驳离，并对增量/全量数据进行数据清洗和代码转换操作。ETL3针对不同类型的数据采用不同数据加载方式，包括：全表全量加载、按日期全量加载、增量更新加载、历史拉链加载以及逻辑处理加载五种方式。ETL4对各大业务主题的数据根据汇总层的要求，实现数据的关联、拆分、筛选、汇总处理。ETL5建立统一接口，根据需要以视图方式开放数据访问权限给其他系统访问。ETL过程数据加载数据清洗数据转换ETL设计-增量剥离数据加载增量剥离数据存储判断增量数据的方法：源系统定义一个数据被更改的标识（时间戳）整表比较加载表与历史全量表来判断增量数据通过分析源系统数据库的日志来判断增量数据对源系统提供的增量/全量数据文件进行加载识别增量数据并保持15天数据获取区数据加载区标准增量区基础模型区公共汇总区ETL设计-数据清洗与转换符合清洗和转换规则的数据加载到辅助数据表中，无法进行清洗时，程序记录出错详细信息将数据源字段根据数据映像表的转换规则，即代码进行转换，并对空字段赋予适当的缺省值，形成规整的数据结构。ETL数据处理矩阵

表类型分类缩写PREDLASDMFDMGDM处理方式全量加载方式S-★-★-清空目标表，全表导入加载；按日期增量加载方式H-★-★-按时间戳清除再加载增量，在MAPPING中需要注明主键字段；目标表按日期字段进行清除处理时间上的数据，再进行插入数据；增量更新方式M-★★★-对于源提供增量接口数据，通过比较出变化的数据，进行目标表更新处理，对于源提供全量接口数据通过对全量数据进行比对，得到新增、修改的信息并对目标表进行相应处理；拉链加载方式L-★★★-该类型的数据表的特点是在原业务数据的基础上增加2个字段（begindate,enddate）,begindate,enddate之间的日期表示该数据的有效期。逻辑处理加载方式D---★★该类型的特点是需要对一张或多张原表进行拆分、合并、分区等逻辑处理，无法固定加载方式，需要根据时间业务需要灵活设计。注：

★：表示该类数据在此层处理，

-：表示该类数据在此层不处理ETL任务划分原则以数据层次、源系统、表作为作业划分的最小粒度预处理PREP02文本加载作业P01预处理作业数据加载DLAD01数据抽取作业D02数据卸载作业标准增量SDMS01增量剥离+清洗转换作业S02清洗转换作业基础模型FDMF01全表全量加载作业F02按日期全量加载作业F03增量更新加载作业F04历史拉链加载作业F05逻辑处理加载作业公共汇总GDMG01逻辑处理加载作业其他作业OTHERO01控制作业O02备份作业G02更新接口作业ETL作业翻牌策略作业流分为抽取类、基础类、汇总类；抽取类作业流以为数据或文件为依赖，事件触发调度，独立翻牌；基础类作业流以源系统为单位，进行小翻牌，各源系统相对独立，降低关联影响；基础类作业每个处理过程包括PRE、DLA、SDM、FDM（视具体情况，各处理层不是全部必选）汇总类作业流存在一些数据整合、转换、关联的处理，会依赖FDM层多张数据表加载，单独一个作业流处理，根据FDM层数据准备和前一天的处理情况，进行大翻牌抽取类翻牌表1表2表3表4…基础类翻牌核心系统日期信贷系统日期总账系统日期理财系统日期其他系统日期汇总类翻牌汇总层日期表5ETL监控ETL数据质量检查策略数据加载区标准增量区基础模型区公共汇总区ODS确保ODS在数据处理的各环节保证数据的一致性、准确性、完整性数据汇总

准确性：数据核对，确保指标计算的准确性检核；数据整合

一致性：通过对货币/核算码/统计代码等检核，确保数据转化后的一致性；

完整性：设置主/外键等约束，确保数据完整；准确性：设定不同的增量识别规则，相互校验，确增量保识别准确；

文本加载

完整性：数据记录数、字段数统计，检查数据是否完全加载；有效性：重要信息项设定检核规则（如：身份证号码15或18位），

确保数据有效性；数据获取区

文本预处理

文件级：检查数据文本名称、内容格式等是否符合标准规范要求；

记录级：检查数据文本记录的信息量是否与接口需求一致；ETL接口设计ODS数据获取->装载->整合->汇总数据标准数据质量管理元数据管理数据应用CRM-监管报送-风险管理-数据服务数据源数据抽取平台<-各业务系统①②③④统一调度监控⑤接口设计遵循易理解、易使用、易交流、方便扩展的原则;在ODS接口方案中，支持：文件型、依赖型、功能调用型以及虚拟接口四种类型;ETL备份与恢复策略

数据库日常备份采用每月在线全量备份的方式，结合文件的备份，便于出现问题时能及时恢复；每周对文本数据进行备份，保留1年，数据文本在线保留15天；在线源数据（数据获取区）在线保留15天；标准增量区在线保留1天；每月对程序进行全量备份，保留1年；备份策略：当前前一周前二周前三周前四周文件备份在线源数据数据库备份月备份周备份在线存储周备份周备份周备份ETL脚本备份月备份数据备份程序备份114中粮集团经营分析平台项目115

中粮生化能源事业部（以下简称事业部）是根据中粮集团“成为生物质能源的主要提供者、领导者，粮食生物化工的主要领导企业”的战略定位而相应设立的，是中粮集团核心业务单元之一,中国粮油(香港上市公司,代码HK0606)的重要组成部分之一。目前事业部下属及管理企业主要包括黑龙江、吉林、河北、天津、上海、安徽、广西等省份的九家工厂和一家集中销售公司，未来还将不断上线或并购若干新的项目。为了更好的利用信息化这个先进的手段，业务分析、统计、查询、报表、告警的需求迫切需要一种先进的数据仓库技术来整合事业部各个业务系统，例如财务系统、人力系统、生产系统、销售系统和报表系统等，通过抽取、转换、清洗、加载技术进行数据的梳理、口径的统一、编码的统一、标准化的建立来建设数据中心，从而为数据应用如分析、统计、查询、报表、告警甚至今后的数据挖掘提供强大的科学、可靠、准确的数据支撑。

项目背景EDW系统建设远景

基础设施

以数据为中心

以应用为中心

以服务为中心整体规划分布实施重点实施务求实效精细化管理数字管理文化业务创新管理及变革的促进信息资产EDW企业级数据仓库实施策略能力发展管理能力运营能力自我认识与发现的能力业务洞查管理变革持续管理提升敏捷成熟完备可计划可预测决策管理运营数据治理运营服务EDW整体技术蓝图实施方法论BI工具平台EDW技术平台EDW数据模型企业战略绩效管理(BSC)成本控制运营管理财务监控人力资源分析物流分析产品分析生产分析库存分析6S分析供应链分析财务分析销售分析业务策略量化应用标杆管理（PDCA)经营分析平台总体实施内容数据仓库数据集市Decision-PanelFreeQuery数据上报工具SMARTBIETLMSDTSOracle9iMSAnalysisServices前端展示平台系统资源管理、系统配置数据管理、系统权限管理、系统界面布局高级管理层决策仪表盘多维分析业务管理层业务操作层综合查询企业报表数量统计经济分析模型监控及预警数据挖掘EXCEL导入ETL技术数据仓库技术J2EE架构元数据管理技术SOA架构XML\WEBServices数据仓库方法论数据治理方法论数据存储技术PORTAL技术经分功能框架经分技术架构经分应用框架财务销售库存生产物流人力资源经营分析平台总体技术架构源系统层ETL层ODS+DWETL层数据集市层应用层展现层外部数据清洗合并转换..转换MESEXCEL……用友U8用友NCReportMartQuerytMartdecisionMartalarmMartminingMart……企业报表信息门户应用发布电子地图监控预警数量统计经济分析数据挖掘虚拟雇员发布及展现&领导决策平台DWODS业务系统直接抽取

系统管理平台数据源元数据管理技术元数据商业元数据管理运维管理平台应用安全管理系统监控管理ETL技术数据仓库技术J2EE架构元数据管理技术SOA架构XML\WEBServices数据仓库方法论数据治理方法论数据存储技术PORTAL技术数据管理区应用服务区系统管理区数据仓库服务器OLAP/ETL服务器应用服务器元数据管理工作站磁盘阵列业务主机决策领导层管理人员中心交换机路由器&防火墙(内部网)各分厂用户ETL过程事业用户数据上传用户管理人员管理应用层VPN/InternetIntranet/Internet经营分析平台系统物理构架移动用户建立事业部与利润点的信息专亨通道分厂或外部数据上传用户肇东数据上传前置机配置目录FTPServer榆树公主岭广西……数据上传用户管理人员数据导出打包文件数据加密文件上传安全认证文件安全性验证数据完整性验证目录管理打包文件命名规范文件打包规范文件目录规范数据加密规范数据上传规范安全及认证管理VPN/InternetETL综合分析系统数据处理服务器文件还原解密各分厂及其它远程数据上报单位生化能源事业部本部FTPEDW