企业数据治理方案：数据仓库统一数据分析系统建设方案

企业数据治理方案：数据仓库统一数据分析系统建设方案（PPT）整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行2023年统一数据分析系统整体功能架构传统财务报表全成本评价报表业务财务一体化报表数据挖掘明细凭证订单合同工程项目网络规划与设计数据价值创造一本账一套表生产类系统管理类系统（MSS）网络运维类系统(OSS)业务支撑类系统(BSS)……项目管理采购管理合同管理报账管理人力资源管理ERP核心系统一点采集、一点处理、一点推送业务系统数据整合数据架构数据标准数据模型ETL平台中间件服务器数据映射数据加工数据质量采集阶段管控加工阶段管控发布阶段管控元数据管理技术元数据业务元数据数据表现报表引擎图形引擎数据安全数据集市语义层分析应用流程调度云化省公司集团管理层集团高层地市公司安全认证用户

认证属性

授权整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行分析应用功能架构（固自）报表固化专题应用OLAP（70%）数据挖掘指标支撑立方体（高粒度）立方体（中细粒度）立方体（细粒度）CubeCubeCube旋转切片汇聚Cube数据集市平台指标化维度指标体系21钻取DWA宽表/视图/文件维度聚合DWA层为数据集市稳定的基础支撑层数据集市包括中细粒度数据立方体、高粒度数据立方体，可在不同形式的应用之间共享，关注立方体的复用性通过数据集市+平台，从“应用+应用”模式专项“平台+应用”模式，为系统的可持续性发展夯实基础指标立方体统一访问入口门户集团省分地市数据仓库-数据分层原则运营数据存储层(ODS)数据仓库（DWD）数据仓库(DWA)面向主题的、集成的、稳定的，随时间变化的数据集合，满足当前及未来一定时间内企业范围内的决策与分析需要；在DWD层数据基础上建立的轻度汇总的基础数据层，灵活支撑DM层建设，满足当前及可预期的分析需要；DM的基础支撑层采用3NF模型，遵循生产系统数据模型；采用3NF模型；采用维度模型，建议星型、雪花模型；基于生产系统数据进行预处理，业务操作级数据；实时、近实时、日及以上频度日及以上频度；业务交易级数据粒度，具备时间标示；核心业务ID级轻度汇总数据；抽取频度数据粒度模型特点分层定位数据集市（DM）面向部门或业务单元支撑分析、查询应用，满足当前及可预期的分析需求；DW层逻辑或物理的子集，保证数据源的统一性，数据仓库DW的访问层，直接支撑应用采用维度模型，建议星型及多维模型；轻度及中高度汇总数据，根据分析需要、性能、存储保留相应粒度数据；集成的、实时/准实时的、可变的、当前的明细数据集合，作为数据仓库数据源，并支撑部分集中系统；日及以上频度；日及以上频度；4数据仓库-数据模型整体框架及整合进展财务管理子域资产管理子域采购子域库存管理子域项目管理子域人力资源子域供应商子域合同子域预算子域跨域整合公共子域总账资产卡片采购需求库存组织项目信息组织信息供应商合同起草投资预算编制收入线时间应收账款资产台账招投标物资主数据滚动规划活动维度员工信息供应商认证合同审签运营预算编制合作伙伴线地域应付账款资产交易采购合同库存入库投资计划活动维度人工成本供应商产品合同处理投资预算执行代理商线管理主体资金账户资产折旧采购协议库存转移投资评估员工绩效供应商绩效签订盖章运营预算执行营销终端线口径资金支付、划拨、收款、计划、预测、监控、核算资产摊销采购订单库存调拨项目立项员工培训供应商审批合同履行投资预算控制其他业务线合并报表数据（部分）资产减值采购接收库存出库项目可研员工技能合同办结运营预算控制全成本数据资产签收采购退货库存盘点项目设计员工招聘合同预算检查员工报销设备信息前移物资协议现有量项目成本员工调动工程合同台账业务报账设备维修前移物资补货库存成本暂估转固员工离职运营合同台账关联交易资产盘点前移物资结算成本调整决算转固营销物资类合同台账采购审批任务信息BSS相关合同台账项目审批其他合同台账已整合明细子域待整合明细子域未来整合明细子域数据仓库-数据源系统整合进展项目管理系统采购管理系统主数据系统合同管理系统财务报账系统资金平台预算管理系统人力资源系统人力自助系统全成本管理模块合并报表系统数据仓库财务报告源系统会计核算源系统业务管理源系统ERP核心系统应收模块资产模块应付模块总账模块库存模块内部往来项目会计采购模块已整合系统待整合系统未来整合系统资产管理系统（北分）关联交易预算控制营销物资价值ODSDWDDWADM12345678910111213ERP核心系统7月份历史数据覆盖北京联通141516运营业务模型整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行数据仓库-数据质量提升演进数据源系统数据采集过程数据处理过程（STG）数据处理过程（ODS）数据处理过程（DWD）数据处理过程（DWA)数据处理过程（DM）业务规则理解数据库异常数据质量问题环节业务系统问题数据接口规范问题数据稽核规则合理性、完整性（数据层内）数据稽核规则合理性、完整性问题（数据层间）模型设计及映射问题数据库及操作系统问题数据质量问题归类组织层面（数据质量监控团队）流程层面（数据质量管理策略；数据质量问题发现、分析、分派、解决跟踪管控流程)技术层面（源系统支撑、稽核规则优化、知识库、技术平台支撑等）数据质量提升业务源系统ODSDWDDWADM发布数据仓库-数据质量保障措施稽核规则稽核作业ERP核心系统合并报表系统ODSDWDDWA数据源数据整合数据集市ETL数据采集、加载、转换作业数据采集阶段：在数据采集阶段，主要关注记录数、格式、重复值、一致性与合法性检查数据加工阶段：主要关注数据正确性与数据关联性检查，包括ODS层、DWD层、DWA层数据层内稽核与层间稽核抽样数据稽核与全量数据稽核数据发布阶段：主要关注关键指标检查，包括发布及时性、层次互验、波动DMSTG业务定义阶段：制定业务数据标准规范制定数据接口规范、数据采集策略业务规则数据规则发布规则……数据仓库-分析型模型设计方法从典型业务流程出发选定事实。具体操作时，建议以维度指标体系、报表需求等为收入，选定业务事实，并将其纳入上述典型业务流程框架。初步考虑事实包括：订单、使用、服务、营销活动、费用、收入、所有者权益、资产、负债、利润等。参考电信行业典型业务流程，以指标体系规范等、现有DWA层模型输入材料，确定事实和维度；明确维度选取原则，参考指标体系、报表查询分析需求，选定核心维度，完善属性信息。初步考虑维度包括：地域、时间、产品、业务、用户、合作伙伴等。将维度与事实相结合，确定维度与事实之间的对应关系，建立维度模型，并验证模型对现有需求的支撑度；市场营销产品开发销售客户管理客户关怀计费及采集业务提供及开通服务保障企业管理网络资源开发确定维度模型数据颗粒度。对DWA层，考虑满足分析所需的最细粒度数据，DM层满足分析所需的各级粒度数据。ETL平台数据加工流程10ETL作业整体流程ERP核心系统项目管理系统采购管理系统合同管理系统报账平台主数据平台合并报表系统全成本模块FTP绩效评价问题发现经营监控商机挖掘分析服务文件系统接口机DWD层数据仓库接口层DWA层数据封装服务数据发布数据集市数据质量管理元数据管理DBLINK11数据源系统现状调研分析，包括业务流程、数据实体、数据流向分析与源系统明确数据采集接口规范数据采集程序开发数据采集、清洗、加载入库数据仓库DWD作业调度流程设计、数据转换规则设计数据仓库DWA作业调度流程设计、数据转换规则设计对外数据服务视图、数据封装服务数据稽核及发布数据集市层作业调度流程设计、数据加工规则设计端到端数据质量稽核端到端元数据管理322456789ab分析应用如工程物资月报、往来账追溯分析等；如资产全方位查询、设备全方位查询、资产折旧预测分析等；如投资预算、成本费用预算等分析应用；管理域应用财务类应用资产类应用预算类应用如竣工决算报表、项目全字段分析等；集团统一格式的竣工决算报表等工程类应用竣工决算统一报表如项目多维分析、资产多维分析等，支撑旋转、切片、汇总等多维分析分析应用推进（第一批及第二批）培训、沟通、项目管理分析模型及集市设计数据源整合优先整合营销物资系统，满足全成本核算要求其次整合工程建设线业务系统项目管理系统采购管理系统合同管理系统建立分析模型（星型模型）分析模型需求验证数据集市模型数据集市需求验证ETL流程开发ETL脚本开发语义层开发前端应用开发门户集成属性授权应用开发系统联调测试关键用户测试最终用户培训最终用户测试支持系统管理员培训上线开发阶段上线试运行12月30日11月15日12月15日数据源整合及模型设计（第一批）9月1日分析模型及集市设计数据源整合整合其他线业务系统报账平台预算模块人力资源……建立分析模型（星型模型）分析模型需求验证数据集市模型数据集市需求验证ETL流程开发ETL脚本开发语义层开发前端应用开发门户