数据库开发流程规范

1、龙信思源（北京）科技有限公司数据库开发流程规范文件编号：序号变更记录版本修改人审核人批准人实施日期1创建1.刘艳伟2016-2-261.引言11错误!未定义书签。目的范围术语定义TOC o 1-5 h z.数据库建设2需求分析2概念模型设计3逻辑模型设计4物理模型设计5数据库实现6 HYPERLINK l bookmark4 .ETL流程开发6定义映射关系6分析数据源质量6定义数据转换规则6确定技术架构方案7ETL开发7ETL测U试7ETL优化7ETL迁移部署8运维监控8数据库开发流程规范数据库开发流程规范-源于数据，缔造价值-源于数据，缔造价值引言目的本文档是为规范数据库开发流程，指导开发人

2、员开发标准化而制定，文档涵盖数据库开发的完整过程，具体实施可以根据文档规范进行适当调整。范围本文档为数据库开发的标准流程规范涉及数据开发的多个环节，包括：数据库建设ETL流程开发数据管理演示数据库搭建业务流程图2.数据库开发阶段需求分析通过会议或者文件的形式与用户、项目经理、售前人员确认业务需求，明确系统建设的范围和边界，包含哪些功能，哪些是重点功能模块，涉及到哪些方面的数据、数据之间的关系、系统的用户量、对安全性的要求等。概念模型设计1、从业务需求中提取重要的业务数据主题例：数据主题详细解释产品信息产品相关信息销售信息销售相关信息客户信息客户相关信息员工信息员工相关信息2、在业务数据主题的基

3、础上进行数据主题域的划分例：主题域成员主题销售分析主题域产品信息销售信息数据库开发流程规范数据库开发流程规范-源于数据，缔造价值-源于数据，缔造价值客户信息逻辑模型设计逻辑模型设计的主要内容包括：1、分析需求，列出需要分析的主题，需求目标、维度指标、维度指标、维度层次、分析的指标、分析的方法、数据的来源、关注的对象等。2、选择用户感兴趣的数据，通过业务需求将需要分析的指标分离抽取出来，转化成逻辑模型需要的实体。3、在实体中需要增加时间戳，用于保存实体中各个阶段的历史数据。4、考虑粒度层次的划分。数据库开发流程规范数据库开发流程规范纬度类别日期销售地点销售产品年龄组别性别年（10）国家（15）产

4、品类（6）年龄组（8）性别组（2）季度（40）区域（45）产品组（48）月（120）城市（280）产品（240）区（880）指标预测销售量、实现销售量、预测偏差5、进行基于第三范式或星型关系模型的定义。物理模型设计物理模型设计的主要内容包括：1、实体转换为表名。2、属性名转换为列名，3、业务规则的定义，4、性能考虑，（索引，确定列的属性（字段类型）。（约束，检查等）。分区等）。-源于数据，缔造价值数据库实现通过物理模型，生成数据库初始化脚本，部署数据库，创建数据库结构。3.ETL流程开发阶段定义映射关系定义映射关系是首先确定候选数据源，之后通过分析数据源与目标数据库的结构，对数据源中的结构和目

5、标库中的结构进行映射，并将映射关系整理成数据映射关系表。分析数据源质量分析数据源质量是对数据源中的数据进行全面的质量分析，分析其中是否包含空数据、噪声数据，数据是否有不一致的情况，根据数据中存在的问题整理数据质量分析报告定义数据转换规则根据数据映射关系表和数据质量报告对数据字段进行转数据库开发流程规范数据库开发流程规范-源于数据，缔造价值换规则的设计，用于把数据源中不规范的数据通过一定的策略规则满足目标数据库的要求，并将转换规则补充到数据映射关系表。确定技术架构方案通过之前的步骤对项目的数据已经有了一定的了解，对转换的难度也有了认识，这里需要针对实际情况来选择一种数据抽取、转换、加载的方式，可

6、以是通过编码来实现，也可以是采用一直ETL工具。ETL开发使用选择的ETL工具，根据数据映射关系表设计ETL流程，实现将数据源中的数据加载到数据库中。ETL测试开发完成ETL流程需要对流程进行测试，测试数据是否成功导入，并且数据质量达到预期的要求，在这个步骤中会不断的迭代完善ETL流程，最终达到预期的目标。ETL优化根据不同的项目要求，可能会对数据的实时性或者采集周期有一定要求，针对这些需求需要对ETL的执行时间进行一定的优化，以达到需求的目标。ETL迁移部署从开发环境到生产环境的部署可能会存在由于环境不同造成的各种问题，在迁移部署过程中需要注意，根据项目需求部署定时任务，并测试可以正常调度。运维监控项目上线后，需要根据需求对ETL流程进行定期的监控，监控ETL流程是否正常运行，入库数据是否存在异常，是否出现了之前未预料到的数据错误等，针对运维的方案需要编制系统运维管理手册。3.数据管理阶段数据梳理项目完成后，需要梳理项目中的