建设数据仓库的八个步骤

大数据技术部建设数据仓库的八个步骤 2017年04月25日编制建设数据仓库的八个步骤摘要：建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用；信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题。

关键词：数据仓库元数据建设数据仓库

建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用；信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题，从数据源中抽取哪些数据。因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成，双方需要相互沟通，协作开发数据仓库。

开发数据仓库的过程包括以下几个步骤。

1.系统分析，确定主题

建立数据仓库的第一个步骤就是通过与业务部门的充分交流，了解建立数据仓库所要解决的问题的真正含义，确定各个主题下的查询分析要求。

业务人员往往会罗列出很多想解决的问题，信息部门的人员应该对这些问题进行分类汇总，确定数据仓库所实现的业务功能。一旦确定问题以后，信息部门的人员还需要确定一下几个因素：

·操作出现的频率，即业务部门每隔多长时间做一次查询分析。

·在系统中需要保存多久的数据，是一年、两年还是五年、十年。

·用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。

·用户所能接受的响应时间是多长、是几秒钟，还是几小时。

·合并不同的数据表。

·通过增加汇总表避免数据的动态汇总。

·通过冗余字段减少表连接的数量，不要超过3~5个。

·用ID代码而不是描述信息作为键值。

·对数据表做分区。

6.数据清洗转换和传输

由于业务系统所使用的软硬件平台不同，编码方法不同，业务系统中的数据在加载到数据仓库之前，必须进行数据的清洗和转换，保证数据仓库中数据的一致性。

在设计数据仓库的数据加载方案时，必须考虑以下几项要求：

·加载方案必须能够支持访问不同的数据库和文件系统。

·数据的清洗、转换和传输必须满足时间要求，能够在规定的时间范围内完成。

·支持各种转换方法，各种转换方法可以构成一个工作流。

·支持增量加载，只把自上一次加载以来变化的数据加载到数据仓库。

7.开发数据仓库的分析应用

建立数据仓库的最终目的是为业务部门提供决策支持能力，必须为业务部门选择合适的工具实现其对数据仓库中的数据进行分析的要求。

信息部门所选择的开发工具必须能够：

·满足用户的全部分析功能要求。数据仓库中的用户包括了企业中各个业务部门，他们的业务不同，要求的分析功能也不同。如有的用户只是简单的分析报表，有些用户则要求做预测和趋势分析。

·提供灵活的表现方式。分析的结果必须能够以直观、灵活的方式表现，支持复杂的图表。使用方式上，可以是客户机/服务器方式，也可以是浏览器方式。

事实上，没有一种工具能够满足数据仓库的全部分析功能需求，一个完整的数据仓库系统的功能可能是由多种工具来实现，因此必须考虑多个工具之间的接口和集成性问题，对于用户来说，希望看到的是一致的界面。

8.数据仓库的管理

只重视数据仓库的建立，而忽视数据仓库的管理必然导致数据仓库项目的失败。数据仓库管理主要包括数据库管理和元数据管理。

数据库管理需要考以下几个方面：

·安全性管理。数据仓库中的用户只能访问到他的授权范围内的数据，数据在传输过程中的加密策略。

·数据仓库的备份和恢复。数据仓库的大小和备份的频率直接影响到备份策略。

·如何保证数据仓库系统的可用性，硬件还是软件方法。

·数据老化。设计数据仓库中数据的存放时间周期和对过期数据的老化方法，如历史数据只保存汇总数据，当年数据保存详细记录。

然而，元数据管理贯穿于整个系统的建设过程中，元数据是描述数据的数据。在数据采集阶段，元数据主要包括下列信息：

·源数据的描述定义：类型、位置、结构。

·数据转换规则：编码规则、行业标准。

·目标数据仓库的模型描述：星型/雪花模型定义，维/事实结构定义。

·源数据到目标数据仓库的映射关系：函数/表达式定义。

·代码：生成转换程序、自动加载程序等。

在数据管理阶段，元数据主要包括下列信息：

·汇总数据的描述：汇总/聚合层次、物化视图结构定义。

·历史数据存储规则：位置、存储粒度。

·多维数据结构描述：立方体定义、维结构、度量值、钻取层次定义等。

在数据展现阶段，元数据主要包括以下信息：

·报表的描述：报表结构的定义。

·统计函数的描述：各类统计分析函数的定义。

·结果输出的描述：图、表输出的定义。

元数据不但是独立存放，而且对用户是透明的，标准元数据之间可以互相转换。1、培训目的1.1改善部门各级各类员工的知识结构、提升员工的综合素质，提高员工的工作技能、工作态度和行为模式，满足部门的快速发展需要，更好的完成部门的各项工作计划与工作目标。1.2、加强部门各级各类员工职业素养与敬业精神，增强员工服务意识与服务水平，打造高绩效团队，减少工作失误，提高客户满意度，提高工作效率。1.3提升部门凝聚力、吸引力、向心力和战斗力，为部门进一步发展储备相关人才。1.4锻炼员工的学习表达能力。1.5完善部门各项培训制度、培训流程以及建立系统的培训体系，实现各项培训工作顺利、有效实施。2、培训原则2.1以部门战略与员工需求为主线。2.2以素质提升与能力培养为核心。2.3以针对性、实用性、价值型为重点。2.4以项目式培训和持续性培训相互穿插进行。2.5坚持理论与实践相结合、学习与总结相结合。2.6坚持部门内部培训为重点、内训与外训相结合。2.7坚持学历性教育培训和岗位培训相结合。2.8实现由点、线式培训到全面系统性培训转变。3、培训的实施3.1培训内容的决定部门所有成员对自己要培训的需求提出建议，相关负责人收集并统计，根据统计结果，按需求量较大或需求的紧迫性来决定培训的内容。3.2培训方式分为正式培训和技术交流。正式培训需要讲师准备PPT、有关课件，利用投影等设备进行讲授，并进行培训效果考核和学员成绩考查。技术交流可不准备课件，直接采用即兴口头演讲的方式进行。3.3培训时间根据学习要求，不定期进行有关主题内容的培训。3.4讲师安排讲师实行报名制。根据部门发布的员工培训需求统计结果，选择自己熟悉或感兴趣的培训科目报名。部门经理根据报名情况决定讲师人选。3.4培训效果评估3.4.1培训后，参与人员对培训的讲师、培训的内容、总体效果等做出评价。3.4.2讲师准备10个以内的培训内容相关的试题，受训者根据培训内容来做答，经讲师批阅后整理到员工培训考核成绩表，并把成绩表交由部门经理审阅，最后相关负责人存入个人培训档案。3.5奖惩方式对于正式培训，培训完后，参与培训人员给讲师打分，根据打分情况给予讲师0、1、2、3分积分。对于技术交流，根据培训内容和效果，给予所有主要参与者0,1,2分不等的积分。参加培训者考核合格后给予0.5、1分不等积分。年终累计积分，根据积分情况给予奖励。对于年终参加培训积分不足年度部门总培训积分的80%者，给予一定的惩罚。4、培训材料 4.1员工培训签到表 4.2讲师应提前准备好培训的PPT，如果培训项目开发知识应准备好实例。 4.3培训内容相关的试题4.4内部培训效果评估表 4.5员工培训考核成绩表5、相关附件附件一员工培训签到表培训内容培训时间培训讲师培训地点培训方式考核方式应到人数实到人数缺席人数出勤率序号姓名出席时间(HH:MM)离席时间备注序号姓名出席时间离席时间备注123456123456123456123456评估项目好一般差培训总评课堂纪律学习态度讲师表达课堂氛围评估人/日期附件二员工培训考核成绩表培训内容培训时间培训讲师培训地点培训方式考核方式序号姓名理论得分应用得分序号姓名理论得分应用得分说明：员工入职培训考核分为书面考核（70%）与应用考核（30%）两部分；考核标准为：60分以下为不合格，60-700分为合格，70-80分为一般，80-90分为良，90分以上为优。附件三内部培训效果评估表部门:___________姓名:____________培训内容:___________培训时间:__________请就下面每一项进行评价，并请在相对应的分数上打“√”：课程内容很差差一般好很好优秀1.课程目标是否符合我的工作和个人发展需要56789102.课程知识是否深度适中、易于理解56789103.课程内容是否切合实际、便于应用5678910培训师4.培训师表达是否清楚、态度友善56789105.培训师对培训内容是否有独特精辟见解56789106.培训师是否鼓励学员参与，现场气氛很好56789107.培训师对学员提问是否所作出的回答与指导5678910培训收获8.获得了适用的新知识和新理念56789109.获得了可以在工作上应用的一些有效的技巧或技术。567891010.促进客观地审视自己以及自己的工作，帮助对过去的工作进行