BI数据中心搭建流程

1、数据中心搭建流程目录二、总体架构自顶向下搭建自底向上搭建三、数据中心搭建具体流程（架构角度） 1数据源整合ETL2、ODS或DWH搭建3、多维分析模型建立 4、数据展现平台搭建5、Protal门户的搭建四、数据中心搭建具体流程（项目角度） 1前期调研阶段2、需求阶段3、设计阶段4、开发阶段5、系统测试阶段6、用户测试阶段7、上线阶段8、结项阶段五、分布搭建规划1、一期任务 口目标 2、二期任务和目标3、三期任务和目标六、项目管理行动对照表 1启动过程组2、规划过程组3、执行过程组4、监控过程组5、收尾过程组一、前言数据中心的整体搭建主要涉及软环境和硬件架构设计两方面，软环境包含 数据源、ETL

2、过程、ODS DWH和前端展现等。硬件架构为使用的服务器、交换 机等硬件承载设备。为了有效的利用数据中心，需要在软、硬两方面都要关注，不能出现“短板 现象”，使其中之一成为整个系统的瓶颈。硬件部分相对较为简单，确定设备数量、型号和性能指标，进行Infra设计，在系统开发完成之前到位，不可耽误系统测试阶段的进度。在此着重介绍 软环境部分。二、总体架构在整个数据中心项目过程中，将会涉及上图中的各个环节，其中针对数据仓库的设计会有两 种情况： 自顶向下搭建这种搭建方法，是将用户目前所涉及的所有业务系统都统一的进行数据 抽取并按照一定规则存放在数据仓库中，搭建好这个整体的数据仓库之后所 有的数据利用通

3、过此数据仓库完成。优势：数据仓库一步成型，规划思路明确，数据存放有条理，对日后业务的 开展可进行快速响应。劣势：整合所有数据源耗时长、人力、物力、财力投入大，对于完成整体数 据仓库之后有利用不上的可能，造成资产浪费。自底向上搭建这种搭建方法，是针对业务分析主题而去逐步整合用户数据源的过程，当企 业发展到某一阶段需要对某项业务主题进行分析时，可以通过此种方法整合所涉 及的数据源，已达成数据分析利用的目的。 优势：有针对性的整合数据源，目标明确，能够有效的避免资源浪费，缩小项目 范围，大大提高项目成功率并能充分利用，缩短项目周期，效果立竿见影。 劣势：分布实施使得总体项目周期延长，当遇到突发业务变

4、化时，局部整合的数 据源有可能不能支持业务的需要，应变能力有所不足。三、数据中心搭建具体流程（架构角度）对于数据中心的搭建流程，从架构角度出发会涉及数据源整合 ETL ODS或 DWH搭建、多维分析模型建立、数据展现平台搭建、 Protal门户的搭建。不论 是选择哪种方式进行数据中心搭建，都需遵从以下步骤。1、数据源整合 ETL对于现有业务数据源进行整合。有可能当前分析主题只涉及一个数据源，即使如此也许进行ETL过程。首先，搭建数据仓库或数据集市不应直接使用原有业务数据库，这样既不 高效也不安全，数据格式还不统一。其次，数据源的数据质量不能保证，其中 有可能存在重复数据、脏数据等问题，在进行数

5、据分析过程时，这些因素是必 须要去掉的。所以，进行数据源的整合步骤时，不论是涉及一个还是多个数据源，操作原 理是一样的，此过程为必要过程。2、ODS 或 DWH 搭建ODS( OperationalDataStore )操作型数据存储，是一个面向主题的、集成的、可 变的、当前的细节数据集合，用于支持企业对于即时性的、操作性的、集成的全 体信息的需求。DW(Datawarehouse)数据仓库，是在企业管理和决策中面向主题的、集成的、 与时间相关的、不可修改的数据集合。搭建此层级的目的很明确，为分析主题提供数据支持。有了 DW或ODS+DWH 后，就可在此层级之上进行数据建模、展现等工作。3、多

6、维分析模型建立作为商业智能领域的核心，多维建模可以说是非常重要的一个环节。在这个 环节中的维度设计、指标划分、度量等多方面的考虑，直接影响数据利用的效率 和可实现的功能结果。在建立多维模型前，需要与最终用户进行需求分析，明确用户想要的，并明 确能实现的是哪些。将需求工作做好，以免日后项目功能不达标。4、数据展现平台搭建SP-卓样*功1用说决簾支持思軒出 星竹卡 j _ KP1PlanpiiFl欣机廿析報并层戢躬股现a等层屯 L kafc<Ma i I协同廉现平台在这个展现平台上包含了决策支持服务层、信息发布服务层、数据展现服务 层和联机分析服务层等。对于商业智能的表现手段来说，可以是多种

7、多样的。 通过仪表板、平衡记分卡、图表、报表等多种手段进行展现；? 使用上钻、下钻、钻透等方式来辅助使用者利用数据信息；? 通过预设好的数据模型，用户可以自主的进行自定义报表的制定，完成这一切只需要简单的拖、拉、拽操作，便于使用。5、Protal门户的搭建Protal作为整个数据利用的最后一层，担负的责任最为重大，直接将界面呈现给最终用 户，一般情况下会使用B/S结构，通过浏览器进行展现，如其中涉及了一些特殊 控件时，可能会通过浏览器调用一个本地应用来支持完成。当然，通过Protal对用户进行安全验证和权限控制也是另外一个很重要的原 因，当不同的用户登录后，会验证在不同的用户组中，登录之后展现

8、的界面也是 有所差异的，这样就使数据利用系统有一个统一的展现界面，关心不同问题的用 户等够有所划分的看到不同展现。四、数据中心搭建具体流程（项目角度）i前期调研阶、 段丿需求松谡计阶开姗 ' 奈毙册曲户测上线酚、结项防段議2 段?试阶段7试阶段段.段£/丿XjrJ合同筌订前合同矍订后对于数据中心的搭建流程，从项目角度出发会涉及前期调研阶段、需求分析阶 段、设计阶段、开发阶段、系统测试阶段、用户测试阶段、上线阶段、结项阶 段。1、前期调研阶段在此阶段中，需要大致明确用户需求，对用户环境进行调研，如让用户填写 调查问卷等。如采用招标流程，需要仔细研究标书内容，确定工作范围，并能保

9、 证功能满足用户需求。此段时间一般不超过2周工作日，细致的用户调研会安排在需求分析阶段。2、需求阶段在签订项目合同之后，正式进入项目阶段，需求分析阶段主要是明确用户的 需求，将可实现与不可实现的列出，将需求分析落实在纸面上，并双方确认达成 共识，在确认之后发生的变化，统一划分为需求变更处理。按照项目规定完成时间，此阶段占用时间根据对用户环境、系统和需求的了 解程度而制定，如对上述都不了解，则应放宽需求阶段时间，以确保项目最终能 够达成用户需求，减少不必要的项目变更。3、设计阶段在设阶段会涉及模型设计、用户界面设计、数据模型验证和原型演示功能设 计等。? 模型设计中会包括元数据与 CUBES计；

10、? 用户界面设计中包括Protal部分设计、报表等其他功能设计；? Coding 部分编写；将设计总结为完整的设计报告，提交项目小组。此阶段需要用户进行配合，进行阶段性成果物确认及设计方案确认。当出现 与用户不一致时，及时进行讨论，以免有所偏差。4、开发阶段开发阶段将会按照前期的设计部分执行，设计 Protal 开发（主要为客户化需 求制定）、前端展现部分开发、CUBE部分开发和ETL部分开发。由于项目属于 BI 项目，所以编写代码部分较少，在 Protal 部分及前端展现 部分会涉及到一些 .net 开发，其余属于所见即所得式开发。在开发阶段基本不需要用户进行配合，每周进行项目周报进度提交即

11、可。5、系统测试阶段进入系统测试阶段后，开发部分已经基本结束，由开发团队进行系统测试。 开发团队中将安排专职负责系统测试人员，通过黑盒、白盒等模式进行测 试，主要涉及功能实现、数据比对、性能测试、排查 bug 等工作，并提交完整的测试 报告。此部分如无重大开发失误，则耗时较短。6、用户测试阶段经过系统测试阶段后，最终用户可进行实际测试，查看否符合项目预期，此 时在理论上应不存在功能和设计上的缺陷，主要是实际数据加载后的性能测试。7、上线阶段通过两轮测试之后，系统正式进入上线阶段，此时主要为收集实际用户使用反馈情况，记录系统正式上线后的性能等。对最终用户进行系统操作培训，提交相关使用文档。8、结

12、项阶段举行项目庆祝会。提供完善的项目售后服务。总结项目得失，如有后期工程，开始进行准备后期项目。五、分布搭建规划作为一个企业构筑数据中心是一项庞大而复杂的项目，想一蹴而就能够很快 的呈现出一个完美的数据中心系统是不现实的，我们在这里为了能够化繁为简、 逐步深入，将数据中心项目分成了三期工程来实现，这样做的好处是能够快速的 体验的数据中心的价值，将项目时间划分为段落，缩短单个项目时间和范围，便 于项目的整体把控和开展。对于用户能够减少首次投入，减小项目风险，在项目的实施过程中不断的完 善自己的想法，整理出一套适合自身企业的度量标准。1、一期任务和目标一期的主要任务如下图：平台搭建期关键业务系统导

13、入?供应、库存、销售统一视图?统一维度和指标体系基本指标建立一期目标在于能够搭建出一个企业数据中心的基础平台，将此平台搭建好之 后，做到关键数据源整合，对目前企业最重要的痛点进行改造，有了完善、可 信、准确的数据之后就可将企业日常管理中最熟悉、最常用的管理方法、手段，通过我们的数据中心展示出来，让用户开始对数据中心概念有所直观了解逐步去 深入挖掘数据中心的价值。2、二期任务和目标二期的主要任务如下图：入?其他系统导入?外部系统数据?其他公司经营系统数据?供应、物流、销售、服务、库存、财务统一视 图?优化完善维度和指标体系建立局性KPI指标体系?部门间信息互通?信息订阅分发二期目标在于深入利用数

14、据中心的强大功能，将企业中设计的多个数据源进 行导入，如果有外部数据也可一起导入。当数据的来源越多，数据中心所能提供 能综合分析能力越强，就像一台可自我学习的机器一般，将企业的整体信息融汇 在一处。通过一期项目的摸索和使用后，对关键指标的建立、数据的展现方式、 综合分析的能力等都会提出更高的要求，在二期项目中将会完善这些要求。3、三期任务和目标三期的主要任务如下图:数据驱动分发KPI驱动的报表状态分析类报告 预测、评估类报告 考核类分析报告 绩效考核指标监控 预警、提示业务协同驱动的工作流监控预警数据驱动的工作流三期作为项目划分的最后一个阶段，当然也许还会有后期项目，因为数据中心的搭建本身就是

15、一个不断完善的过程。而这里的第三期项目主要就是进行分析、利用、综合的加强改造，通过前两期的设计和使用，用户已经对数据中心和 BI理念有了充足的认识，不论是数据整合层面还是指标建立或是展现方式等等， 都有了更加深入的理解和自身的感悟。在三期项目中目标就是要将这个数据中心能够更加适应企业的特点、更加全面的服务企业，使其能够成为企业管理中不可 或缺的一部分。六、项目管理行动对照表1、启动过程组启动过程组核对表行动1从通过可行性研究的候选项目中选择一个项目2选择项目经理3授权给项目经理4收集历史信息5把大项目划分成几个阶段6确定高层次干系人，识别他们的影响，以及对风险的承 受力7把干系人的需求和期望转

16、换成项目的要求8保证商业需求已经记录9记录假设1011记录限制条件保证最终的产品范围是可实施的12理解项目如何与组织的战略目标相适应1314决定项目目标和产品目标使解决冲突目标的方法实施起来更加方便15熟悉与项目相关的公司文化和结构161718找到现有的流程和标准理解公司如何开展业务及适用于项目的公司已有的程序 和政策使用项目规划过程组做高层次计划19完成关于项目进度和预算重要估算的顺序2021决定项目章程的形式，以及原因 和干系人及客户协调项目的启动事宜2223和客户起决定可交付成果的标准及项目的范围 决定最初的项目组织24记录已知的所有风险2526决定所有需要的里程碑 决定范围如何控制27

17、最终确定项目早程28得到项目章程的正式批准2、规划过程组规划过程组核对表行动12决定如何计划范围、时间、成本、风险、质量、过程 改进和采购，以及将这些计划放在各个知识领域管理 计划的开始完善来自项目启动的要求，使它们更加具体3创建一个关于项目可交付成果的描述，这项工作要求 完成项目范围说明书4在进一步的计划完成前利用项目范围说明书从干系人 那里得到关于最终范围的批准5确定项目团队6建立WBS7在WBS司典里创建关于每个工作包的描述，使得被分 派做这项任务的新手也能够明白8如果必要的话把工作包划分为活动9排列活动，确定先行和后续的活动10估计资源需求11和职能经理会面获得资源使用权12决定估计的

18、准确程度13保证人员在估计的时间和成本内工作14确定如果不压缩工期的话项目多久能够完成15编制进度模型16编制预算17确定质量标准及考核质量的绩效标准18确定随后需要哪些程序以减少监管的工作，改进质量 和使用标准19明确确定所有项目成员的角色和责任，确保干系人知 道这些人的职责，以及他们需要做哪些工作20确定需要从其他项目那里得到的信息，以及能给其他 项目什么信息21和所有干系人起工作并理解他们的沟通要求22完成风险识别、定性和定量分析，以及风险应对计划2324对项目管理计划进行滚动更新 确定采购对象25准备米购文件26注意其他项目可能积极或者消极影响本项目的地方， 以及本项目对其他项目的影响

19、272829最后确定如何执行和控制所有管理计划计划考核项目绩效的方法，使用的标准，什么时候用 及如何使用确定为了保证项目绩效和项目计划 致需要的控制手 段包括会议、报告及其他活动303132确定改进过程的计划制定最终的项目管理计划，通过进度网络图和项目能 够达到的目标的绩效测量标准从出资人、团队和职能经理那里得到正式的批准33和所有干系人、团队成员、团队成员的职能经理、客 户 起举行启动大会，保证所有目标和利益的 致性3、执行过程组执仃过程组核对表行动1确定并管理所有干系人的期望2保证对工作的理解致3实施最初的项目管理计划或者经过控制修改后 的项目管理计划4完成工作包5收集并记录经验教训6建立

20、并管理共冋渠道7评价项目团队作为一个整体的有效性8实施批准的变更、纠正行动、预防措施和缺陷 补救910实施质量保证程序 产生项目报告11举办团队建设活动12在团队会议上遵循程序13为团队成员争取必要的培训14发布信息15清除障碍16实现满足需求的工作结果17与职能经理会面确认资源的承诺118当项目需要资源时，保证职能经理被通知到19让资源与项目管理计划的安排协调 致20管理项目过程21引导、辅助、沟通、领导、协商、帮助、指导 以推进项目计划的执行22在项目执行中运用技术知识23在完成工作包需要使用工作授权系统时授予权 利24举办进度会议25收发信息26聚焦于事前预防而不是事后处理27确保所有的

21、成员具备元成工作所需的技能、信 息和设备28聚焦于管理批准的项目管理计划的期望，而不 是检查每个成员的工作29推荐变更及纠正措施并整合在变更管理中30遵循组织的政策、过程和程序31增加程序的有效性32推荐活动以增加组织绩效完成的效率33确定项目活动是否遵从过程、政策和程序3435确保对项目管理计划的 致认冋保持每个人都聚焦于项目章程、要求或者产品 范围，商业情况和项目管理计划36当严重问题出现时重新评估项目的商业情况37解决问题38实施在规划过程组制定的识别和奖励系统139确定原来在规划过程组列入的而在执行过程组 中没有用到的项目成员40实施品准的改进过程41实施在规划时制定的计划或者要求的工作范围42要求供应商对米购文件做出回应43重新审视投标报价并选择供应商44花费并监控项目资金4、监控过程组监控过程组核对表行动1依据管理计划测量项目绩效2依据绩效测量基准测量绩效3确定差异并确定推荐的纠正行为或者变更是否 正当4确定什么差异是重要的，并不断训练这种判断 力5推荐变更、缺陷补救、预防和纠正性行动6在整合变更控制中批准变更、缺陷补救、预防 和纠正性措施7使用冲突解决技术使得解决冲突更加便利8创建预测9管理配置10控制范围、进度，成本和质量符合基准1112使用事件日志不断修正和调整控制限制13举办关于控