迪比特数据仓库方案书

{管理信息化数据仓}迪比特数据仓库方案书第一章系统规划1.1系统目标系统的目标是建立面向业务（宏观）战略的商务智能平台，整合迪比特集团各业务系统。整个系统分为四个阶段来完成：1.2灵活报表第三阶段：统一数据平台：决策支持1.系统目标第四第四阶段：优化不同的系以第二阶段：大MIS系统：流程再造常感到信息不够，或数据提出非常困难。如何将这些历史第一阶段：灵活报表系统课题。建完整、稳健、高效的自动化综合统计信息展现平台。灵活报表系统的具体设计目标主要有：1、最大限度地科学管理信息资源，以先进的数据库管理系统为基础，完成数据采集、整理、存储、利用，提高信息资源的管理水平；2、充分挖掘信息的价值，借助计算机及网络通信技术，通过系统自动生成动态监控的业务状况、财务状况；3、提高工作效率，帮助公司各层级管理人员摆脱烦琐的数据整理工作，实现管理水平和管理质量的飞跃；4、减少工作误差，提供更加完善的指标校验功能，自动验证用户数据输入是否正确，保证输入数据的正确性、完整性。1.2.2系统特点1数据抽取ETLExtractTransformLoadETL‘抽取：将数据从各种原始的业务系统中读取出来，这是所有工作的前提。其次‘转换：按照预先设计好的规则将抽取得数据进行转换，使本来异构的数据格式能统一起来。最后的‘装载：将转换完的数据按计划增量或全部的导入到数据仓库中。ETL最新的业务动态。如果从整体角度来看，ETL主要作用在于其屏蔽了复杂的业务是构建数据仓库最重要的意义所在。2数据存储系统数据存储采用关系型数据库技术和ROLAPODS型细节数据层）和数据集市层。具有以下特点：关系数据存储模型直接ETL装载保留数据细节同时建立必要的数据预聚合不丢弃业务信息3业务特性：作为世界一流的商务智能平台产品，MicroStrategy具有以下一些特点：1)完美的客户化展现:查询、报表和图表MicroStrategy产品具有非常强大的报表定制功能。通过GUI方式，只需简便于以后在此基础上再次编辑加工。如下图所示报表：MicroStrategyReportService支持中国式报表格式2)可实现OLAP分析提供多维视图的数据组织、管理与多维分析。提供增量汇总技术。提供分析作业调度管理。提供最优/最差分析、例外分析、排名分析、比较分析等分析功能。具有丰富的图形展现功能。能够灵活地建立、定制不同的分析指标和各种指标计算公式，实现OLAP分析的动态化处理。并具有切片、切块、旋转、钻取和钻透等多维分析操作。能直接钻取到详细数据，也能进行多维数据和详细数据的混合分析。提供丰富的函数，可自由扩展，便于二次开发。OLAP分析结果可输出为Excel、HTML、文本文件等多种类型的文件。对分析指标指定警告值的，在分析报表或图形中以突出方式进行显示。3)可实现即席查询通过定义业务逻辑到数据库结构映射层，使最终用户无需了解数据库和SQL的复杂性，只需按业务逻辑规则即可快速简洁地定义查询需求，系统自动完成连接操作、条件定义等复杂的SQL定义操作。提供各种向导式界面、图形查询生成器、提示窗口等，通过简单的鼠标拖拉操作即可实现即席查询、报告生成、图表生成、深入分析和发布等功能。具备多表之间的钻取访问、具备主表与子表之间的钻取访问功能。提供资源控制机制。它能够监控查询的运行进程，并停止长时间运行的前，能够预测查询所需时间。能访问各种数据源的数据，访问结果也能输出到多种通用文件格式中。可以对用户设立不同的查询优先级，实现数据仓库资源的合理分配。4)信息发布默认情况下就已经是发布到Web方式。还能够以电子邮件、手机短信等方式发布。提供订阅门户，使用者可以在门户中自定义发送方式。1.3大MIS系统——流程再造作为业务决策人(BDM)或技术决策人(TDM)Microsoft门户和集成解决方案如何帮助您的公司简化异种系统、提高雇员生产力、降低运营成本并改善整体IT基础结构。将企业资源计划(ERP)、供应链管理(SCM)和客户关系管理(CRM)系统等内部业务理和合同管理业务流程自动化。要“推倒重来”而且风险和投入都相对小业务流程管理BPM（BusinessProcessManagement）是将生产流程、业务流程、各类行政申请流程、70%以上需要两人以上协作实施的任务全部或部分由计算机处理，并使其简单化、自动化的业务过程。1.4统一数据平台1.4.1统一数据平台特性了该公司所有业务数据，从在线事务处理（OLTP数据可能驻留在许多不同的数据源中。这些数据源可能是文档、层次型数据库、统组成的混合系统。理系统（DBMS）的共享性、完整性、数据独立性外，还具有下列特征：*统一性和一致性*面向主题*历史性*只读性统一性和一致性经营数据。例如，在许多企业中，应用程序常常以不同的格式使用类似的数据：日期按照Julian或者Gregorian/假数据可能表示为1/0ON/OFF、TRUE/FALSE/负等。不同的应用程序可能使用不同的术语来描述同样的数据，例如一个应用程序可能使用“平衡表来描述银行帐户，另外一个应用程序可能使用“总量表表示银行的帐户。在数据仓库中存储的数据需要一种单一的、可数据来自跨组织和部门，例如企业以前保存的数据、表格中的数据、甚至来自Internet析和理解企业的经营状况。面向主题企业的分析过程。历史性存储在OLTP系统中的数据可以正确地表示现在时间的任何值。OLTP系统经常只的时间的数据，一般是五年到十年。数据仓库存储了企业一段时间的快照形式。30-90天。数据经集成进入数据仓库后是极少或者根本不更新的。因此，常用的操作是追加操作和历史查询。只读性通过使用索引、预先计算的数据和物理的数据库正规化来优化查询的性能。1.4.2统一数据平台建模数据模型是对现实世界进行抽象的工具。它描述了企业内的实体和联系,即主题域,是企业最高层次的抽象。数据模型采用ERDERD由各分ERD综合而成,不仅消除了分ERD之间的不一致,而且消除了不必要的冗余。ERD在逻辑上实现了数据仓库集成和面向主题的特点。数据平台的建模首先是根据迪比特公司的业务,确定主题领域，然后扩充每个主题域,以得到主码(包括时间主属性)和各属性,MicroStrategy产品的告警功能实现数据的push，刷新客户端，使用户及时了解监管指标的当前状况。2经营分析与计划达成TopN、绝对值分布等等数理统计。业务支出计划达成情况等几个主要方面，以及其他五个方面的辅助方面。3企业战略管理——平衡计分卡应用通过仪表板表现形式：第二章灵活报表方案设计多样的信息表现形式，为企业的经营决策提供各种信息。2.1系统逻辑设计系统分为三大模块：数据抽取、数据存储、数据展现。数据存储：数据存储包括数据仓库和数据集市。数据仓库为企业统一的信息平台；数据集市为面向多维分析的数据存储。数据展现：数据仓库信息输出部分，输出方式可分为固定报表、即席查询、多维分析。按功能可分为各种应用分析系统，如：客户关系管理系统、资产负债分析系统、管理会计、绩效考核系统。2.2系统部署拓扑结构MicroStrategy用系统支撑软件的MicroStrategy产品将按如下方式部署：2.3应用功能详见本方案1.1.2节的第三点：业务特性。2.4软件配置此次项目主要使用MicroStrategy配置主要为MicroStrategyMicroStrategy产品各组件所需的软件配置MicroStrategy软件操作系统BIMicroStrategyIntelligenceServerWindowsNT/2000Server；服务器Solaris；AIXWebMicroStrategyWebUniversalWindowsNT/2000或Unix服务器（SunSolaris,IBMAIX,HP-UX）或WebL（JSPLinuxTomc版本）应MicroStrategyArchitectWindowsNT/2000XP用建模C/SMicroStrategyDesigner/AnalystWindowsNT/2000XP客户端（查询、报表、OLAP级分析）WeMicroStrategyWebProfessional/AnalystreportseveWindowsNT/2000XP,Unix,Linb客户rseux报表、OLAP级分析）2.5硬件配置1MicroStrategy各产品组件所需的硬件配置客户端所需硬件资源MicroStrategy软件最小配置推荐配置CPU(1000MHZ)内存CPU(1000MHZ)内存数目数目应用建模MicroStrategyArchi1128M1256MtectC/S客户端MicroStrategyD1128M1256Mesigner/AnalystWeb客户端MicroStrategyW1128M1256MebProfessional/Analyst/Reporter服务器端所需硬件资源基本假设：业务用户并发操作率假设为50%；业务用户全部使用B/S方式进行报表操作；服务器端的CPU主频假设为1000MHZ。为了保证报表系统的高可用，报表应用服务器、Web服务器采用群集。计算方法：根据MicroStrategy实验室的测算结果及在世界各地的实施经验，在IntelligenceServer上每1000MHZ的CPU可支撑40-50个并发操作用户，如果Web服务器只用于支撑MicroStrategyWeb/WebUniversalIntelligenceServer相当。用并发用MicroStrategyIntelligenceServerMicroStrategyWeb服汇总户户数务器数（50%并发率）2001002CPU;2CPU;4CPU;2048MRAM2048MRAM4096MRAM100501CPU;1CPU;2CPU;1024MRAM1024MRAM2048MRAM50250.5CPU;0.5CPU;1CPU;512MRAM512MRAM1024+YMRAM2数据库与ETL硬件平台配置此次项目数据库与ETL服务硬件平台的配置规格，我们给予以下三点意见：1.运维环境的硬件平台可以根据开发环境的负载情况在系统切换上线前再作准确确定；2.鉴于客户当前的IT状况，我们认为不排除对“现有数据管理系统的设备例旧的可能；3.PU，4G可以达到4CPU，8内存的配置；也可以更高。第三章：灵活报表系统的实施我们将采用DWM（DataWarehouseMethod）为迪比特公司实施项目。DWM骤和任务。DWM是一组预定义好的、在整个数据仓库项目中起指导作用的、可用多种方法管理的实施步骤。DWM可以帮助我们解决诸如确定正确的系统范围和用DWM且可以尽可能的减少系统的实施风险。DWM是一个抽象的方法论，需要结合项目实际环境作定制。DWM把数据仓库系统的实施分为13个过程，7个阶段。如下表所示：过程|阶段实施策略系统定义系统分析系统设计系统建立系统应用系统维护业务需求定义34.6%9.3%13.3%数据获取8.4%8.5%23.1%16.4%17.2%21.4%系统结构定义11.5%22.2%14.3%5.4%14.5%数据质量控制2.2%12.1%6.5%7.9%0.6%数据仓库管理3.4%4.4%3.9%11%16.1%元数据管理3.7%4.7%4.9%数据访问6.3%4.7%4.9%数据库设计与4%2%建立文档设置1%1.1%2%4.5%3.9%系统测试1.2%7.4%15%19.8%19.7%培训0.5%7.7%2.7%4.1%4.7%27.8%系统上线1.7%0.2%0.4%17.8%技术支持45%上表中各个过程中的阴影表示每个过程涉及到哪个实施阶段，表中的百分比表示以一个中等规模的项目为例，每个过程在各个实施阶段中所占的比例。3.1DWM实施过程7个实施阶段中均会涉及上述大部分或全部的实施过程。1业务需求定义满足的业务需求，确定系统的实施范围，初步建立系统实施的方向。2数据获取本过程的目标是确定数据仓库系统将要使用的数据的来源数据获取过程会涉及数据仓库的数据获取模块的功能。3系统结构定义过程中还需要确定数据访问的安全性控制、数据备份与恢复等方面的策略和方案。4数据质量控制完成，以保证进入到数据仓库中的数据是可靠的数据。5数据仓库管理案。过程期间，需要设计和建立数据仓库管理模块，用于实现版本控制、数据备份与恢复、数据归档、数据管理和监测，以及建立其他管理和检测任务，最终实现管理的自动化。6元数据管理要求，又符合业务需求。量等因素。对技术人员而言，如何有效的管理数据仓库是其最关心的问题。drill-down/up分析。通过开发元数据管理模块实现对元数据的获取、集成和访问。7数据访问具。8数据库设计与建立对开发环境、测试环境和产品环境的建立。9文档设置和运行正常进行的重要辅助手段。10系统测试测试步骤和测试数据。从功能角度讲，系统测试包括各个模块的单独测试，系统集成测试；11培训效的培训，保证不同类型的人员更好地使用和维护已投入运行的系统。12系统上线本过程的目标是把系统移植到产品环境中，包括制定安装计划，准备客户维护和产品环境。13技术支持系统上线之后，继续为用户提供在系统管理方面的技术支持3.2DWM实施阶段使用增量开发方法（IncrementalApproach）开发的数据仓库系统，其实施过程分成下列7个阶段。1实施策略结构进行定义。2系统定义确定的解决方案实施范围内确定技术结构和数据仓库结构。问和培训等方面的策略性方案。3系统分析在本阶段中，在已确定的解决方案实施范围内，明确详细的业务需求，包括建立逻辑模型、收集源于源数据的详细需求，以及最终用户对数据的访问需求。具的选择。量控制、数据仓库管理和元数据管理等数据仓库解决方案中各部分的工具进行评估和选择。4系统设计对数据访问和查询、编制报表等部分的详细定义。据和元数据库对象的物理结构设计。系统设计阶段还完成平台配置，制定测试方案，编制用户使用和技术参考手册、培训资料，以及制定系统上线策略。5系统建立具，并于数据对象集成；构造查询、编制报表。性能测试。6系统应用品环境中。7系统维护本阶段完成对前一阶段实施的评估和回顾，为下一阶段的实施做好准备。3.3项目实施计划第四章技术服务计划、维护与承诺我方承诺项目交付后3年5天*8收费两部分。4.1免费服务内容在线支持：使用在线支持，更新并记录技术问题。电话支持：对于日常的操作问题，可以不限次数的电话咨询。Email支持：对于客户在工作中碰到的问题，我方在收到Email请求后，将及时给予回复。对于客户通过传真方式发出的问题请求，我方收到请求后及时给出回复。热线电话：021-8。我们可以做到8小时内的做出服务回应，72小时内的解决问题。我们还会安排不定期的客户回访。4.2收费服务内容对于不能通过免费维护服务实现的技术支持，安排资深技术人员赴现场进行问题处理。第五章培训计划5.1MicroStrategy产品培训5.1.1培训时间表培训课程培训时间参加培训人员MicroStrategy:基础报表2天项目设计人员、高级报表开发人员、系统管理员MicroStrategy:系统管理2天系统管理人员MicroStrategyDesktop:4天高级报表开发人员高级报表MicroStrategyArchitect2天项目设计人员:项目设计5.1.2培训课程境下使用的MicroStrategyMicroStrategy总部所发布的已有的培训内容。MicroStrategy:报表基础时间2天先导课程熟练使用Windows操作界面培训对象报表开发人员或设计人员分析人员高级报表用户任何需要进一步的MicroStrategy课程培训的人员所覆盖的MicroStrategyDesktopMicroStrategy产品MicroStrategyWeb课程描述两天的课程将向学员介绍MicroStrategyDesktop和MicroStrategyWeb的报表用各种格式化选项比如排序、旋转、分页、大纲模式、以及显示总计和小计等。培训内容MicroStrategy决策支持介绍MicroStrategyDesktop介绍在Desktop中创建、保存、查看报表在Desktop中操作报表创建、保存、编辑基本过滤器创建、格式化基本度量基本提示和搜索创建和查看文档在MicroStrategyWeb中操作报表MicroStrategy:系统管理时间2天先导课程MicroStrategy:报表基础培训对象系统管理员开发人员咨询人员项目经理所覆盖的MicroStrategyIntelligenceServerMicroStrategy产品MicroStrategyWebMicroStrategyAdministrator课程描述两天的课程将引导学员理解MicroStrategyIntelligenceServer,MicroStrategyWeb和MicroStrategyAdministrator台。这些培训内容将通过手工实验和讨论方式来进行。学员还将学会使用MicroStrategyAdministrato中的一些工具软件：ObjectManager,CommandManager和ProjectMergeWizard.将具备成功实施BI项目所需的设计、实施、调优和维护平台的知识。培训内容系统管理综述系统架构和查询流程系统安装配置和管理界面启动和连接安全LDAP鉴权IntelligenceServer系统管理缓存和调度数据集市群集ObjectManagerCommandManager项目及用户合并向导MicroStrategyWeb综述MicroStrategyWeb系统管理MicroStrategyDesktop:高级报表时间4天先导课程MicroStrategy:报表基础培训对象报表开发人员或设计人员需要创建高级报表并具有一定的SQL基础知识的分析人员项目经理咨询人员高级用户所覆盖的MicroStrategyDesktopMicroStrateg