数据仓库实施方案

共享知识分享快乐共享知识分享快乐页眉内容页眉内容XXX公司BI系统方案建议书二〇二〇年一月目 录第一章概述 1第二章商业智能综述 2商业智能基本结构 2XXX数据仓库架构 3数据仓库：用于抽取、整合、分布、存储有用的信4多维分析：全方位了解现4前台分析工5数据挖5商业智能方案实施原则 5分阶段、循序渐进的原5实用原6知识原6第三章XXX公司BI系统方案 7XXX公司BI系统的需求分析 7XXX的解决方案 7建议架构 9第四章所选XXX产品简介 11DB2UDB 11概述家(Family)与DB2通用数据(UDB)V7.2 11DB2通用数据(UDB)V7.2的特色 12DB2通用数据(UDB)的其他先进功22DB2MANAGER(数据仓库管理器) 26DB2WarehouseManager的主要部26数据抽取、转换和加(ETL)功能 27元数(MetaData)管理 31DB2WarehouseManager的其它技术特31XXXOLAPSERVER(多维数据库服务器) 33DB2OLAPServer引擎 33DB2OLAPServer各个附件 34DB2OLAPServer与DB2WarehouseManager集成 36DB2OLAPServer支持的前端工具 36DB2OLAPANALYZER 37数据挖掘工具（XXXINTELLIGENTMINER） 37数据挖掘的实现方38数据挖掘基本方39数据挖掘与多维分析相结40第五章工程服务和售后服务 41工程服务 41售后服务 41XXX数据仓库的安装及配置服41XXX数据仓库的维护服41XXX数据仓库的顾问服42XXX培训服务 42技术文档 42第一章概述随着市场竞争的日益激烈，各家公司纷纷把提高决策的科学性、合理性提高到一个新的认识高度。在此背景下，利用信息技术的最新手段，利用业务数据进行面向决策的分析这一方法纷纷被国内外许多公司所采用。通过有目的、有选择地采集业务数据，并将其转换为对决策有用的信息，用于智能化的分析、预测和模拟等目的，这样的应用被称为商业智能应用。从国内外各行各业的发展经验看，实施商业智能是提高企业进行高效的业务分析和科学决策的有效手段。作为一个具有八十多年历史，以开发信息技术和商业应用而闻名的“蓝色巨XXX数据自动转化为商业知识提供了现实的方案。商业智能的本质，是提取收集到的数据，进行智能化的分析，揭示企业运作和市场情况，帮助管理层做出正确明智的经营决定。一般现代化的业务操作，通常都会产生大量的数据，如话单、账单以及客户资料等，其中一部分是决策关键数据，但并不是所有的数据都对决策有决定意义。商业智能包括收集、清理、管理和分析这些数据，将数据转化为有用的信息，然后及时分发到企业各处，用于改善业务决策。企业可以利用它的信息和结论进行更加灵活的阶段性的决策：如采用什么产品、针对哪类客户、如何选择和有效地推出服务等等，也可以实现高效的财务分析、销售分析、风险管理、分销和后勤管理等等。这一切都是为了降低成本、提高利润率和扩大市场分额。第二章商业智能综述商业智能基本结构当今，许多企业认识到只有靠充分利用，发掘其现有数据，才能实现更大的商业效益。日常的商务应用生成了大量的数据，这些数据若用于决策支持则会带来显著的附加值。若再加上市场分析报告、独立的市场调查、质量评测结果和顾问评估等外来数据时，上述处理过程产生的效益可进一步增强。而数据仓库正是汇总这些商用信息后，进而支持数据发掘、多维数据分析等当今尖端技术和传统的查询及表报功能，这些对于在当今激烈的商业竞争中保持领先是至关重要的。那么怎样把这样大量的数据转换成可靠的、商用的信息以便于决策支持呢？建立数据仓库正被广泛地公认为最好的转换手段。图1 数据仓库建立过程IDC400500％。XXX数据仓库架构XXX90年代初期，就投入大量优秀技术人员和资金开始了数据仓库的Star-Burst大型科研项目。该项目主要就是为了攻克数据仓库领域的一些技术难题，例如优化星型连接(Star-join)，实现多维分析。因此，XXX展。图2 XXX数据仓库架构上图为XXX三层次数据仓库结构：从第一层OLTP业务系统到第二层数据仓库为建仓过程，从第二层到第三层数据集市为按主题分类建立应用的过程。第一步包括数据抽取、数据转换、数据分布等步骤，按照统一的数据格式标准进行统一的数据转换，建立可被企业各部门充分共享的数据仓库。其中，数据抽取阶段完成对各种数据源的访问，数据转换阶段完成对数据的清洗、汇总和整合等，数据分布阶段完成对结果数据存储的分配。这三个阶段通常紧密结合在一起，由一个产品或几个产品配合实现。例如，DB2WarehouseManager既可独立完成，又可结合DataJoiner、DataPropagator实现对异构数据和数据复制的处理。DB2WarehouseManager可进行数据映射的定义，以定期地抽取、转换和分布数据；DataJoinerDB2数据库家族、ORACLE、SYBASEINFORMIXMSSQLServer采用数据复制的方式可对业务数据仓库进行增量数据更新，避免对作业系统事物DB2第二步，在按主题分类建立应用时，若既想拥有多维数据库的独特功能，又DB2OLAPServer是用户的最佳选择。DB2WarehouseManagerInformationCatalog通过描述性数据帮助用户查找和理解数据仓库中的数据，IntelligentMiner用于数据挖掘以便帮助决策者预测或发现隐藏的关系。最后，我们以报表或图形的方式将结果数据呈现给用Analyzer,BusinessObjects等。商业智能的实现方式多种多样，其规模和特点由用户的需求来决定。但万变不离其宗，其基本体系结构往往包括三个部分。数据仓库：用于抽取、整合、分布、存储有用的信息一个企业的信息往往分布在不同的部门和分支机构，管理者要综观全局、运筹帷幄，必须能迅速地找到能反映真实情况的数据，这些数据也许是当前的现实数据，也可能是过去的历史数据。因此，有必要把各个区域的数据集合起来，去其糟粕、取其精华，将真实的、对决策有用的数据保留下来，随时准备管理人员使用。因此，数据仓库不仅仅是个数据的储存仓库，更重要的是它提供了丰富的工具来清洗、转换和从各地提取数据，使得放在仓库里的数据有条有理，易于使用。多维分析：全方位了解现状管理人员往往希望从不同的角度来审视业务数值，比如从时间、地域、产品来看同一类业务的总额。每一个分析的角度可以叫作一个维，因此，我们把多角度分析方式称为多维分析。以前，每一个分析的角度需要制作一张报表。由此产生了在线多维分析工具，它的主要功能，是根据用户常用的多种分析角度，事先计算好一些辅助结构，以便在查询时能尽快抽取到所要的记录，并快速地从一维转变到另一维，将不同角度的信息以数字、直方图、饼图、曲线等等方式展现在您面前。前台分析工具提供简单易用的图形化界面给管理人员，由他们自由选择要分析的数据、定义分析角度、显示分析结果。往往与多维分析工具配合，作为多维分析服务器的前台界面。以上三部分是商业智能的基础。它完成的是对用户数据的整理和观察，可以说，它的工作是总结过去。在此基础结构之上，商业智能可以发挥更进一步的作数据挖掘正如在矿井中可以挖掘出珍贵的矿石，在数据仓库的数据里也常常可以挖掘出业务人员意想不到的信息。它比多维分析更进一步。例如，如果管理人员要求比较各个区域某类业务在过去一年的情况，可以从多维分析中找答案。但是，如果管理人员要问为何一种业务在某地区的情况突然变得特别好或是不好，或者问该业务在另一地区将会怎么样，这时数据挖掘工具可以作出回答。简单的说，数据挖掘使用统计、分析等数学方法、以及电脑学习和神经网络等人工智能方式，从大量的数据中，找寻数据与数据之间的关系。这种关系，一般显示数据组之间相似或相反的行为或变化。一个细心的分析者，往往能从这些发掘出来的关系得到启示。而这种启示又很可能使得到它的业者，获得其他竞争者所没有的先机。数据挖掘要求有数据仓库作基础，并要求数据仓库里已经存有丰富的数据。构造商业智能的基础，实现分析应用；第二步实现数据挖掘，发挥商业智能的特色。商业智能方案实施原则实施商业智能方案项目工程，与实施传统的应用系统有很大的不同。其中最重要的是，商业智能的实施是不断的交流过程，只有双方紧密的合作才能取得实施的成功。我们建议，工程实施上采取以下原则：分阶段、循序渐进的原则任何一个项目的实施都是一个发现问题，解决问题，积累经验，又遇到新问题，再解决，再积累的循序渐进的过程。我们建议XXX公司应根据现有的资源以及今后发展的方向，分阶段、循序渐进的实施商业智能方案。实用原则在第一步实现数据仓库时，尽量针对当前电信最关心的主题，并将该主题进行细致分析，尽可能用简单、统一、易于使用的方式来实现，避免追求片面的复杂和完美。知识原则普遍说来，由于商业智能技术相对而言比较新，企业的信息技术人员对数据仓库、多维分析、数据挖掘等系统涉及的知识往往存在着不足或偏差，实际应用经验也很欠缺。因此，我们建议在实施过程中结合专家培训和服务，在商业智能系统的设计、开发、实施当中，逐步培养出企业自己的系统管理、维护和开发人员。当系统投入使用时，这些人员可以对系统进行维护和管理，并负责对最终用户进行培训。第三章XXXBI系统方案XXXBI系统的需求分析XXXBI支持：除了以上列出的一系列分析和预测外，利用BI系统，还应该能够根据XXX公司的需求很方便地扩展其功能。XXX的解决方案XXXBIXXX们提出以下解决方案：并且通过多维分析工具，让用户能够有效的将数据转化为灵活的报表和决策支持信息，最终满足用户的信息需求。该方案的实现方式如下：数据则通过浏览器方式录入。在构造数据仓库的过程中，我们采取以点带面的做法，采用小步长、逐步地XXX用。小的项目可以立即显示数据仓库的价值，同时也提供了更快的投资回报。而且，先在只有少量的数据和用户的小系统上进行学习和实践，对技术人员来说会学得更快。我们希望首先在需求较为迫切的领域，选择一些比较有意义的主题；基于这些主题，我们将建立一个数据集市，待用户能够对数据仓库的概念和一些技术有了比较深刻的认识之后，再综观全局，构建起企业级的数据仓库。数据录入可以采用数据文件快速装入的方式，也可以采用专门应用的方式。XXXWebSphereVisualAgeforJava进行XXX电子商务应用的重要部件。利用这两个工具，我们可以Web页面，生成Java程序，包括AppletServletApplication并且系统的维护工作也比较方便，当需要修改应用时，只需要修改服务器上的程序就可以了，不需要在客户端做工作。另外，这种结构对客户机的配置要求也不太高。XXXWarehouseManager，该XXX用来建立数据仓库的工具，利用该工具，我们可以方便、快捷地构WarehouseManager一个工具。提供一个开放的，从数据源到数据仓库的一致的解决方案。XXXBIWarehouseManager管理器可以方便地建立数据加工的流程(process)和步骤(step)，这些步骤反映了XXX据的流程、规则。在各步骤中可以定义代理(agent)来自动运行数据传递、清洗和WarehouseManager服务器上，也可以运行在远程的业务主机上，并且可以有争环境。WarehouseManagerDB2WarehouseManager(DWM)WarehouseAgentDB2UDB中执行直接执行数据仓库的数据加工。FTPAgent直接执行。DB2ServerDB2OLAPServer的强大分析功能，给最终用户提供在线多维分析的功能，能够让最终用户充分挖掘出数据中包含的信息。DWMOLAPDB2OLAPServer中。最终用户工具我们选用DB2OLAPAnalyzer，这个产品是一个数据仓库的前端分析工具，利用这个工具用户可以很容易地访问OLAPServer中经过处理的数据，制作各种形式、风格的报表，报表内容可以包括数字、图像、曲线等，使得管理层可以直接、直观地查看企业的经营情况。建议架构DB2UDBEEDB2UDBEEDB2WarehouseManagerDB2IntelligentMinerforDataDB2IntelligentMinerScoringDB2OLAPServer生产系统1RS/6000生产系统2OLAPDataWarehouseData生产系统3MetaData管理/数据仓库控制DB2/WarehouseControlCenterDB2WarehouseServerDB2OLAPServerApplicationManager查询／分析WEB应用服务器 DB2IntelligentMinerDB2OLAPAnalysisServer Windows2000HTTPServerWindows2000Intranet/InternetBrowser图3 XXX公司BI系统软硬件配置示意图在此方案中，采用RS/6000DB2UDBEEDB2Warehouse用的业务数据，经过加工后存放在数据仓库中。XXXBIRS/6000服务XXXDB2OLAPServe维分析的速度。DB2IntelligentMinerforDatDB2IntelligentMinerScoring，用来将数据挖掘的结果作用到数据仓库中，实现打分功能。WEB应用服务器访问数Windows2000的PCDB2OLAPAnalyzerAnalysisServerHTTPServer，作为为WebSphereApplicationServer共同使用。PCWindows2000DB2WarehouseControl、DB2ControlCenter、OLAPServer控制台OLAPServerApplicationManagerDB2IntelligentMinerDataClient。此方案的优点：并进行各种指标的多维分析，在实际应用中不断扩展系统，为决策者提供必要的信息。高性能、高效率。数据都在本地运行，数据量相对较小，因此对服务器计算能力的要求相对较低。同时由于在局域网上运行，对网络带宽基本不会有压力，并且用户响应时间可以得到保障。最大限度地减少网络负荷。各客户端通过浏览器方式从中心数据仓库中获取数据，只有需要的数据被传输。XXXXXX适应这些变化，满足业务的需求。XXXBI系统的需XXX公司商业智能应用打下了一个坚实的基础。XXX公激烈的竞争中保持良好的势头。第四章所选XXX产品简介DB2UDBWarehouse(OLAPServer)(DB2Analyzer)及智能数据挖掘服务器(DB2IntelligentMinerforData)以下是各个产品的描述说明。DB2UDB家族(Family)DB2通用数据库(UDB)V7.2XXXDB2家族的各种关系数据库管理系统适用于各种硬件平台，其中包括IntelXXXXXXRISC服务器和工作站、大型并行处AS/400VMVSEMVSOS/390操作系统的DB280万用户的主机系统。DB2家族除了包含在各种平台上运行的数据库管理系统内核之外，产品包中还包括了数据复制、数据库系统管理、环球网(Internet)网关支持、在线分析处理、多媒体支持和各种并DB2UDBV7.2PCUNIX平台上的客户机端产品(DB2CAE)，并为所有平台上的异构数据库访问提供“中介件”(Middleware)解决方案。IntelRISC服务器(UNIX平台)DB2UDBV7.2包括：DB2forAIX，DB2forHP-UX，DB2forSUNSolaris，DB2forDB2forWindowsforWin95，DB2forWin98，DB2forLinux，DB2forSCO，DB2forSinix，DB2forNUMA-Q等等。的LAN(Internet)DOS、WindowsOS/2、Win95Win98、MacintoshUNIXDB2TCP/IP、IPX/SPX、NetBIOS或APPC等网络协议；如果作为环球网上的数据库服务器，则可由一台浏览器Browser)作为客户机访问。DB2通用数据库(UDB)V7.2程/Starburst研究项目以及DB2forOS/390DB2DB2DB2家族平台环境作了调整和优化以达到业界领先的性能/价格比。DB2产品家族提供了完整的中文支持，对中文的支持贯穿于从微机到主机的所有平台，这是任何其他数据库厂家做不到的。图4 DB2家族产品DB2通用数据库(UDB)V7.2的特色DB2通用数据库(UDB)V7.2无论在网络计算方面还是在线分析、多媒体处理，都能给你全面、满意的支持，而且集成了丰富的数据库管理工具，把原来复杂的管理工作变得非常简单。DB2V7.2度大大提高DB2DB21632KBPages(multiplebufferpool)多查询的星式连接等方面，做了一系列的改进。应一些XXXDB2UDBV7.2包含以下扩充性能：表/视图/18128个字符。1830个字符。SQL32KB64KB。16KB32KB。32KB，取决于页大小。最大表/128GB512GB，取决于页大小。2551,024个字符。SQL编程支持宏。DB2V7.2对统一代码(Unicode)Unicode通用文本字符，容许定长字符序列(以便分析)UCS-2和UTF-8DB2wchar_t(如英语环境)(日语)下也可照常运行。DB2UDBV7.2SQLSQLWindows平台，打DB2OLAPstarterDB2的数据连接器(DataJoiner)，象访问DB2Oracle,Sybase,Informix,SQLServer等数据库。用户只DB2DB2数据。DB2UDBV7.2OracleSQL查询同时访问DB2Oracle的数据资源。DB2UDBV7.2DB2数据库、Oracle数据库或者一个OLEDBDB2SQLAPIDB2RelationalConnectDB2DB2Oracle数据库中的数据。DB2UDBV7.2DB2控制中心的便捷特点结合起来，为需要商业智能的用户提供友好的用户界面。用户可以使用数据仓库中心对数据进行定义、自动取样、转换、发布、以及为数据仓库加载数据。这种新功能可以为一个部门或单位配置一个独立的简单数据中心。Wizards(SchemaModeler)交换(MetadataInterchange)等方面做了改进。DB2UDBV7.2数据仓库中心使用了更便捷的新界面，用于创建、设计、储OLAP表。DB2元数据管理以及查询管理方面做了改进。DB2UDBV7SQLOLAPSQL-99中很难或SQL-99OLAP附录中建议的标准。DB2现在可以提供临时表格支持，应用存储点(savingpoint)，标识栏(IDColumn)SQL过程语言SQLProcedureLanguage)DB2ANSISQL99DB2UDB存储过程创建工具(SPB)DB2SPB，DB2SPBWindows、AIXSolarisDB2系列产品，用户可DB2UDBSPBMSVC+MSVXXXVisualAgeforJava,DB2SPB。DB2UDBV7.2创建用户定义功能，表功能和行功SQL语句，这就减少了使用外部高级语言书写这些功能的需DB2UDBV7.2推出了结构数据类型(或者叫做抽象数据类型DB2UDBV7.2版本中包括了许多可以提高系统性能和改善系统管理的功ODBC/CLISQLSQL32GTCP/IP收听者（listene。DB2UDB7提供三个新的扩展器：空间扩展器(SpatialExtender)：DB2SQL查询概念(SpatiallyEnabledSQL(坐标确定位置)SQL(坐标信息户通过特定的空间数据查询对其进行访问。DB2XML扩展器：XXXDB2XMLExtenderXXXXML技术策略，在电子商务领域居业界领导地位。XMLXXXB2BDB2XMLXXXXMLXML存储和XMLDB2中XML内容。通过数据交换，XML扩展器提供新的和已存在的DB2相关表格和XMLDB2XML扩展器进行电子商务，实现企业之间（B2B）和企业与消费者之间（B2C）的应用。本产品是免费的。A支持先进的面向对象和多媒体应用70XXX理系统(RDBMS)得到极其广泛的运用。关键任务的应用在很大程度上依赖于RDBMSRDBMS用户正转向非传统的、面向对象的应用，需要对更广泛的形形色色的现实世界数据予以支持。比如，需要更有效地处RDBMS中的文本、声音、视频、映象等数据。DB2通用数据库(UDB)DB2把对传统应用与非传形成新一代对象关系型数据库系统(ObjectRelationalDBMS)DB2UDBV7.2提供了许多对面向对象及多媒体应用的支持。(UDT)DB2允许用户定义新的数据类型，称为用户自定义类型(UserDefinedCDOLLAR表示加拿大元，用USDOLLARdecimal(十进制)类型来表示，但在意义上是有显著差别的。它们彼此间不应也不能直接进行比较，也不可直接decimalDB2的面向对象强类型(strongtyping)机制来保证的。象内设(built-in)类型一样，UDT可以用来定义表列的数据类型和用户定义函数(UDF)的参数。例如，用户可以定义一个类型：多边形Polygons，这个用户自定义类型可有构造函数，还可有一组用户定义的函数作用于它，如求面积，求角度，以及旋转多边形等等。(UDF)DB2CC++(UserDefinedFunction)。UDF允许在查询中包含强有力的计算过程和检索判定，以便UDFUDT的行为语义。SQL优化UDF如SUBSTR和LENGTH)CC++COBOLFORTRANPL/ISQLUDTUDF。把用户定义的类型和函数组合在一起使用，就能把数据的表示和解释该数据的一组函数定义都隐藏起来。利用它们能创建函数库，这些函数库可以是XXX开发的，也可以是第三方经销商或客户自行开发的，然后直接把它们集成在数据库中。(LOB)LOB允许用户在一个数据库中存储特大(GB)DB2中有二进LOB(BLOB)LOB(CLOB)LOB(DBCLOB)等几种类型。用LOBUDTUDF定义其语义的小型结构。DB2LOB的功能强大的UDF方式用户可随时定义附加函数。另LOB列。LOB员执行如下操作：LOBLOB。LOB的求值过程。LOB列时，能做出选择--LOB列是否作日志。LOBLOB而构造的。(RelationalExtenders)DB2DB2的基于内容的搜索能力扩展到诸如文本、图像、视频、音频之类的新的数据类型。使用关(如文本或图像列)，用户就可以把文本文档、图像、视频、音频等连同常规企业数据一起存DB2集成内容搜索RelationalExtenders通过用户定义函数来支持。例如：DB2ImageExtender提供了一组函数来支持关于图像的、基于内容的搜索。一个用户SQLImageExtenderSQLSQL查询将自动地调用由扩展程序提供的函数。DB2的SQL规的数据类型上搜索给定的查询，又可以在常规的数据上搜索给定的查询。B强劲的在线分析处理(OLAP)支持DB2优化器能够使用动态位图索引(DynamicBit-MapIndex即根据需(Dimensiontable)符合条件的记录，再和事实表格(Facttable)连接，提高了访问多维数据的性能；而不是执行Cartesian断是否使用星型连接技术(StarJoin)和动态位图索引进行优化。DB2SQLROLLUPCUBE功能通过在常规组的行中增加“小计”和“总计”行来提供扩展的组(GROUP)，CUBE功能增加了“cross-tabulation”(Starjoin)方式在关系型数据库中支持在线分析处理(OLAP)DB2XXX骄傲的，它提供了领先于其它数据库厂商的基于成本CPUI/ODB2的在线分析处理(OLAP)功能如虎添翼。C卓越的并行处理能力并行优化技术DB2UDBV7.2SMPMPPSMP节点组成的MPP行(称作内部查询并行性：Intra-queryparallelism)，过去需要数小时的查询现在只需几分钟就可以完成。过去不能执行的查询现在不仅可行，而且还能从中获益。SMP环境下处理并行，DB2UDB采用的是吸管模型(Strawmodel)。此时SQLCPU相当于一根吸水的吸管，这样被SQLCPU“吸干”MPP环境下处理并行，则相当于把杯子中的水先智能地分配给多个小水杯(SQL执行的节点机)就分别被每个节点机“吸干”UDBV7.2中融入的最先进的技术才是成功的关键。并行优化：从很多系统中抽取非常多的数据，这会耗费大量的时间，如法，它们没有必要象并行数据库那样运作。DB2UDBV7.2有一个查询优化器，XXX研究机构开发的，它是专为提高并行抽取数据的效率而设计的。这样就可获得高品质的查询性能，特别是对特大型数据库。全面并行(ParallelEverything)：DB2SPSMPDB2UDBV7.2语句(Select、Insert、UpdateDelete)、实用程序(backup，restore，reorg，load)和数据存取方法(连接、表扫描和索引扫描)等，而且无需任何额外的编程。这不部处理机去执行数据库管理任务。进一步说，DB2UDBV7.2既可用于联机事务处理管理工具在并行环境同样适用：Governor帮助您控制每个用户及应用程并行环境下功能不受任何限制：DB2UDBV7.2对多媒体数据的支持、WEBJava的支持均不受限制。MPP结构计算机的独特支持当企业的业务系统或数据仓库系统的数据量不断增大、并发用户量不断增大时，依靠单一的数据库服务器往往难以获得比较好的性能和处理能力。此时，由多台服务器协同工作成为解决这一问题的有效手段。多台服务器协同工作的手段主要有共享硬盘的集群式计算机，以及不共享任何资源而自以高速网络相连的海量并行处理计算机两种方式。随着计算机科学的不断发展，无论是科学计算领域还是在数据库领域都已经备计算机科学家证明，海量并行处理是目前解决大数据量、最大限度里并行处理能力的最佳手段。MPPDB2UDBV7.2企业扩展版(EnterpriseExtendedDB2MPP体系结构的特性：无共享(Shared-Nothing)UDBV7.2计为每个系统(节点)只处理它那一部分数据库，彼此间尽可能独立。这就减少了benchmark512个节DB2UDBV7.2结构的规模可多达上千个节点。智能数据分发：可在数据库的多个分区或子集中分布数据，其分区图允DB2管理分发过程并在必要时重新分发。DB2SQL优化器利用分SQL行有效的管理，从中选择成本最低的方案。应用透明性：DB2DB2UDBV7.2企业扩展版看起来与其它的DB2DB2UDBV7.2DB2家族产品上在数据、应用和技能方面的投资，同时也提供了新的强有力的数据处理手段和发挥成本效果的手段。RS/6000SP的支持：DB2UDBV7.2企业扩展版的体系结构完全可与XXX的大型并行处理器(MPP)RS/6000SPRS/6000SP由上千个RS/6000DB2UDBV7.2RS/6000SP合构成当今产业界中最有伸缩性和功能最强的并行数据库方案。可伸缩的性能和容量：DB2UDBV7.2企业扩展版提供了非并行增量增1-2GB的单处理器数据库到具有兆兆(TB)512MPP计算机，这一切都不需重写应用程序(串行和并行环境使SQL语句)即可移到新的操作环境中。性能/机/DB2UDBV7.2企业扩展版提供了优异的性能/价格比。客户机/引人注意的替代品可以是单一大规模并行数据库服务器。把多个系统合并到一个MPP机群，可以减少系统管理开支和增加可用性。当出现故障时，可将其隔离到独立节点上，修复时系统运行不会中断。DB2UDBV7.2企业扩展版支持的硬件平台DB2UDBV7.2XXXRS/6000、WindowsNT/2000SUNSparcSolaris、HP/9000HP-UXMPP计算机群集上运行，CPUSMP服务器。CPUDB2EEE逻辑节点，DB2EEE。DB2EEESQLAPI相同的。D集成的数据库管理工具：ControlCenter等DB2UDBV7.2ControlCenterAlterCenterEventAnalyzerScriptCenter、JournalCommandCenter、DB2Governor等。CommandCenterSQL语句、数据库命令，也能执行系统命令。EventAnalyzer可帮SQL操作。DB2Governor能够监视资源使用情况，及时终ControlCenter(控制中心)提供了对本地或远程数据库的联机监控、直观的图形用户UDB数据库系统，且易操作。它包括一个类似浏览器的界面，用于访问和控制数据库中的对象；工作规划程序，允许用户自动执行许多数据库任务；SmartGuide：使用对话框，引导用户逐步进行性能配置、工具设置及数据库监视和管理等操作。ControlCenter的主要功能包括以下方面：对象管理：删除，复制，更名和分析对象；配置管理：配置数据库管理器和数据库；编目未编目数据库和网点；安全管理：增加，改变，删除规则及其授权和特权；修改和引入表空间，显示桌面空间分段存储；操作管理：(备份/恢复等)。此外，ControlCenterScriptCenter、Journal等。ScriptCenter帮助你SQLDB2命ScriptCenter也能识别操作系统命令，因此用户可以只用一个脚本语言，例如PerlJournalAlertCenter作，共同监视系统并自动发出问题警报。ControlCenterVisualExplain可视说明)、PerformanceMonitor性能监视器)。DB2UDBV7.2的管理工具免费包含在Windows95/98/MEOS/2或WindowsNT平台上的DB2客户机端产品(DB2CAE)中。VisualExplain可视说明 )DB2VisualExplainDBMS存取数据时所选定存取计划的详细信息。SQLSQLVisualExplain中，表、索引以及对它们所作的操作都用节点来表示，数据的传递则表示为各个节点之间的联系。DB2VisualExplain用易于理解的图形方式展示存取计划、数据库对象(例如：表和索引)SQL语句和数据库可以调整到更佳的性能获得更高的效率。ExplainSQLI/OCPU成本估算，联编时间和当前目录统计、预测信息和基数。例如，管理员和开发人员能很方便地指出给SQL语句中代价最高的操作是哪个，从而集中精力调整那个操作。SQL的“如果—则”模型(What-ifModelingforSQL)：VisualExplain允许用户SQL语句的各种变化所带来的影响进行模拟。例如，在有1,000,000100的测试环境添加更多数据。DB2性能监视器 (PerformanceMonitor)DB2PerformanceMonitor提供了全面的性能数据采集、查看、报告、分析和报警的功能。全面灵活的数据采集：包括缓冲池、锁和死锁、排序、通信、代理和日志信息，显示的数据有数据库管理器、数据库、表空间、表、连接、事务和语句等。PerformanceMonitor还支持两类性能数据——快照(snapshot)了更多的灵活性。快照数据周期测量时间点上的性能特征，而事件数据汇总了某个期间的性能属性(DB2PerformanceMonitorCPUCPUSQLCASQL语句文本。使用方便，查看和报告直观：采集到的数据可以实时查看或记录下来，供以SQL当查看数据时，用户可选择图形表达方式或文本表达方式。图形说明有助于用户解释复杂的数据，而文本式输出可以用于报告和归档。功能强大的数据分析：PerformanceMonitor支持类似电子表格的公式，从而允许用户定制测量方式。例如：用户不必考虑绝对测量结果，他可以直接监测由求最小值和最大值。PerformanceMonitor包括一组常用测量法，用户可以直接使用其中的监测功能。此外，它可以分析数据、筛选出适于某些数据库对象或某一时间阶段的记录。例如，用户正追踪一个性能问题，他可以迅速地定位与给定数SQLI/O成本，它们可以按降序排序，显示出成本最高的语句。异常条件。当达到阀值时，用户可指定下述任一或者全部动作——XXXNetView(R)产品家族。例如，如果给定表的溢出比例过高，管理员可以指示PerformanceMonitorPerformanceMonitorXXXNetView发一个警告，通知重要操作。利用这样全面、灵活且便于使用的监测功能，管理员和开发人员就拥有了强有力的工具，来进行性能调整和发现问题。DB2通用数据库(UDB)的其他先进功能DB2UDBDB2UDB的光盘，“自动运行”就开始安装程序，用户即可根据“标准安装向导”按步就班地DB2UDBSQL(OuterJoin)单精度浮点数据类型(RealData、表功能(TableFunction)、重命名表(TableRename)500列、调用级界面(CLI)ODBC3.0标准一致、滚动游标(ScrollableCursor)。表功能实现了操作文本文件中的数据就如同操作关系型数据库中的表格。A约束和触发器面向对象的扩展可以让用户把自己数据的“知识”封装到数据库中，而不必将它编到应用程序中。上面述及的用户定义数据类型(UDT)和用户定义函数(UDF)是封装知识最重要的两种。封装数据知识的另一种办法是把业务规则定义到数据库内。这种办法可以通过申明引用完整性、约束和触发器等得到支持。一旦在数据库中建立业务规则，任何用户和程序都必须遵守这些规则。约束和触发器能定义复杂的完整性规则，利用这些完整性规则保障数据库的正确性。约束和触发器增强了其它面向对象特性的能力，它们扩充了唯一对象代码库(其方法不能修改)，从而支持附加的特殊对象属性和约束条件检查。它们也有助于实施对象间完整性规则。通常检查约束条件是为了实施一项业务规则。例如，一个用户可以在EMPLOYEE表上定义约束条件，其中指明一个雇员的工作只能是'Sales'、'Mgr'或者'Clerk'三者之一，并且在该公司服务超过8年的每一位雇员的工资必须大于一定的数值。alert报警)功能——触发器可以调用一个用户定义的函数(发送一个电子邮件消息)。B递归SQL查询DB2UDBV7.2支持递归SQL，从而不仅支持材料单查询，而且也支持更强有力的递归查询形式，如路径表达式查询。由于支持递归，下述查询例子会很容易实现：材料单查询：用户想返回各个部分的子部分，各子部分的子部分等等。SQLToronto多伦多)Perth佩思)London伦敦)Chicago芝加哥)3次。优化器能够为递归查询和非递归查询进行很复杂的转换和优化，从而选择出更佳的访问方案，使性能得以改善。C灵活管理大型数据库和高可用性DB2UDBV7.2DB2forOS/390相似的方法，允许数据库管理员把数据库划分成若干称作表空间(tablespaces)的部分。表空间可以单独管64324GB24X7可用性，包括以下几个方面：支持不同操作环境下的群集技术：允许您定义运行于多台服务器上的DB2DB2仍能运行。灵活的空间分配：在不停止数据库运行的情况下，通过增加更多的设备LOBI/O速度快的硬盘上，从而获得最佳的性能。表空间级的备份和恢复功能：为客户的应用提供了最大的自由度——可以从整个数据库备份集中选择需要的单元进行恢复。支持联机或脱机备份和恢复：在进行备份处理期间表空间可以是联机的或脱机的。在进行恢复处理期间，所有被恢复的表空间(而不是一个表空间)可保I/O错误(例如磁盘失效)恢复操作未完成之前被禁用，而该数据库的其余部分仍保持正常工作。/恢复大大地减少所花费的时间，从而满足关键性维护任务的需求。备份和恢复实用程序能以并行方式使用若干设备，这样就减少了这些实用程序所耗费的运行时间。Point-in-time表空间前滚功能：可将数据库恢复至发生错误之前的位置LOADLOAD实用程序快几倍，同时又保证装入数据的可复原性。D数据复制DB2UDBV7.2内置的复制功能允许从一个数据源读取数据并把它送到另外此外，它还有以下特色：DB2UDBV7.2Oracle、SybaseXXX数据复制方案。PullArchitecturethroughStagingTables分级表牵引式体系结构组成部分——CaptureApply。Capture部分在源数据库服务器上运行，它捕获要被复制的数据，并把数据放入服务器分级表中；Apply部分在目标机上运行。抽取所需的数据。这种被动的“牵引式”体系结构减少了数据源的额外开销，能够支持数据源及目标机的独立运作性以及新一代流动计算机作为目标机的数据复后再复制到各区域内的目标机上。支持更新和修正：既支持更新也支持修正复制。Apply标数据或者仅仅修正上次复制以来所发生的改变。DB2运行日志(LOG)中读出修改，从而抓取用于复制的数据修改，进而安排好这些数据。这就减少了I/O。加工数据：数据首先要从运行记录移到分级表，所以能在复制之前加工DB2SQL就能定义加工处理功能。除了SQL等等。GUI管理机构：DBA和程序员的范围。E对SQL标准的完美支持和开放性COMMITROLLBACK例如，DB2UDBV7.2forAIXDB2UDBV7.2forHP-UXCICS/6000和CICS/HPX/openXA标准实现的。多用户并发控制：并发控制是通过行级封锁、查询结果游标处理以及层提交读等方式。数据完整性：和向前滚动恢复维护物理数据完整性。数据安全性：SQLGRANTREVOKE权。DB2UDBV7.2具有审计(Audit)C2。高性能：DB2拥有迄今为止最好的性能(TPC-C&TPC-H)和最佳的性能/XXX研究开发的工业界最先进技术：基于成本的感受到最佳的性能，而不必关心如何构造一个查询。此外，DB2I/OI/OI/OSQL、I/O等技术一起共同发挥了单处理器及对称多处理(SMP)GlobalSQLCacheSQLSQL目录访问最小化。数据库管理员可以同时创建多个不同大小的缓冲池后将它们指向特定的表格空DB2线响应时间会产生很大效益。ANSISQL93(CLI)和开放式数据库连通(ODBC)JDBC。同时还支持嵌入SQL静态格式和动态格式，SQLC，C++，Cobol，Fortran等宿主语DB2的存储过程就是通过嵌入SQL进行编程，然后在数据库中执行一个调用存储过程的语句来实现的。GUI数据库管理工具、命令行界面、以及/能监测，并提供了多个参数，以调整系统和数据库的性能。高可用性：通过HighAvailabilityClusterMulti-Processing(HACMP高可用性集群多重处理)支持DB2UDBV7。DB2WarehouseManager数据仓库管理器)XXXWarehouseManager是XXX数据仓库解决方案的重要组成部分，它主要由以下几部分功能组成：数据访问，数据转换，数据分布，数据存储，靠描述性数据查找和理解数据，显示、分析和发掘数据，数据转换过程的自动化及其管理。它缩短了复杂的海量数据与有洞察力的商务决策之间的差距，有助于公司更进一步了解其业务、市场、竞争对手和客户。XXXWarehouseManagerDB2家族中的任一数据库，也可以是OracleSybaseInformixSQLServerIMSVSAM文件DB2UDBforWindowsOS/2AIX/600HP-USunSolarisSCSINIXDB2/400DB2forOS/39WarehouseManagerETLAIX、Solaris、WindowsNT/200平WindowsNT/2000上。下面，我们将从几个Warehouse。DB2WarehouseManager的主要部件XXX查询管理、信息编目等一系列工作。具体包括：ETLDB2WarehouseTransformer；ETLAgent。MetaDataDB2WarehouseDB2WarehouseQueryPatroller；InformationCatalog；QMF等NativeDB2据，DB2WarehouseManagerRelationalConnect。数据抽取、转换和加载(ETL)功能建立和维护数据仓库的过程由多个步骤组成，主要包括数据的访问、数据的转换、数据的分布、数据的存储、流程的自动化、数据的维护几个方面。以下将针对每一个实施步骤进行详细的说明。A数据的抽取对数据的访问包括数据源和目标数据库两个方面。DataWarehouseManagerDWM)OracleMSSQLServerFilesFoxProDB2UDB。DWM可以访问源和目标库，都需要首先将源数据库和目标数据库都登ODBCDWM中定义数据源及目（如下图数据访问所需要做的工作就基本完成了。DB2WarehouseManagerODBC方式访问各种关系型数据库，也支持FTPFTP传递到本地后用数据装载(LOAD)方式放入数据仓库。DB2WarehouseManagerRelationalConnectDB2Connect，DB2WarehouseManagerNativeOracle、Informix、Sybase、SQLServerDB2/390、DB2/400等数据库。B数据的转换、分布及存储据仓库之前都要经历一定的清洗和转化的过程。DB2UDBDB2WarehouseManager100种的转化程序以确保其可以满足客户的各种对数据些转换器总共可以分为四类：SQL函数、数据仓库转换程序、统计算法以及用户自定义函数：SQL转换程序包括求均值，最大最小值，针对某一位向上钻取等；数据仓库转换程序则负责基本的数据转换，如数据的净化，生成作为主外键的字段等；统计算法可完成以下工作：基本的统计算法，线性回归，移动平均，均方差等；可以是可执行文件、批处理程序等。以上的这些工作在具体实施时，是与进程及步骤的定义结合在一起的，要定义进程对象需要选择进程所涉及的数据源和目标（前面已经定义好）以及对数据源需要作的处理步骤，所谓步骤即可能需要作运行各种转换程序，可能是一个SQL语句，可能是一个匹处理程序，可能是进行数据的装载。所有步骤定义完成后，还需要定义执行所有步骤的顺序，从而生成一个完整的数据处理流程，最终将经过转化和清洗的数据放入数据仓库。参考下图为一个简单的流程定义结果。图5 DB2WarehouseCenter中定义数据仓库数据加工步骤C数据装载DB2WarehouseManagerDB2UDBDB2UDBDWM中提供的数据装载功能可以和其它数据抽取、转换功能结合在一起被统一调度执行。一般地，在数据仓库的具体构建中，可以在数据仓库或交易数据阶段性中间信息库(ODS)中直接对数据进行加工处理。对于比较大的数据量，往往采用将数据库中表的处理结果写入硬盘，然后再利用快速数据装入功能装入数据库的方法来提高数据仓库的处理速度。D流程的自动化DWM有效地减少了在建立数据仓库以及日常的抽取数据时所需要的人为的DWM出错处理。DB2WarehouseManager对每一个步骤支持如下流程控制：成功时：指示一个步骤将在它前面的步骤运行成功时才开始运行。一个步骤是否成功。失败时：指示一个步骤将仅在它前面的步骤运行失败时才开始运行。E数据仓库的维护DWMDB2的控制中心中完成。来创建至数据的直接路径，使得对表中的行的访问更为有效。“DB2通用数据库”信息。表存储在数据库中。您还可使用重组来控制表中的行的存储次序（应。对数据仓库中的表运行统计信息以及重组表的工作都可以作为数据仓库数据加工的一个步骤在DB2WarehouseCenter中定义，DB2WarehouseServer会自动执行相应统计信息和重组表操作。元数据(MetaData)管理XXX数据仓库的模型以描述性数据的形式存储于该数据字典中，它定义了数据仓库的结构和内容，用于对数据源进行抽取、过滤、转换、映射后放入数据仓库。这种大大方便了具有相同结构数据仓库的建造。WarehouseManagerDB2WarehouseCenterBusinessManager(MetaData)DB2WarehouseManager的其它技术特点A数据仓库的可扩展性WarehouseManager后再把它们整合到一起形成企业级的数据仓库。B系统环境的开放性WarehouseManager以最少的费用快速开发出用户所需的数据仓库。C规模化的体系结构WarehouseManager提供了一个完整的分布式客户机/服务器系统环境，它使不同的服务器，也可都安装在同一服务器上。D处理OLAPWarehouseManagerDB2OLAPServer上一种或多种星型图表的全部映WarehouseManagerDB2OLAP以外生成的星型图表初始化或引入关键码。E按照业务需求建立数据仓库数据加工步骤WarehouseManagerSQLJoinGroupbySQL声明。WarehouseManagerWarehouseManager率。WarehouseManagerWeb支持功能，允许从任何WebWarehouseManagerF解决方案产品包(SolutionPackage)XXXWarehouseManager设计了一个完整的解决方案。XXXInformationCatalogWarehouseManagerLotusApproach和相应平台上的DB2UDB打包在一起，作为一个完整的解决方案提供给用户。其中，InformationCatalogApproach可帮助用户分析信息并把它们以图表的方式表示出来。WarehouseManager据纯化、在线分析处理、端用户查询和报告等功能。Manager据。XXXOLAPServer(多维数据库服务器)在线分析处理(OLAP)XXX一个分析工具——DB2OLAPServer，深入最终用户的业务，对桌面上的数据进行实时操作。DB2OLAPServer是一套独特的商务工具，能够快速地分布传统监视和报告范围之外的应用程序数据。DB2OLAPServer引擎XXXDB2OLAPServerHyperionEssbaseOLAPDB2的可靠性、可管理性和访问能力。HyperionEssbaseOLAPOLAPAPIEssbaseSQL的应用程序结合时，DB2OLAPServerWarehouseManager将为端用户提供更多的前端工具和业务智能应用程序选择余地。如今，用户可以享受到多种OLAPHyperion的OLAPDB2数据。DB2OLAPServer以图形化的方式定义多维模型。多维模型以维和成员分层算而来。DB2OLAPServer将一个多维立方体中的各个维以紧凑维和稀疏维加以区分，在物理存储时将所有的紧凑维以小立方体块(block)形式存储，而所有的稀点才存储一个指向小立方体块的向量。通过采用这种稀疏矩阵的存储方式，DB2OLAPServer既避免了由于多维及多层次而导致的多维存储膨胀率过大这一问题，有可以同时获得比较高的访问速度。DB2OLAPServerMOLAPMOLAPDB2UDB中，两种存储方式之间可以任意切换，在一台服务器上采用两种不同存储方式的多维立方体可以共存。这样，即获得了MOLAP方式存储高效、节约硬盘空间的优势，有同时具有了关系型数据库海量存储和易于管理的特点。ApplicationManager层次和成员，DB2OLAPServer会自动重构多维立方体的存储，而无需重新装入数据。ApplicationManagerDB2OLAPServer个维度和层次做汇总计算时，将只对新增加的和修改过的数据进行更新，而无需重新计算整个多维立方体，从而大大加快计算速度。(数据维度权限)DB2OLAPServer支持完整的用户权限控制，管理员可以分别对应用、多维立方体以及多维立方体中某一个维中的某一个成员对用户和用户组设定不同的访问权限，并且无需编程。这一功能使得用户可以用一个相同的应用满足不同权限的用户的需求，无需针对不同客户单独开发多维分析前端界面，且所有的安全权限控制亦不需要进行复杂的编程，从而大大降低了开发和维护成本。DB2OLAPServer支持大量用户并发访问，对于同一个多维立方体，在一个(cell)个多维立方体之间可以完全并行操作——维度更新、数据装载、汇总计算以及前端访问。DB2OLAPServer支持对多维立方体中的任意一个单元格的修改操作，无论此单元格是输入的原始数据还是汇总后的数据。用户可以通过此功能迅速实现What-if分析功能。DB2OLAPServer各个附件DB2OLAPServerTools、PartitionOption、IntegrationServer、Objects、Web、AllocationManager、OLAPMinerAToolsBundleToolsBundle是OLAPServer最重要的部件之一，它具有如下功能：SQLInterface：访问关系数据库源；CurrencyConversion：外币汇率转换；ApplicationProgrammingInterface：客户程序接口；ExtendedSpreadsheet1-2-3ExcelBasic函数。BPartitionOptionPartionOptionCPU持：TransparentPartition透明分区CPU达到并行计算和分布存储的目的。ReplicatedPartition复制的分区允许将一个多维立方体内的一部分数据复制到另一个多维立方体内。一般用于将公司总部的数据中与某个地区分公司相关的数据复制到各个地区的本地OLAPServer中以加快各个地区进行分析时的查询速度。LinkedPartition链接的分区将一个多维立方体内的某一个Cell连接到另一个多维立方体的某一个Cell上。利用链接的分区可以实现多个多维立方体之间的自动连接。COLAPIntegrationServer(OIS)DB2UDB中将DB2OLAPServer度更新规则、数据装载规则，并自动计算。SQLDrill-ThroughDB2OLAPServer维立方体内某一个单元格(Cell)HOLAP形式实现多维分析应用。例如，对于一个非常复杂的多维分析模型，我们可以在数据仓库目标数据库DB2UDBOISDB2OLAPServer的多维模型DB2OLAPServerOIS中定CellDB2SQL语句。这样，在对此多维模型进行分析查询时，DB2OLAPServerDB2OLAPServerOISSQLDB2UDB中直接查询详细信息。DDB2OLAPServerObjects用来为VisualBasic应用提供开发接口。EWebGateway用来为Web方式直接管理DB2OLAPServer提供接口。FAllocationManager预算分配管理器。GOLAPMinerDB2OLAPServerOLAPMinerDB2OLAPServer之上直接实现了一定的挖掘功能。OLAPMiner的背离进行重点分析，可以更快地找出问题的所在。DB2OLAPServerDB2WarehouseManager集成DB2OLAPServerWarehouseManager有机地集成在一起：OLAPDB2OLAPServer的立方体；OLAP描述数据外部化；实现数据集市。DB2OLAPServer和Essbase产品最突出的方面在于它特别的分析能力和简便的分布。虽然从应用程序角度上讲易于分布，OLAP系统更倾向于把劳动集中于获得和清除数据，经过许多努力，使用DB2OLAPServer的部件OLAPIntegrationServer能够自动地创建和维护多维数据库，大量减少手工维护并确保数据稳定。WarehouseManagerOLAPServer相结合还有一项附加的好处，就是在数据仓库管理器上创建了一个中间信息仓库(ODS)。这个中间数据仓库包含干净、OLAPOLAPOLAP以外的分析比如查询客户地址等，这些中间数据就可以废弃。WarehouseManager与OLAPServer相结合对于分析业务需求来说是一套很好的商业智能解决方案，它利用自动维护仓库工具提供了强大的针对分析型数据的分析能力。这种结合在业界是独一无二的，巩固了XXX在商业智能上的地位。DB2OLAPServer支持的前端工具DB2OLAPServerCAPIDB2OLAPServer中存放的数据。DB2OLAPServer的市场份额居于业界领先地位，各种多维分析前端工DB2OLAPServerXXXOLAPDB2OLAPOLAPBusinessObject、Brio等。此外，DB2OLAPServerMicrosoftExcelLotus1-2-3DB2OLAPServerOLAPServer中获取的数据生成各种图表。DB2OLAPAnalyzerDB2OLAPAnalyze，可以达到企业的“商业智能化组织的效率。信息技术人员可以让用户利用分析和报表的功能获得他们所需的信息，而不会失去对信息、数据完整性、系统性能和系统安全的控制。强大功能的报表Web页面上找到可用的一系列报表。图形化分析远远超出对数据的静态图形化步骤。决策人员可以根据需要排序、分组数据Chart）的类型（直方图、饼形图、线图、堆积图多种图表步骤：直方图、线图、组合图、饼形图、堆积图和离散点图可在任何地方“钻取”—没有路径的预先定义完善的报表复合报表通过用各种不同的形式（交叉表、图表、表格或以上几种形式的组合来表现分析结果，对工作进行概括。优美格式的商用报表（WYSIWY）显示数据挖掘工具（XXXIntelligentMiner）当用户的数据积累到一定数量时，这些数据的某些潜在联系、分类、推导结果和待发现价值隐藏在其中，我们可以使用数据发掘工具帮助发现这些有价值的数据，XXXIntelligentMiner。XXXIntelligentMiner被选为DM读者奖。XXXIntelligentMinerIntelligentMiner学习(machinelearning)或神经网络(neuralnetwork)In