sas数据仓库与数据挖掘

sas数据仓库与数据挖掘

…从业务数据中提炼决策支持信息的解决方案

口水etit小

g

SAS研究所与SAS系统,

利用SAS技术建立你的数据仓库IJ2

SAS数据仓库的构成金/4

SAS数据仓库的体系结构V.6

%ssofbei©

SAS数据仓库的开发9

SAS的数据仓库产品-SAS/WA12

SAS帮助你进行数据挖掘15

SAS的数据挖掘的方法论-SEMMA17

SAS数据挖掘的集成软件工具-SAS/EM(EnterpriseMiner)21

决策支持智能化24

企业级的报表制作工具-SAS/ER+SAS/MDDB+SAS/IntrNet27

在网上展开SAS功能31

SAS研究所与SAS系统

SAS系统是用于严肃数据分析与决策支持的大型集成式模块化软件包。六十年代末到八

十年代初以统计分析及线性数学模型为主，并以此闻名于世。故其早期名为“Statistical

AnalysisSystemuSASn即成为SAS软件研究所(SASInstituteInc.)产品的总商标。

SAS软件研究所跨国公司成立于1976年，总部设在美国北卡州凯瑞市(CaryNorth

Carolina)oSAS保持了20年连续不断的两位数的业务收入增长率，现已是全球最大的私人

软件公司与全球排名第九位的独立软件商。缘其是私人独立软件商，免受股市与公众股东资

本的操纵与影响，按自主意志把收益的很大部分再投入于研究与进展，使其研发投资比重一

直保持了全球软件业的领先地位。凭借这一技术优势，遍布世界的4500多名SAS员工为

120多个国家的三百五十多万SAS用户提供了行业公誉的高质量技术服务与支持。

面对当今竞争日趋猛烈、瞬息万变的世界市场经济，从国家机关到企业界的各类人员都

要面对各类机遇迅速作出抉择。计算机系统支持人们能做出迅即反应业务处理的能力已满足

不了当今的需求，要信息技术对各个层次与各类类型决策进行支持已是IT行业进展必定趋

势。SAS以其具有前瞻性的技术开拓，在决策支持工具一一数据仓库与数据挖掘(Data

Warehouse与DataMining)方面已连年被评为“年度最佳产品”、“最佳决策支持工具”。公

司卓著的业绩使之被评为“全美国人们最乐意为之工作的100家公司”之一及“最佳决策支

持工具的供应商”。

Internet已成为世界信息的通衢大道，Intranet也已成为先进企业的信息经脉。SAS技术

也与之有着同步的进展。SAS的IntrNet产品使全部的SAS技术最大限度的实现了

Web-Enable。这使得SAS原先跨多平台应用的开放机制扩展到了网络计算环境与网际应用.

这不仅使SAS使用更加方便，而且使那些以Thin-client运行的系统在使用SAS时节约了投

资，并减少了系统保护的工作量。

在这里将按下面五个脉络向你系统的介绍SAS技术：

*SAS世界领先的数据仓库技术

*SAS获最佳决策支持工具褒奖的数据挖掘技术

*SAS的业务智能化技术

*SAS的企业级报表制作工具

*SAS的Web-Enablement

利用SAS技术建立你的数据仓库

由于使用SAS系统成功地建立了许多卓有成效的数据仓库，SAS系统的数据仓库产品

已连续两年(1996-1997)被美国著名的“Datamation”评为“当年度最佳产品”。销售额也

占据了SAS产品的首位。98年又在DCI全球数据仓库大会荣获"ExcellenceinBusiness

InformationM大奖。正象数据仓库尽管是个较新的词语，但它是计算机技术进展的必定结果

一样；SAS获此殊荣也非一日之功，正是它顺合计算机技术进展规律的渊源所致。

为什么在有了这么多数据库产品之后，人们又要用数据仓库技术。业界的各路诸侯又如

此趋之若鹫。这正是计算机技术应用需求的推动。当年数据库技术大进展的过程是伴随着

OLTP(OnLineTransactionProcess联机业务处理)应用需求的推动。联机业务处理最迫切

的技术要求就是快速响应。数据库技术，特别是基于E.F.Codd提出的关系理论的数据库的

技术，将数据集分成了甚少冗余的实体(Entity),然后又将它们按一定的关系(Relationship)

编织成一个有机的整体，比较完美地满足了OLTP的应用需求。关于每个业务处理最好只须

涉及一个实体，业务处理关于实体的Add或者Update也只涉及数据媒体的可能最小的空间

(如记录级封锁技术)，关于其它实体的有关更新通过关系保持了一致性与完整性。这个切

合当时OLTP应用实际需求的理论与技术的成功，推动了关系数据库产品风靡世界。

象计算机技术的迅速进展一样，猛烈竞争的市场也激发了各行各业对计算机应用的更多

样的需求。计算机用户早已不满足于计算机能帮助他迅速地处理具体业务，他们要从这大量

业务数据中探索业务活动的规律性，市场的运作趋势，并从中为他们参与市场竞争作出重要

的决策。

由此而来产生了对DSS(DecisionSupportSystem)决策支持系统的需求。支持决策

就要进行数据，信息的分析，这就产生了OLAP(OnLineAnalysisProcess)联机数据分析

处理的需要。决策支持所根据的数据从哪里来，当然是成功运行着的业务处理数据库中的数

据。因此最早的决策支持所进行的数据处理就是直接使用数据库中的数据。可称之为

ROLAP,即利用关系数据库的数据进行联机分析处理。SAS系统早就具有最强有力的数据

分析处理能力，再加上SAS的SAS/ACCESS对几乎所有数据库与数据文件的强大的读取能

力，与SAS跨多平台的运作能力，SAS系统就成了最完善的ROLAP工具。

当ROLAP只使用很少的关系数据库表时，这一操作是可行的。这种操作往往是针对局

部性问题进行的决策支持数据分析。但面对市场的决策往往是涉及整个企业范畴的数据与信

息。这就要同时启动大量的数据库表，同时要将众多表中的数据按一定的规律拟合起来，形

成恰好针对所支持决策问题的数据内容。这样一个过程或者许是十分复杂，且耗费大量资源。

或者许企业的数据是分布在若干个系统中的，这样的数据整合过程几乎是难以完成的。

除此之外，在一个数据库表中的每一条记录也并不是某项决策都需要的，这要按决策支

持的需要编制专用的数据筛选程序。再者，联机业务处理系统中的数据有一个特性：即每一

条记录都有产生，反复的变更、修改，直至数据记录不再变化的过程，称之为“数据到位”0

比如：一个物料在一个工厂中产生了，联机业务处理系统中就要添加一条相应的记录；这个

物料不断地进行加工，就要在它的记录中记入加工的参数：当这个物料加工成产品，被发货

出厂，就要再登录这些出厂信息，此后，记录其生产过程的数据就再也不能修改了。假如要

进行产品生产周期的分析，就只使用发货出厂后的那些物料的数据，而不能使用同一表中的

正在加工的物料的数据。

由此可见，直接使用联机业务处理系统中的数据进行决策支持数据的分析处理是会产生

许多烦恼的，甚至是实现不了的。这时候，人们就会问为什么系统中有我需要的数据，而我

却无法运用呢！这不是说关系数据库不好，而是老产品遇到了新任务。E-R型的数据结构能

完美地执行联机业务处理，但不习惯较大规模的决策支持数据分析，特别不习惯企业级的决

策支持数据分析处理的需要。习惯这一需求，应运而生的就是数据仓库技术。

在W.H.Inmon所著“BuildingtheDataWarehouse"一书中给出了数据仓库的定义:

据仓库是面向主题的、整合的、稳固的，同时时变的收集数据以支持管理决策的一种数据结

构形式这一定义指出了数据仓库与事务处理系统之间的要紧差异。数据仓库的目标是为

了制定管理的决策提供支持信息，这显著的与OLTP系统的快速响应需要不一致。正象企业

为了进展要进行业务重组一样，为了支持管理决策需要也要按决策业务科目的要求重组

OLTP系统中的数据，并要按不一致决策，分析内容分别组织使之方便使用。这种基于主题

的模式从用户角度来看就是多重的数据重组结构。

在把数据装载到数据结构重组后的数据仓库之前，先要进行数据转换，或者称“整合”

处理。这一处理包含几个必不可少的操作步骤，做到使数据完整、统一，这就确保了在使用

数据仓库时其中的数据是有质量保证的，对此后文有详述。简而言之，整合就是保证数据准

确，到位，没有超出应有的数值范围，没有重复等。数据仓库中的数据不象事务处理系统中

的数据那样频繁的修改，因此它是比较稳固的（不必实时修改）。在一次数据分析的执行过

程中使用的数据不得变更，这才能保证两次在使用同一组信息进行分析时不可能得出不一致

的答案。数据仓库通常是按周、月或者隔月从OLTP系统周期性的批次更新数据。由于具有

数据的时段稳固性，对数据仓库来说就能够减少许多传统RDBMS务必的资源消耗，如：记

录的锁机制、参照完整性的检查、数据操作的日志、与检查点/回退（Rollback）等。

与OLTP的“实际事件”相比，SAS数据仓库的数据组织可呈多维时间段结构（时变的

—比如：1997年各个月份的销售数据），这一数据结构供进行某一时间段众多事件的定量

分析用，并产生相应的结论。从本质上说，数据仓库的目标是从联机业务处理系统中筛选出

某项决策所需的支持数据，再在分析处理过程中得出进行决策时有用的信息。供分析使用的

这种时变数据亦可预先归纳出若干层次的汇总数据以利决策支持使用，这样，在常规决策操

作时就不必临时进行基础数据的汇总处理了。

SAS系统提供的数据仓库模型是包含了数据仓库管理、组织与信息展现的整体解决方

案。这是由一族有机组合产品构成的阵容强大的模型。在下图中表示了SAS数据仓库的模

SAS数据仓库一览

总之，数据仓库是当今社会的人们参与市场竞争等各项活动，要进行决策时的最适合的

数据结构形式。是习惯企业重组(Re-Engineering)时，进行企业数据、信息重组的工具。

SAS在数据仓库技术上的成功例证与经验也必定能帮助中国的企业更卓有成效的走向市场

经济的大潮。

SAS数据仓库的构成

提醒您：在购买数据仓库产品时注意其必不可少的技术环节

数据仓库是习惯决策支持系统的需要而产生的，因此人们希望所使用的软件产品能支持

决策过程的全部工作内容。SAS的数据仓库技术就是能够支持决策全过程的整体解决方案。

包含：

*从任何业务处理系统或者数据源中取出决策所需数据

*对源数据进行清理与整合

*按计划或者规则进行数据仓库的装载与更新

*按支持决策的需要，以多种形式进行数据与信息的组织

*最丰富的决策数据分析处理能力

*灵活多样的结果展现方式

假如您想建立决策支持系统的话，您就应当检查您所使用的软件工具是否具备上述全面

的能力。

SAS系统的数据存取能力

从早期的SAS技术来看，它就是一个十分通用，且又十分开放的软件产品。唯有这样

SAS才会在如此广泛的各类不一致类型计算机系统平台与各类各样的环境中得到充分的运

用。SAS有一个SAS/ACCESS产品，利用它可对众多不一致格式的数据进行查询、访问与

分析。SAS/ACCESS提供了与目前许多流行数据库软件与老的数据文件的接口，用

SAS/ACCESS可建立对应外部异构数据的一个统一的共用数据界面。所提供的与外部数据

的接口是透明与动态的。用户可不必将数据确实读到SAS系统中来，而只需在SAS系统中

建立对外部数据的描述（亦即所谓View）,便可把这些外部数据当作真正存储在SAS系统

中的数据集一样使用。这时，用户即可使用这些数据进行所谓ROLAP式的数据分析与决策

工作。对一些经常反复使用的外部数据，亦可利用SAS/ACCESS将其真正提取放入SAS系

统中，并进一步通过整理放进数据仓库。SAS/ACCESS提供的接口是双向的，既可将数据

读入SAS系统，亦可在SAS系统中更新外部数据，或者将数据加载到外部数据载体中去。

这使数据仓库系统与原有的运行数据体系更加沟通。目前SAS/ACCESS支持的数据库要紧

有：DB2,Oracle,Sybase,Rdb,CA-Ingres,CA-Datacom,Informix,ADABAS,NCR-Teradata,

AS/400……等数据库。SAS/ACCESS还能支持一些老的数据文件系统，如有名的IBM/VSAM

等。通过ODBC使SAS系统与更广泛的开放型数据库建立了沟通。另外，通过SAS编程中

的DATASTEP可与任何明白其结构的数据进行联结。

在数据仓库的宣传中曾报道用一个数据库产品作数据仓库使用。但这个数据库对原有数

据载体没有存取能力，就又买了第三方的软件作为它们取出数据的工具。这种选择显然是不

妥当的。

SAS与众多软/硬件厂商长期友好合作所形成的跨平台的数据存取能力决非一日之功。

数据的清理与整合

在SAS的数据仓库系统中有专门的机制进行引入数据的检查、核对与将不一致来源数据

进行整合的技术环节。在一个企业或者其它大型的组织中，各类数据可能有不一致的类型，

格式可能也不尽统一，在原先不一致的应用场合亦可能使用了不一致的单位、制式，要想将

它们放在一起进行有效的处理，首先的要求就是统一。

从业务操作系统中引入的数据务必进行其完整性的检查。在一条记录中的各个数据项应

保持完整的存在关系。若有缺项，且又没有检查，这必定导致统计的错误，决策也会产生偏

差。

数值的有效性也是务必进行核对的。防止将数据源中的错误带入决策过程之中。

这些必要的清理工作保障了决策支持所使用数据的质量。

此外，还能够加入用户自己认为需要加强的环节。系统同意在数据整理的各个层次加上

用户自行强化的环节。

数据仓库的加载与更新

从数据源抓取数据不仅有质量问题，还有有计划的按一定时间节奏从数据源取出与装

入、更新数据仓库的问题。由于SAS系统有主动去取外部数据的能力，因此按时间节奏从

数据源取出数据的操作在与其它系统管理人员协调好的基础上，就可完全在SAS系统内制

定从各系统取用数据的计划了。在此基础上，数据仓库按照数据与信息使用的时间要求，准

时的加载、更新，就是完全有保障的了。

从数据源到数据仓库一气呵成的集成式的操作，这是SAS数据仓库技术的重要特点。

按决策需要重组数据与信息

清理好的数据还要进行重组。按照决策的需要组织成不一致的主题的数据仓库表。这是

十分关键性的操作。在再小的企业或者组织中，也总是有许多业务与技术环节的。通常来说，

原先运行系统数据库的设计也总是针对这些业务与技术环节设置“实体”，即数据库的表。

这样的设计使OLTP系统在线运行时，发挥了最大限度的工作效率。但在开拓决策支持的

OLAP时，特别是关于全企业范围的数据进行操作时，这种数据结构效率极低。这是由于可

能要从许多表中取出所需数据，而且还要进行数据的筛选，对不一致表中的数据进行拟合等

操作，这是极费时间与资源的。企业范围的决策是对各个环节分别进行业务处理的业务重组,

这就需要有相应数据结构的重组，即按决策的需要组织成不一致主题的数据仓库表，与相应

的数据视图，汇总表等•SAS为此设置了交互式操作的界面，以最大的主动性帮你完成决

策支持所需的数据重组。

丰富的决策数据处理能力

在有的所谓数据仓库产品的宣传中说：为了处理数据他们有各类函数功能供编程使用。

这显然是极其不够的。为了更有效地支持决策，可能需要进行广泛、深入的数据挖掘（Data

Mining)工作。

SAS在这方面有世界领先的丰富的决策支持数据分析、处理软件。

首先SAS/MDDB可帮你构造最适宜OLAP操作的多维数据结构。

SAS/STAT覆盖了所有的有用数理统计分析方法，是国际上统计分析领域的标准软件。

它提供了十多个过程可进行各类不一致模型或者不一致特点的回归分析；为多种试验设计模

型提供了方差分析工具；在多变量统计分析方面，为主成分分析，有关分析，判别分析与因

子分析提供了许多专用过程；还包含多种聚类准则的聚类分析方法……等。

SAS/ETS提供了丰富的计量经济学与时间序列分析方法，是研究复杂系统与进行预测的

有力工具。

SAS/OR提供了全面的运筹学方法。

SAS/IML提供了功能强大的面向矩阵运算的编程语言，帮助你研究新算法或者解决SAS

系统中没有现成算法的专门问题。

SAS/INSIGHT是一个可视化的数据探索工具。它将统计方法与交互式图形显示融合在

一起，为你展现了一种全新的使用统计分析方法的环境。

还有SAS的人工神经元网络与SAS/ASSIST...…等，具有很大伸缩性的，适合各个层次,

各类类型人员使用的工具。

灵活多样的结果展现方式

分析结果的展现方式对决策时人的判别有重大的影响.SAS也有众多的方式，方法供你

选择：在BaseSAS中就有从简单列表到比较复杂的统计报表与用户自定义的式样复杂的报

表的能力；SAS/ER(EnterpriseReport)更是为企业级的决策过程提供了报告的制作能力；

SAS/GRAPH是一个强有力的图形软件包，可将数据及其包含着的深层信息以多种图形生动

的呈现出来......。

从各类数据源主动的取出数据；通过清理、整合；再按决策支持的需要分别主题，重组

数据；按照时序节奏不断地自动装载、更新数据仓库；用世界权威的，丰富的数据处理工具

进行决策分析；最后以多种形式将决策支持的意见呈现给你。这就是完整的决策支持数据仓

库解决方案。

再次提醒您：在购买数据仓库产品时注意其必不可少的技术环节!

SAS数据仓库的体系结构

数据库技术对计算机应用的推动发挥了巨大的作用，特别是建立在E.F.Codd提出的E-R

理论基础上的关系型数据库更是对OLTP（联机业务处理）应用开拓了广阔天地。1994年

E.F.Codd曾回答一个提问：为什么对一个运行十分良好的基于E-R理论的关系数据库进行

查询，以制作一个较大型的报告时，其响应速度特别慢。他说：运行数据库是基于OETP需

求环境设计的，这已有太多的成功事例。但现在是OLAP（联机分析处理，这个概念述语

E.F.Codd在此第一次提出）类型的需求。要实现OLAP就要有习惯它的，整合的，快速的，

多维的信息架构与查询机制。

SAS数据仓库就是一个习惯于对企业级的数据、信息进行重新整合，适合多维、快速查

询；进行OLAP操作与决策支持的数据、信息的采集、管理、处理与展现的架构体系。可

用下图表示：

环境SAS数据仓库的体系结构

——数据仓库1

------主题］

主题表系统

主题表1.....

主题表n

汇总表组1

|SAS或者DBMS汇总层次1……

SAS或者DBMS汇总层次6

I--------MDDB1……

MDDBn......

汇总表组n......

信息市场1

|信息市场项目1……

信息市场项目n……

信息市场n……

题n

数据市场组1

|数据市场1……

数据市场n

।----信息市场1......

信息市场n……

数据市场组n……

数据仓库n……

运行数据定义组1

运行数据定义1

|数据文件I……

数据文件n

।-----外部文件1……

外部文件n……

-------运行数据定义n......

运行数据定义组n

环境(Enviroment)

环境是SAS数据仓库的体系结构的总根，它由两大部分构成。一部分是分别含有不一

致主题内容的若干个数据仓库；另一部分是对数据源的定义。这构成了从数据采集到直接应

用的完整的支持体系。

数据仓库(DataWarehouse)

能够存在多个数据仓库，这是为了使用的方便。在一个大的企业或者组织中不一致部

门在进行决策分析时可能使用的是徊然不一致的数据，重新整合后就没有必要将它们放在一

起了。在体系结构层次中的数据仓库要紧是管理性的作用，其中有对数据仓库所有构成单元

的解释性数据-Metadata。在每个数据仓库中还能够设置若干个主题，这通常是同一部门中

支持不一致决策内容对应的数据。主题是较大的数据载体，相对精简或者汇总一些的是所谓

数据市场，在一个数据仓库中亦可存在若干个数据市场。

主题(Subject)

在每个主题中有一个主题表系统，其中放置与此主题有关的各类数据。为了支持决策

方便还设置了若干个数据的汇总表组。进一步为了支持决策的方便还有若干个信息市场组，

其中放置的是对数据处理后产生的决策支持信息。

主题表系统(Detail)

这里放置的就是从各个数据源取出，通过清理、整合的原始数据。为了使用与管理的

方便，这些数据可放在多个表中。

主题表(DetailTable)

从运行系统数据源取出的数据，分别构成这里的若干表。它们可能是实际的表，也能

够是一些逻辑视图(View)。从本质上讲，它们与原先各个运行系统数据源的数据内容是一

致的。但是为了支持决策数据处理的使用方便，而对数据的结构进行了重组。为了决策支持

数据处理工作的方便，与提高了工作的效率，在数据重组过程中，可能还要增加一些数据冗

余。

汇总表组(SummaryGroups)

在汇总表组中定义进行数据汇总处理时的层次维数与所分析的变量。当汇总表组是按

SAS数据集与DBMS格式存放时可有六个层次，若是使用SAS的多维数据库产品MDDB

时则可有任意多个层次。实际上数据汇总就是最常用的决策支持数据处理手段，或者有的时

候是在汇总数据的基础上再进行进一步的决策支持数据处理。汇总表组能够有若干个，也就

是说能够对多种变量分别进行不一致方式的汇总处理。

汇总层次(SummaryLevels)

汇总通常是按时间进程而执行的。汇总层次就是表示你所选择的数据汇总处理的时间

维，如：日、周、月等。

信息市场(InformationMarts)

这是信息市场的分组，在一项主题中能够有若干组信息市场。通常来说是按不一致的

决策支持内容需要进行分组的。之因此要称之为“信息市场”，这正是表达了设置这样一个

机制的目的：要让决策者象到了一个信息市场一样，能最方便，最快捷的取得决策支持所需

要的信息。

信息市场项目(InformationMartItems)

这是信息市场中一项项具体的信息，它是对数据仓库中的数据处理后产生的结果。在

一个企业或者组织中决策目标并不总是随机的，相反总是有一些要经常反复进行的决策工

作，但是随着时间的进程，支持决策的根据在不断进展、变化。利用数据仓库架构就能够对

这样的决策支持数据处理工作自动的及时执行。当人们需要决策支持时，马上就能够得到这

些信息的支持。

信息市场项目能够是一些报表、图形或者分析的结果。它也能够是一项应用功能的输

出。你在调用这样的项目时，能够是即时启动此项应用功能，也能够将它们设定成在数据仓

库更新时作为系统运行的一部分。这样，就在可能的最早时间形成了决策支持的信息，为支

持决策制造最大限度的快捷与方便。

数据市场组(DataMartGroups)

这是对数据市场项目的分组，在一个数据仓库中能够有多组数据市场。这也是按内容

的不一致进行分组的。与“信息市场”一样“数据市场”也是一个形象化的表达词汇：要让

决策者能最方便的取得决策支持所需要的数据。

数据市场(DataMarts)

有的时候决策就是根据某些数据，但让决策者在浩如烟海的企业信息系统中找出这些

数据可能并非易事。正是为了这样地目的设置了数据市场。它实际上就是为了各类特殊需要

专门设计的数据表。特别是对一些要紧急查询的内容设置这样的数据表，就更有必要。你能

够注意到数据市场不是设置在每个主题内，而是设置在数据仓库的范畴内，这也就是说，你

可在以分主题的方式对原先运行数据重组的基础上，为了某种支持决策的需要，再跨主题进

行数据的重组。能够想象，这给你随着企业管理的进展，在要求你为了业务重组而进行数据

重组时，SAS数据仓库技术为你制造了可持续增长的、无限的数据重组的广阔天地。

运行数据定义组(OperationalDataDefinitionGroup)

这是对要从数据源取出的数据进行定义的分组。企业可能有许多数据源，比如说，它

们是放在不一致的计算机系统中的，你就能够分系统设置数据定义组。这从运行、管理上看，

或者者说从开发文档上看都是比较清晰的。

运行数据定义(OperationalDataDefinition)

在这里定义你要取出的数据。前面已述SAS不仅有多种方式可从各类环境中取出数据，

而且能够通过SAS/ACCESS在SAS系统中启动这些操作。因此这里就是你在SAS/ACCESS

中设定的逻辑视图(View)的描述。由于取用对象的不一致,它亦可能是SAS语句PROCSQL

的逻辑视图(View)的描述，或者是DATESTEP逻辑视图(View)的描述。

由上述内容能够看出SAS数据仓库有一个十分完善的体系结构。不仅为你建立决策支

持系统提供了完整的解决方案，而且为今后的持续进展留下了广阔的天地。这也正是SAS

获得数据仓库最佳产品奖的原因所在。

SAS数据仓库的开发

利用SAS技术建立数据仓库，在全世界已有数以千计的成功先例，从而也积存了开发的

经验。SAS研究所愿与你分享这些经验：亦即在提供SAS数据仓库软件产品时，还可向你

提供建立数据仓库的方法学，咨询服务，以至建立数据仓库的服务。数据仓库并不等同于数

据库，数据仓库也有其开发的特点。根据SAS的经验建立一个数据仓库会有下列五方面的

工作：

*任务与环境的评估

*需求的收集与分析

*构造数据仓库

*数据仓库技术的培训

*回顾、总结再进展

任务与环境的评估

数据仓库是建立在原有的运行系统之上的。因此要结合单位的现状来明确数据仓库的目

标任务。除了业务现状外，特别要搞清任务所面对的数据源所在系统与其中的数据的状况。

通过对这些情况的评估，看建立数据仓库的这个任务是否是可行的；所能建立的数据仓库是

不是用户所期望的；在此是否具有不可逾越的障碍。最好能确定评定将来数据仓库系统成功

与否的基本原则。

开展评估工作一定要有高层负责人参加，最好他就是将来使用数据仓库部门的负责人。

这样从他这里就能够熟悉到全部的业务工作状况。他也最清晰今后的工作目标及对任务的期

望，与与竞争对手比较有什么差距。在评估工作开展过程中，他应当及时的提出问题，并检

查、回顾工作的进展。

在他的领导下要构成一个项目组，并有下列人员参加：项目总负责人，与数据仓库有关

的所有业务单位的负责人，计算机软/硬件负责人，向数据仓库提供数据的数据库管理员与

网络方面的人员。项目组要进行项目定义，并首先按要达到的目标初步确定数据仓库的主题。

进一步说明这个主题的层次结构，及所涉及的有关业务处理。最好还能设立几个可量化的工

作指标。

除了业务工作外，还要对有关的信息技术状况进行评估：数据源的数据库类型，工作平

台，数据量，数据的质量等；将要建立数据仓库的环境状况，与所利用的网络技术状况。

全部评估工作应有正规的文档记载，并交数据仓库负责人审定。

需求的收集与分析

数据仓库是为支持决策服务的。故首先要看决策者（亦即领导）的需求，即：现在最重

要的工作目标是什么；如何衡量这个目标是成功的达到了；现在是如何获得决策支持信息的;

与竞争对手比差距是什么。

领导的决策总是由一批具体工作人员支持的，因此还应当从他们这里收集具体的需求，

并加以分析：对应前面所定的主题，现在利用什么信息或者报表（最好有实例）；这报表中

还缺什么信息；这报表是如何制作出来的；是否具有紧急、突发的决策信息要求，其内容是

什么；还希望数据仓库为他们做些什么等。

在此基础上确定：当前共同的业务问题是什么；希望开发如何的功能来解决这些问题；

由此定义好业务处理的规则；初步估计功能的规模与数据量；与此同时还要定义、理清业务

与编程需要的代码。

基于上述业务需求与分析即可开始制定系统的逻辑模型。

止匕外，还要对实现这些业务需求时，对信息技术的需求加以分析：每一个数据源的物理

存储状况、运行平台、数据质量如何；确认硬件、网络与软件的限制条件；数据装载与更新

的策略与问题；数据量与占用空间的估计；从信息技术看数据的质量有什么问题等。

最后，还是制作文档。其内容应包含：

*项目概述

*差距分析

*系统基本架构图示

*逻辑模型

*物理模型

*数据仓库初始装载与更新的策略

*数据仓库的运行计划

*决策信息展现的希望与需求

*数据仓库建成的时限

构造数据仓库

构造数据仓库包含了数据仓库的管理，数据仓库的组织与决策支持信息的展现三部分。

数据仓库的管理通过建立下列诸项内容实现之：设置与编写取用数据的程序；设置与编

写数据转换程序；设置与编写数据更新程序；设置与编写运行的接口程序；建立这一阶段的

所有管理用数据——Metadata；此阶段所有程序统一标准命名与建档。

数据仓库的组织包含了：规划数据仓库的初始装载；在数据仓库中建立所需的索引；除

了数据表外，建立数据视窗（View）；进行数据仓库及工作平台的安全检查；装入数据与应

用功能；建立这一阶段的所有管理用数据——Metadata。

决策支持信息的展现SAS有强大的工具软件可供使用：SAS/STAT是国际上统计分析领

域的标准软件，涵盖了所有有用数理统计分析方法；SAS/EIS是一个成熟的决策支持表现工

具，也是快速开发工具并使用了面向对象的开发方式；SAS/AF也是一个应用开发工具，并

含有众多现成功能的SAS软件作为方法库；SAS/ETS提供了丰富的计量经济学与时间序列

分析方法，是研究复杂系统与进行预测的有力工具；SAS/GIS是集地理信息系统与空间数据

显示分析于一体的软件；SAS还提供了人工神经元网络的功能；SAS/ASSIST使用了面向菜

单的驱动界面，借助它可使用许多其它SAS软件；SAS/INSIGHT是一个可视化的数据探索

工具；SAS/OR提供了全面的运筹学方法；通过ODBC,OLE等还可集成许多现有的桌面工

具。

利用这些工具可预先制作好许多常规的信息市场项目（Infomart）供支持决策使用，亦

可利用这些工具直接操作主题数据以得出新的决策支持信息。

数据仓库技术的培训

数据仓库是支持其使用者进行决策的，即使是建成了非常好的数据仓库，人对系统的运

作仍是决定性的因素。人利用数据仓库决策的成功才是数据仓库的成功，因此建成数据仓库

后要认真进行最终用户的培训I。首先要向用户介绍数据仓库全部的情况,用户掌握的越深入,

将来运用的就更好；数据是向用户介绍的重点，不仅要介绍详尽的数据内容，而且要介绍系

统如何保障数据的质量、完整性与可靠性，同时让他们在今后使用中进一步注意这些问题，

很可能这就是以后保护，改进的地方；Metadata是数据仓库的管理性数据，要告诉用户什么

是Metadata,在何处，如何使用它；图形化的界面与各项功能当然是培训的要紧内容；还要

介绍数据的更新计划与此后数据的可用性；汇总层次的增加，可能是用户新需求的内容，要

让他们明白如何与开发人员一起完成这件事；最后，不要不记得安全规范的培训。

假如数据仓库的管理员不是系统的开发者，那末该员亦属培训范围。培训内容是：数据

仓库的逻辑与物理模型；从OUTP系统到数据仓库的数据流；全部的数据转换操作；所有

Metadata的所在与内容，管理员对Metadata要有相当的熟悉程度才能胜任工作；数据装载

与更新的策略；所有安全性问题及其测度；所有程序文档资料的管理；等等。

回顾、总结再进展

在数据仓库的开发过程中要不断的回顾什么地方能够做的更好；业务部门对开发的支持

是否到位；双方如何合作的更好；什么是业务部门最立竿见影的效益，明白了就要抓住它；

什么是开发部门最立竿见影的效益，就要利用它更好地为用户服务。

开发有了一定进展，就要慎重地看看：主题的范围选择是否恰当；是否应参与的部门都

积极主动地参与了工作；有什么阶段成果；公布这些成果的反映如何；业务与开发部门分别

有什么反映；公司层的领导是否看到了初步成果；若有问题及时改进。

在数据仓库开发完成后要检查：数据仓库的使用是否对公司有所推进；数据仓库的使用

是否提高了公司的竞争优势；投资的回报率是否达到了估计的水平；是否有公司的其它部门

可利用数据仓库获得效益；是否具有得到未曾期望过的效益。

数据仓库的开发往往是从一个简明的急需主题开始，从中积存经验，并由此也可能会激

发用户的新需求，然后不断扩大数据仓库的内容与规模。只要你稳扎稳打，循序渐进，SAS

一定能帮你建立好你们的数据仓库，并使您的部门利用它获得更大的效益。

SAS的数据仓库产品-SAS/WA

SAS的数据仓库是一个非常成熟的软件。它有一个顺应需求的进展历史，在进展中不断

完善，实际上已是本领域的权威产品。连续两年的获奖更说明了业界的拥戴。

SAS的数据仓库产品

SAS系统，多年来就以它的数据的存取，管理，分析与展现能力供用户作为决策支持的

工具来使用。SAS的数据仓库产品---SAS/WarehouseAdministrator（简称SAS/WA）一方

面将原有的这些工具整合在一起；另外，为了更规范地建立，保护数据仓库与更方便地对数

据仓库与数据市场进行存取，又添加了新的功能与工具：

*定义数据仓库及其主题

*传送与汇总整理数据

*更新汇总数据

*建立，管理与取用查看metadata

*设置数据市场

定义数据仓库及其主题

在SAS/WA中设置了友好的用户界面供用户定义自己数据仓库的构成。在前文中已介绍

过SAS数据仓库的体系结构。在SAS/WA导引的定义过程中保证了数据仓库的规范化与体

系中诸元素的内在的应有联系。在进行这些定义后，按照这些联系就形成了一个规范化的数

据仓库体系。SAS/WA在每一步的操作中都提供了缺省的元素特性，但是根据你的特殊需要,

也能够对它进行更换。

在这里特别要指出的是：你所定义的数据仓库，能够建立在SAS数据库中；可建立在通

常的DBMS中；还能够建立在SAS的多维数据库产品SAS/MDDB中。在SAS/MDDB中可

形成E.F.Codd所指出的运作OLAP的最佳数据结构——多维数据结构。这将大大提高数据

查询、访问的速度与方便程度。

传送与汇总整理数据

这是通过SAS/WA的Process的Editor来进行的，它能够定义四种处理过程：

*运行数据的映射（Mapping）

在此定义从输入数据源中取出什么数据，这些数据如何转换，然后将它们装载到哪个

主题数据表中去。

*数据传送

将数据从其所在的计算机系统中选出，SAS/WA对它进行相应处理，然后使用PROC

UPLOAD或者者PROCDOWNLOAD再把它送到数据仓库所在计算机系统中。在图1

中表示了数据的传送过程的一个示例。

*记录选取器

按照你规定的某些选取规则选出一个数据子集。形成数据仓库的其它元素，如相应的

表,数据市场或者是VIEW等。

*用户出口

除了SAS/WA所规定的数据仓库的操作过程外，用户在各个环节均可插入认为需要的

数据操作，如图1所示：

3

数据仓?主题表

开发者自编程序

运行数据定义

运行数据定义

数据文件

图1数据仓库的数据传送过程示例

更新汇总数据

数据仓库中的数据是按你确定的时序,自动的进行主题数据更新的。更新实际上有两种

含义即在原有数据表中进行某些数据的更新；或者者是产生一个新的时间区间的数据新版

本。不管是哪一种情况，SAS/WA都会按你预先规定的规则产生一个新的汇总数据。由于汇

总数据可能对数据仓库中的许多信息元素都有关系，这样就保证了全体信息的一致性。

建立，管理与取用查看metadata

企业的数据仓库可能是从许多不一致的大系统中取出数据建立的，因此其规模可能比原

有的数据库都要大的多。面对这巨大的数据仓库，从建立伊始就要保证其可管理性。

在通过SAS/WA建立数据仓库的过程中，将形成一个若干个数据仓库共用的metadata

其中包含了：

*数据仓库中的各个元素所存放的地方

*在每台计算机系统中都有什么数据仓库的什么内容

*如何从运行系统的数据源中取出所需的信息

*其它数据仓库管理员与用户间需要沟通的信息

metadata不仅是数据仓库的文档资料，可供管理，保护人员使用，而且亦可供用户查询，

使之更好的熟悉数据仓库，提高自己的使用水平。

设置数据市场

数据市场(DataMart)是为了更方便用户的信息利用而设置的。日常的许多决策支持就

是需要相应的一组数据。数据市场的设置，以其恰好对应需求的针对性；信息的广泛综合性

(可能是跨主题的，预先处理好的)；与与整个数据仓库更新的同步节奏；最及时的满足了

用户决策支持的需要。

SAS数据仓库的方法学

作为一个成熟的产品SAS不仅提供给你一套数据仓库的计算机辅助设计工具;而且向你

提供SAS建立数据仓库的成功经验——SAS数据仓库的方法学。包含：

*如何建立好数据仓库的开发队伍

*如何进行数据仓库的需求分析

*在一定系统环境中确定建立数据仓库对信息技术的需求

*数据仓库的设计与原形化开发方法

*数据仓库的投运

SAS的这些成功经验能够帮你少走弯路，开发迅速；同时，依照SAS的成功经验还给

你制造了一个使决策支持系统从无到有、从小到大可持续稳固地进展的局面。

SAS数据仓库系统的全方位集成性

数据仓库的数据来源可能是许多的计算机系统与许多不一致的数据载体。在一个企业中

为了不一致业务部门的需要亦可能要建立多个数据仓库，这些数据仓库也可能要建立在不一

致的系统平台上。SAS能够习惯最复杂的环境，建立统一管理，更新的集成式的数据仓库

系统。如图2所示例：

*统一的数据仓库管理机制---SAS/WarehouseAdministrator

*对应多数据源与多个数据仓库有统一的文档资料——metadata

*利用SAS跨平台、跨数据库的存取能力实现数据的统一管理与更新

SAS系统的强大的数据仓库技术，SAS与业界绝大多数厂家的长期友好合作所形成的跨

平台与环境的可操作能力是你建立数据仓库时的唯一最佳选择。

SAS帮助你进行数据挖掘

早期的计算机要紧就是用来进行数据处理或者称数值计算的。后来随着计算机技术及其

周边设备与通讯能力的进展，计算机更多地用于了大量繁杂事务的在线处理，生产设备的实

时操纵等。在此过程中，计算机系统积存了越来越多的数据，数据处理的任务就更加繁重。

到今天，即使是进展中的我们中国，在一个企业中有数以几十或者上百GB(1()9字节)计

的生产经营数据已不是什么希奇的情况了。企业的数据与由此而产生的信息是企业的重要财

富。它最真实、具体的反映了企业运作的本质状况。但是，面对堆积如“山”的数据，你可

能并未看清企业运作的本质规律是什么，或者者说你至少是未能全部看清晰。面对猛烈竞争

的市场经济，企业的经营与管理者任何不符合客观事物规律性的决策都会给企业带来缺失，

甚至失败。运用有力的工具，不断地探索企业成败、得失的原委，并以此不断完善企业运作，

这是每一个成功的企业家必不可少的工作任务。美国SAS软件从60年代在北卡洲立大学开

创伊始就致力于计算机数据处理的研究。几十年来无数的成功事例使人们推崇SAS为国际

上标准的数理统计分析软件；继而，SAS的丰富数据采集、数据管理、数据分析与信息展

现的能力，又使之成为决策支持的最好的工具；现在SAS又推出了套装的SAS/Enterprise

Miner这一企业级的数据处理分析与决策支持软件包。SAS系统的软件与这些软件运用的无

数成功经验，一定能帮你从企业堆积如“山”的数据中“挖掘”出隐藏着的规律性，以支持

你正确的经营决策。

SAS的数据挖掘软件集成了一系列有效的技术手段全面地支持你的工作。首先是支持你

的数据重组工作。在你的企业或者组织中或者许已经有了成功的MIS系统、CIMS系统或者

是有了大量卓有成效的过程操纵系统，甚至是办公自动化系统。其中的数据体系对应着一项

项事务处理与一个又一个操纵环节，它们定能完美的支持其原有的工作。但当你从企业级的

角度去审视，并想进一步分析处理时，你会感到这些数据过于分散，数量越来越大，并难以

整合。美国数据挖掘技术开拓者GregoryPiatetsky-Shapiro曾戏言说：“原先曾希望计算机系

统成为我们智慧的源泉，但从中涌出的却是洪水般的数据！”事实上不必埋怨数据太多，也

不必埋怨原先的数据结构不好,它们是习惯原有工作任务的，只是不适合你现在的要求而已。

要支持你的企业级的决策，就是需要“洪水般的数据量”，但是要面向企业级的工作任务对

其进行重组。SAS有连续两年获奖的数据仓库系统支持你进行数据重组，并以全新的数据、

信息的结构形式支持你的全新的工作方式。这在前面五篇连载文章中已作了详尽的介绍。建

立数据仓库，这是进一步能有成效的进行数据挖掘的基础工作。

要看清企业或者组织运作的状况，第一步就是能查询到反映你所关心情况的相应数据、

信息。以SAS的多维数据库产品MDDB构造的数据仓库从物理结构上保证了你查询的迅速、

方便。E.F.Codd在提出在线分析处理OLAP概念时，多维数据结构是实现其任务的第一项

要求。一些简单的决策支持所需要的就是有针对性的数据。在数据重组后的数据仓库中还建

立了所谓数据市场(DataMarts),它就能够更针对决策支持的需要而设计，其中还可综合不

一致层次的汇总数据与跨数据仓库主题的数据。

SAS软件研究所对数据挖掘所下的定义是：数据挖掘是按照既定的业务目标，对大量的

企业数据进行探索、揭示隐藏其中的规律性并进一步将之模型化的先进、有效的方法。

对数据的探索、挖掘首先要有一个明确的业务目标。一组生产数据可作生产能力的分析;

可作生产成本核算的分析；亦可作影响产品质量诸因素的分析。目标决定了此后数据挖掘过

程的各类运作，并导引了运作的方向。尽管说数据挖掘的业务目标在过程中不是不可修正的，

也应当在工作进程中不断的进一步明确化，但其基本原则内容要保持稳固不变，否则数据挖

掘工作是难以有效的进行的。

这里所指的大量企业数据最好是按照数据仓库的概念重组过的，在数据仓库中的数据、

信息才能最有效的支持数据挖掘。假如所取用的数据并不足以反映企业的真实情况，当然也

不可能挖掘出有用的规律。数据仓库的数据重组，首先是从企业正在运行的计算机系统中完

整地将数据取出来。所谓完整，就是决策支持目标所涉及的各个环节不能有遗漏；其次各个

环节的数据要按一定的规则有机、准确地衔接起来。从决策支持的主题来看，这重新组织过

的数据，以极易取用的数据结构方式，全面的描述了该主题。

有了反映业务主题全貌的数据后，在进行数据的分析、探索时，关于不一致的人，可能

会使用不一致的方式方法。GartnerGroup在评价数据挖掘工具时，也特别提到了面对各类

不一致类型人员的可伸缩性与完整性。SAS支持各层次用户：

*业务水平与数学水平可能比较通常，对这样的用户提供方便的数据查询是非常重要

的。实际上早期的决策支持要紧就是数据查询的支持。可能也要做一些简单的数理统

计分析。若统计分析的要求是较明确的，能够事先做好，向他们提供统计分析的结果。

这可做成SAS数据仓库中的信息市场(InformationMart)。对应他们随机的需求，应

当提供菜单式选择的方便工具。

*业务水平较高，但数学水平通常，且没有的时候间与兴趣再钻研数学方法的人，除了

以上资源外，还应提供能简便的实现各类常用的数理统计的工具。让他们不必受累于

繁杂的过程，通过简单的需求设定，即可执行他们需要的操作。

*有计算机与数学知识，但对业务的熟悉程度通常的人员。对他们要提供较全面的数据

处理工具，如：数理统计；聚类分析；决策树；人工神经元网络；……等。

*对有很深计算机与数学造诣的数据分析专家不仅要提供上述环境，而且还要提供实现

各类算法的工具与开发平台.

SAS系统提供了适合各类人员使用的既完整，又有伸缩性的摸块化的工具。

通过探索与模型化所得的结果可分成两种类型：一种是描述型的；另一种是预测型的。

描述型的结果是指通过数据挖掘量化的搞清了业务目标的现状。如在原先工艺规程中同意的

范围内，生产出来的产品质量水平波动很大。通过数据挖掘找出了这同一种产品在什么条件

下产出的产品质量比较好；什么条件下产出的产品质量较差。通过数据挖掘，描述清晰了产

品质量高低的规律性，这就为修改原先的工艺规程提供了决策的支持根据。

通过数据挖掘还能够建立起企业或者某个过程的各类不一致类型模型。这些模型不仅能

描述当前的现状与规律性，而且利用它还能够预测当条件变化后可能发生的状况。这就为企

业开发新产品；甚至于为企业业务重组提供决策支持根据。

在世界走向信息化的今天，充分利用企业的信息资源，挖掘企业与所对应市场的运作规

律性，以不断提高企业的经济效益是先进企业的必由之路。世界有名的GartnerGroup咨询

顾问公司估计：不久的将来先进的大企业将会设置“统一数据分析专家”的工作岗位。

在以SAS数据仓库与数据挖掘应用获奖的美国LTV钢铁公司阐述其获奖文章的题目是

“DW+DM=Saving"亦即在企业中建立数据仓库进行数据挖掘就是挖取企业的经济效益。

SAS的数据挖掘的方法论-SEMMA

正象是你拿个镐在山上挖几下不能算是开采矿山一样，用数理统计方法或者人工神经元

网络作个数据分析，也不能说就是在进行数据挖掘了。要开采矿山，首先要按照人类总结千

百年来经验所形成的理论规律去找矿；发现矿藏后还要根据事实上际地质情况，有针对性的

使用相应的方法最有效的挖掘才能获得有价值的宝藏。同样，要想有效地进行数据挖掘也务

必要有好的工具与一整套妥善的方法论。能够说在数据挖掘中你使用的工具、使用工具的能

力、与数据挖掘过程中的方法论在很大程度上决定了你能开拓的成果。SAS研究所不仅有

丰富的工具供你选用，而且在多年的数据处理研究工作中积存了一套行之有效的数据挖掘方

法论——SEMMA,通过使用SAS技术进行数据挖掘，我们愿意与你分享这些经验：

*Sample------数据取样

*Explore——数据特征探索、分析与予处理

*Modify——问题明确化、数据调整与技术选择

*Model——模型的研发、知识的发现

*Assess——模型与知识的综合解释与评价

Sample-----数据取样

当进行数据挖掘时，首先要从企业大量数据中取出一个与你要探索问题有关的样板数据

子集，而不是动用全部企业数据。这就象在对开采出来矿石首先要进行选矿一样。通过数据

样本的精选，不仅能减少数据处理量，节约系统资源，而且能通过数据的筛选，使你想要它

反映的规律性更加凸现出来。

通过数据取样，要把好数据的质量关。在任何时候都不要忽视数据的质量，即使你是从

一个数据仓库中进行数据取样，也不要不记得检查其质量如何。由于通过数据挖掘是要探索

企业运作的规律性的，原始数据有误，还谈什么从中探索规律性。若你确实从中还探索出来

了什么“规律性”，再依此去指导工作，则很可能是在进行误导。若你是从正在运行着的系

统中进行数据取样，则更要注意数据的完整性与有效性。再次提醒你在任何时候都不要忽视

数据的质量，慎之又慎！

从巨大的企业数据母体中取出什么数据作为样本数据呢？这要依你所要达到的目标来

区分使用不一致的办法：假如你是要进行过程的观察、操纵，这时你可进行随机取样，然后

根据样本数据对企业或者其中某个过程的状况作出估计。SAS不仅支持这一取样过程，而

且可对所取出的样本数据进行各类例行的检验。若你想通过数据挖掘得出企业或者其某个过

程的全面规律性时，务必获得在足够广泛范围变化的数据，以使其有代表性。你还应当从实

验设计的要求来考察所取样数据的代表性。唯此，才能通过此后的分析研究得出反映本质规

律性的结果。利用它支持你进行决策才是真正有效的，并能使企业进一步获得技术、经济效

益。

Explore-数据特征探索、分析与予处理

前面所叙述的数据取样，多少是带着人们对如何达到数据挖掘目的的先验的认识进行操

作的。当我们拿到了一个样本数据集后，它是否达到我们原先设想的要求；其中是否具有什

么明显的规律与趋势；是否具有出现你所从未设想过的数据状态；因素之间有什么有关性；

它们可区分成如何一些类别……这都是要首先探索的内容。

进行数据特征的探索、分析，最好是能进行可视化的操作。SAS有：SAS/INSIGHT与

SAS/SPECTRAVIEW两个产品给你提供了可视化数据操作的最强有力的工具、方法与图形。

它们不仅能做各类不一致类型统计分析显示，而且可做多维、动态、甚至旋转的显示。

这里的数据探索，就是我们通常所进行的深入调查的过程。你最终要达到的目的可能是

要搞清多因素相互影响的，十分复杂的关系。但是，这种复杂的关系不可能一下子建立起来。

一开始，能够先观察众多因素之间的有关性；再按其有关的程度，以熟悉它们之间相互作用

的情况。这些探索、分析，并没有一成不变操作规律性；相反，是要有耐心的反复的试探，

认确实观察。在此过程中，你原先的专业技术知识是非常有用的，它会帮助你进行有效的观

察。但是，你也要注意，不要让你的专业知识束缚了你对数据特征观察的敏锐性