（计算机科学与技术专业论文）基于soa的数据仓库架构研究及应用.pdf

中文摘要 摘要：随着数据仓库理论与技术的发展，越来越多的大中型企业或组织都构建了 数据仓库系统，这些系统整合企业的历史数据，为企业制定决策提供了依据。但 是，随着企业的发展和数据仓库系统的广泛应用，传统数据仓库的缺陷也开始显 现，企业信息系统越来越臃肿，信息系统不断的重复建设使得企业的运营成本越 来越高，企业的信息化建设渐渐成为企业的噩梦。 面向服务的架构( s e r v i c e s o f f t e da r c h i t e c t u r e ，s o a ) 以服务的形式将企业 各项信息应用进行封装，是当今i t 界备受关注的主题，也是企业信息化建设未来 的发展趋势，其具有的跨平台、松耦合、整合遗留应用、梳理业务流程等特点， 恰好能够解决企业信息化建设中所遇到的上述问题。 本文分析介绍了数据仓库、s o a 、w e bs e r v i c e s 等基本概念和技术，深入研究 了传统的数据仓库架构，分析了当前数据仓库的应用现状和存在的问题，并在此 基础上提出了一种基于s o a 的数据仓库体系结构方案，这是论文的重点之一。然 后，本文根据公共仓库元模型规范以及w e bs e r v i c e s 技术标准设计了一种对数据 仓库应用进行w e bs e r v i c e s 包装的规范，并以数据仓库系统的两个常见应用 报表展现和o l a p 为例，详细描述了这种包装规范的制定和实施过程。最后，通 过一个具体的数据仓库实例，实现了本文所提出的数据仓库设计方案，并为下一 步的研究工作提出了展望。 关键词：数据仓库；面向服务的架构；w e bs e r v i c e s ；公共仓库元模型 分类号：t p 3 1 1 1 3 a bs t r a c t a b s t r a c t ：w i t l lt h ed e v e l o p m e n to fd a t aw a r e h o u s et h e o r ya n dt e c h n o l o g y , a n i n c r e a s i n gn u m b e ro fe n t e r p r i s e sb u i l dd a t aw a r e h o u s es y s t e m s t h ee s t a b l i s h m e n to f t h e s es y s t e m s i n t e g r a t e t h e c o m p a n y s h i s t o r i c a ld a t at o p r o v i d e ab a s i sf o r d e c i s i o n - m a k i n g ，b u ta l o n gw i t ht h ed e v e l o p i n go fe n t e r p r i s ea n dt h ew i d e l yu s eo fd a t a w a r e h o u s e ，t h es h o r t c o m i n g so ft r a d i t i o n a ld a t aw a r e h o u s eh a v eb e g u nt oa p p e a r , t h e e n t e r p r i s ei ts y s t e m sa r eo v e r s t a f f e d ，c o m p a n y so p e r a t i n gc o s t sa r eg e t t i n gh i g h e ra n d h i g h e rb e c a u s eo fi ts y s t e m s d u p l i c a t ec o n s t r u c t i o n ，e n t e r p r i s e si ts y s t e mb u i l d i n g h a sb e c o m ean i g h t m a r ef o rt h ee n t e r p r i s e s e r v i c e - o r i e n t e da r c h i t e c t u r e ( s o a ) p a c k a g ee n t e r p r i s e sa p p l i c a t i o na sas e r v i c e f o r m ，i ti s as u b j e c tt h a ti sn o to n l yc o n c e r n e db yt o d a y si ts e c t o r , b u ta l s oa d e v e l o p m e n tt r e n di n t h ef u t u r e s o ah a st h ec h a r a c t e r i s t i c so fl o o s e l yc o u p l e d ， i n d e p e n d e n to fp l a t f o r m s ，l e g a c ys y s t e m si n t e g r a t i o n ，b u s i n e s sp r o c e s sp r o m o t i o n ，w h i c h c a ns o l v et h ep r o b l e m sc o u r s e db ye n t e r p r i s e si tc o n s t r u c t i o na st h e s em e n t i o n e d a b o v e a s t u d yh a sb e e nm a d eo nt h ec o n c e p t i o na n dt e c h n i q u e so fd a t aw a r e h o u s e ，s o a a n dw e bs e r v i c e sf i r s ti nt h i st h e s i s ，w ea n a l y z et h ea r c h i t e c t u r eo ft h et r a d i t i o n a ld a t a w a r e h o u s ed e e p l y , s t u d yt h ea p p l i c a t i o no fd a t aw a r e h o u s ea n dt h ep r o b l e m se x i s ti n d a t aw a r e h o u s e ，a n dt h e nw e p r o p o s eas o a b a s e dd a t aw a r e h o u s es y s t e ma r c h i t e c t u r e ， w h i c hi sa ni n n o v a t i o ni nt h i st h e s i s w ed e s i g nac r i t e r i o no fp a c k i n gw 曲s e r v i c e sf o r d a t aw a r e h o u s ei na c c o r d a n c ew i t ht h ec o m m o nw a r e h o u s em e t a m o d e l ( c w m ) a n d w e bs e r v i c e st e c h n i c a ls p e c i f i c a t i o n ，a n dt w oc o m m o nd a t aw a r e h o u s ea p p l i c a t i o n s r e p o r t i n ga n do l a f a r ea se x a m p l e st od e s c r i b et h ep r o c e s so fs p e c i f i cf o r m u l a t i o na n d p a c k a g i n g , f i n a l l y , w ea c h i e v eo u rt e n t a t i v ep l a nb yas p e c i f i ce x a m p l eo fd a t a k e h o u s e k e y w o r d s ：d a t aw a r e h o u s e ；s o a ；w 曲s e r v i c e s ；c w m c i 。a s s n o ：t p 3 1 1 13 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作 了明确的说明并表示了谢意。 学位论文作者签名：融膨 签字嗍叼年6 月彦日 5 9 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：侈刖冶 导师签名： 签字同期：2 “僻石月胗日 签字同期砷年多月i b 同 致谢 岁月如梭，两年的研究生时光匆匆而过，在这两年里，在学识渊博的老师们 的谆谆教诲下，在实验室师兄、师姐以及同学的帮助下，我获得了丰富的专业知 识和不懈追求、勇于创新的科研精神，这些宝贵的财富将伴我终生。 在此特别要感谢我的导师林友芳副教授，是林老师开启了我人生中一段新的 旅程，在整个研究生学习期间，林老师严谨的治学态度和科学的工作方法给了我 极大的帮助和影响。林老师悉心指导我完成了一系列的科研工作，无论是在学习 上还是在生活上都给予了我莫大的关心和帮助，在此真诚地对林老师表示深深谢 意。 在课题研究和相关项目进展期间，魏名元老师、韩升老师给予了我们诸多的 指导和帮助，在此向魏老师和韩老师表示衷心的感谢。 在实验室工作及撰写论文期间，万怀宇师兄，陈勇、王天宇等同学对我论文 中的研究工作给予了热情帮助，在此向他们表达我的感激之情。 最后要感谢我的父母，是他们的理解和支持使我能够在学校专心完成我的学 业，我要用我一生的奋斗去回报他们的殷殷期盼。 1 引言 本章介绍了论文研究工作的背景及意义、国内外关于数据仓库和s o a 最新的 发展情况、论文的研究设想、研究方法、预期结果以及论文的组织结构。 1 1论文的研究背景及意义 随着时代的发展、科技的进步，越来越多的企业组织建立起了面向自身需要 的信息系统，这些信息系统满足了企业各个部门的业务发展需要，提升了企业的 竞争力，但是，随着企业的不断壮大，这些孤立的信息系统却成为了阻碍企业继 续发展的障碍，信息难以共享，信息系统的重复建设正大量地消耗着企业资源。 企业迫切需要消除“信息孤岛”，使企业内部各个信息系统能够有效地协调工作， 这既能将不同的应用集成到一个完整的企业级信息化环境中来，又能实现与其他 企业问的信息交换。 但是，因为目前企业内部的信息系统大多是基于独立的解决方案设计实现的， 在不同应用系统间存在着大量的异构情况，要实现企业的信息整合谈何容易，整 合工作不仅技术复杂，人力、财力等资源的耗费也相当大。 目前，许多企业已经建立了自己的数据仓库系统，这个系统的建立从数据的 层面为企业集成历史数据并以此支持决策奠定了良好的基础，但是随着市场环境 的进一步变化，一些问题也随之而来，主要有以下两个方面的问题： 1 ) 数据仓库系统不仅要满足自身的应用需求，还要为企业内部其他系统甚至 是企业外部的信息系统提供服务，因此，怎样才能简单、透明的访问数据仓库系 统提供的功能，是一个亟待解决的问题。 2 ) 由于传统数据仓库设计的局限性，数据仓库的中的数据更适合进行长期的 战略决策分析，而随着市场的变化企业的业务范围也在不断调整，企业领导者不 仅需要做出j 下确的决策，还需要做出及时的决策，这就对数据仓库系统提出了更 高的要求，这也是当前数据仓库应用面临的另一难题。 现有的一些技术虽可以从一定程度上减轻这两个问题所带来的困扰，如采用 c o b r a 、d c o m 等，但是这些技术也存在着明显的不足，因为它们都是紧耦合的， 即要求采用这些技术的双方都基于相同的约束，而且如果某一个应用系统的代码 有了修改，那么访问者的代码也必须修改。 面向服务的架构( s e r v i c e o r i e n t e da r c h i t e c t u r e ，s o a ) 的出现解决了上述的这 些问题，首先，s o a 的一种重要实现方式w e bs e r v i c e s 采用w s d l 、s o a p 、u d d i 、 x m l 等技术标准将企业信息系统的各项应用包装成为统一的w e b 服务的形式，其 他系统需要调用该应用时只需遵守相应的接口标准即可完成调用，而不必了解该 系统的具体实现细节，这样就能解决数据仓库对外提供服务的难题。 其次，基于s o a 的数据仓库大大提升了数据仓库应用的敏捷性，因为s o a 使得企业的信息系统能够更好地响应企业业务变化的需求，提高了信息系统的灵 活性，这使得企业能够更加快速地应对市场变化并做出有效反应。 1 2国内外发展情况 随着数据仓库理论与技术的发展，越来越多的组织机构都建立了数据仓库系 统，数据仓库系统的报表服务、o l a p 、即席查询等应用为组织的决策提供了依据， 数据仓库系统整合了组织内部的各项数据，使得这些数据成为了企业的重要资源。 国内外的大中型企业，如各大银行、保险机构、通信运营商等均建立了适应自身 发展需要的数据仓库系统，这些系统的投入使用为企业的决策人员、市场分析人 员做出合理的、准确的决策和分析奠定了良好的基础。 同时，随着在激烈市场竞争中企业的不断壮大，业务的不断增多【l 】，特别是在 互联网时代，越来越多的企业建立了基于网络的分布式信息系统，这些系统的建 立虽然提升了企业的效率，增强了企业的竞争力，但也增加了企业的投资，越来 越多的建设和维护费用对于企业来说就是一场噩梦，而且随着业务的发展企业也 迫切需要整合已有的资源和数据为决策提供支持，此外，业务需求的快速变化也 使得企业要不断变更业务流程和应用模式，企业需要做到“随需应变 1 2 】，因此 s o a 应运而生。 一个真正的企业级数据仓库不仅仅是整合一个企业的数据，还必须为整个企 业提供决策服务。为此，数据仓库必须与企业中的标准中间件整合，与合作伙伴 的解决方案整合，还要和企业基础平台解决方案整合。引入s o a 后，主要的变化 在于s o a 能够使决策服务更广泛地在企业中传播。通过s o a 整合决策服务之后， 就可以把决策和交易两部分结合起来，把s o a 和各个业务流程融合起来，企业级 数据仓库面临的最大挑战不再是技术层面的，而是业务流程中的挑战。s o a 能够 帮助企业实现低本高效，更快地把决策流程和交易服务以及其他各种流程结合起 来。s o a 对企业级数据仓库应用带来的另一个影响体现在性能特性上，传统的数 据仓库一般是采用记分和批处理的手段来抽取数据，当天的数据要到第二天才可 以获得【3 】，但是通过s o a ，通过事件驱动机制，我们就能实时或者“准实时 地 获取数据，这是一种完全动态的处理过程。 目前国外一些大型公司已经开始关注并在s o a 上进行投资，英国电信已经在 2 企业内部系统成功实施了s o a ，通过s o a 与数据仓库的结合能够更好的为企业内 部用户、合作伙伴以及各类供应商提供决策服务。 1 3论文的研究内容及目标 本论文的研究目标是在广泛深入地学习数据仓库理论知识的基础上，通过对 具体数据仓库项目的实施过程的研究牢固掌握数据仓库的实施方法，并将重点关 注同构和异构系统之间的集成、协调以及互操作，掌握面向服务的架构以及业界 相关标准，包括x m l 、s o a p 、u d d i 、w d s l 等，将s o a 理论与数据仓库结合， 其目的在于使s o a 服务于数据仓库，提升数据仓库的效能。 本论文的研究工作主要体现在以下几个方面： 1 ) 深入学习和理解数据仓库相关理论知识，发现现有数据仓库应用的不足之 处，寻找相应的解决方法。 2 ) 在深入分析s o a 理论以及w s d l 、u d d i 、s o a p 等技术标准的基础上， 根据传统分布式数据仓库解决方案的不足，提出基于s o a 的数据仓库系统解决方 案。 3 ) 根据标准公共仓库元模型( c o m m o nw a r e h o u s em o d e l ，c w m ) q b 对数据仓库 元模型的描述，提出基于s o a 的描述数据仓库应用的规范。 4 ) 设计出基于s o a 的数据仓库服务体系结构，这是本论文的研究重点。 5 ) 对某电信运营商的数据仓库系统应用进行调研和分析，实施并验证前面设 计的基于s o a 的数据仓库体系结构。 6 ) 实现o l a p 和报表展现应用的w e bs e r v i c e s 包装，并对其做出总结分析。 1 4 论文的组织结构 本文的组织结构如下： 第一章为绪论，介绍了论文的研究背景及意义，国内外发展情况，论文的研 究内容及目标，最后介绍了论文的组织结构。 第二章为数据仓库概念及应用分析，介绍了数据仓库的定义及其体系结构， 并对数据仓库的应用进行描述和分析。 第三章为面向服务体系架构的理论与w e bs e r v i c e s ，本章介绍s o a 的体系结 构和w e bs e r v i c e s 协议栈，以及w e bs e r v i c e s 与s o a 的关系，并介绍了怎样基于 s o a 的架构对应用服务进行注册，描述和访问。 第四章为基于s o a 的数据仓库方案设计，本章分析目前传统分布式解决方案 的缺陷，指出基于s o a 的解决方案是怎样克服目前遇到的困难的，并设计出数据 仓库系统的w e bs e r v i c e s 规范以及基于s o a 的数据仓库的体系架构。 第五章为基于s o a 的数据仓库应用实例及分析，本章结合某通信运营商的数 据仓库实际需求，将自订面设计的服务规范及架构应用于此，验证研究的可行性。 第六章为结束语，总结本论文内容，对现有研究成果的不足提出了改进意见， 并指出了继续研究和丌发的方向。 4 2 数据仓库概念及应用分析 数据仓库是伴随着企业信息化建设对于数据信息的集中化要求而出现和发展 的。历经了多年的演变，现在的数据仓库技术已经能够满足企业数据整合的需求， 为企业做出决策提供了数据支撑，本章将围绕数据仓库的定义、体系结构、通用 应用模型等方面展开，并以某电信运营商数据仓库项目为例分析数据仓库的具体 功能和应用范围。 2 1数据仓库 2 1 1数据仓库的定义 目前对于“数据仓库 一词尚没有统一的定义，对于什么是数据仓库，人们 提出了许多不同的概念，如： “数据仓库是与操作型系统相分离的、基于标准企业模型集成的、带有时间 属性的、面向主题及不可更新的数据集合。【4 】 “数据仓库是一种架构，是一种语义一致的数据仓储( 独立的且不影响已在 运作的实用系统) ，以满足不同的数据存储、文档报告的需求。 【5 】 “数据仓库是一个不断发展的过程，把多个异质的原始数据融合在一起用以 支持结构式的即席查询、分析报告和决策支持。” 数据仓库领域的权威w h i n m o n 给出了数据仓库的一个简短而全面的定义： 数据仓库是一个面向主题、集成、时变、非易失的数据集合，是支持管理部门的 决策过程【6 j 。 根据该定义，数据仓库具备以下四个关键特征： 1 ) 面向主题( s u b j e c to r i e n t e d ) 的数据集合 在传统的0 l t p 环境下，数据库系统的数据一般是以面向企业基本业务应用的 方式进行组织的。例如，对于一个保险公司来说，公司的基本业务应用问题可能 包括汽车保险、健康保险、人寿保险与意外伤亡保险，并按照这些业务应用的分 类，建立各自的基本应用系统，这样的业务系统一般被称为操作型系统。 而数据仓库中的数据是以面向主题的方式进行组织的，主题是一个抽象的概 念，它是对企业数据进行分析应用的功能范围的抽象，是在较高层次上将企业信 息系统中的数据进行综合、归类并进行分析利用的抽象。 数据仓库通常围绕一些主题进行，如保险公司的数据仓库的主要主题是顾客、 保险单、保险费与索赔。对于一个生产企业来说，它的信息系统中的主要主题一 般有产品、定单、销售商、材料等。对于商场来说，主要主题一般包括商品、库 存、销售、销售商等。不同类型的企业或机构其主题集合是不同的。 2 ) 集成( i n t e g r a t e d ) 的数据集合 数据仓库通常是结合多个异种数据源构成的，异种数据源可能包括关系数据 库、面向对象数据库、文本数据库、w e b 数据库、一般文件等。当这些数据进入 数据仓库时，需要根据数据仓库的模型要求进行转换、重新格式化、重新排列以 及汇总等操作。 一般情况下，企业现有各个操作型系统的建设时间和人员都不相同，而且不 同的系统可能因为缺少企业或行业标准，再加上各种工程项目的特点，使得设计 人员一般很少也很难考虑未来的数据集成与数据服务问题。因此，不同的业务系 统之间，必然在编码、命名、物理属性、度量单位等多方面存在不一致的现象。 这样，在数据进入数据仓库时，要采用各种集成方法来消除应用层的许多不一致 性。 人们一般把数据仓库的数据集成功能分成数据抽取、转换、清理( 过滤) 和 装载这四项任务。数据集成主要完成从数据源获取数据，并按目标数据模型要求 ( 如o d s 要求或数据仓库核心层模型的要求) 对数据进行转换，并清除错误或无 效数据，装载入目标数据体系中。 3 ) 时变( t i m ev a r i a n t ) 的数据集合 数据仓库的时变性是指数据仓库中的每个数据单元都有时间标志，记录一般 都加有时戳，有时记录中可能包含有事务的发生时间。在任何情况下，记录中都 应包含有某种形式的时间标志。 同时，数据仓库随时间变化的特性还指数据仓库在运行中必须不断捕捉操作 型环境中的数据，并将新的数据集成后追加到其中。另外，经过一定时期以后， 也存在着需要将老化的数据导出系统的主要存储设备或永久删除的问题。而对于 根据原始数据导出的数据，随着新数据的到来或旧数据的导出，也必然是不断变 化的。 总之，数据仓库中的数据存储是从历史的角度提供信息，这些信息带有时间 元素，总是与时问段相关联。数掘仓库中存储的是一个时间段的数据，而不仅仅 是某一个时刻的数据。 4 ) 不可更新、非易失、永久( n o n v o l a t i l e ) 的数据集合 数据仓库总是与操作环境下的实时应用数据物理地分离存放，在操作型环境 下，数据访问和处理一般以单条方式进行的，数据一般是会被更改或更新的，而 数据仓库中的数据通常是以批量方式载入与访问的，因此不需要事务处理、恢复 6 和并发控制机制。数据仓库里的数据通常只需要两种操作：初始化载入和数据访 问，因此在数据仓库环境中，并不进行一般意义上的数据更新。 需要注意的是，不可更新并不意味着不再向数据仓库追加新的数据，只是表 示一般不再对进入数据仓库的原始数据进行修改。 综上所述，数据仓库是在一种语义上一致的数据存储，它是决策支持数据模 型的物理实现，并存放企业战略决策所需信息。数据仓库也常常被视为一种架构， 通过将异种数据源中的数据集成在一起而构建，支持结构化和专门的查询、分析 报告和决策制定。 2 1 2数据仓库的体系结构 典型的数据仓库体系结构环境是一个从操作型数据，到全局数据仓库，再到部 门数据仓库，最后到个人计算环境的四层结构。数据的流向可以采用自顶向下的 方式，也可以采用自底向上的方式。 图2 1 描述了一种典型的数据仓库体系结构。 00g d a t aw a r e h o u s e o p e r a ti o n a ld a t as t o r e 图2 1 数据仓库体系结构 f i g u r e2 1d a t aw a r e h o u s ea r c h i t e c t u r e 7 在这个结构中，可以将数据仓库系统划分为操作型数据存储、数据仓库、数 据集市和数据仓库应用四层，数据集成工具将操作型数据集成到不同级别的数据 仓库存储中。各级数据仓库数据既包括细节层数据，也包括不同汇总层次的综合 级数据和元数据。 数据仓库应用层可以建立各类分析工具，这些分析工具与数据仓库的各个数据 层连接，不同的用户可以从不同的数据层次，利用不同的分析工具来提取不同类 型的信息【7 l 。 2 2数据仓库应用分析 2 2 1通用数据仓库应用分析 我们通过对当前数据仓库系统在企业中的应用可以总结出其主要具有以下三 个方面的功能： 1 ) 绩效管理 数据仓库系统通过组织和集成存在于各个应用系统中的数据，能够从中提取出 基础绩效指标与关键绩效指标( k e yp e r f o r m a n c ei n d i c a t o r ，k p i ) 。例如，企业可以 将员工的工作进行量化，管理人员通过数据仓库相关技术追踪、衡量和评价员工 的工作绩效，提升企业内部的竞争氛围，激发员工活力，引导员工的思想方向和 行动与企业的整体目标保持一致。 2 ) 经营状况分析 经营状况分析是指对企业一段时间以来业务运营的分析，包括经营指标分析、 经营业绩分析和财务分析。经营指标分析是指对企业不同的业务流程和业务环节 的指标，如：利润率、应收率、销售率、库存量、单品销售情况及所占营业比例、 风险采购和库存评价指标等进行搜集和分析。这些指标反映的是局部或某一段时 间内的经营情况，若要了解企业的整体经营状况，则需对这些指标进行科学的组 织和分析，建立一个能反映企业整体情况的数学模型，通过观察总指标并设置告 警，便能对企业整体的经营状况有深入了解。经营业绩分析是指对各部门的营业 额、销售量等进行统计，在此基础上，进行同期比较分析、应收分析、盈亏分析、 各种商品的j x l 险度分析等等。经营业绩分析有利于企业实时掌握自身的发展和经 营情况，有利于企业及时调整经营业务、化解经营风险。财务分析是指对企业财 务数据中的利润、费用支出、资金占用及其他具体经济指标进行有效分析。通过 财务分析，可以及时掌握企业在资金使用方面的实际情况，为及时调整和降低企 业成本提供数据依据。 8 3 ) 战略决策支持 战略决策支持是指在经营分析的基础上，将各类数据、信息进行高度的概括和 总结，形成供企业高层管理者进行战略决策时的参考依据。数据仓库对战略决策 支持的应用，主要表现在对公司整体发展战略、业务发展战略和职能战略的支持 上。在公司整体发展战略决策支持层面上，数据仓库提供的信息使得管理者能够 根据公司自身各战略业务单元的经营业绩和经营定位，选择一种合理的投资组合 战略，确保企业投资效益的最大化；在业务发展战略决策支持层面上，由于数据 仓库系统不仅集成了企业自身业务系统产生的数据，更集成了众多的外部数据， 如外部环境和行业信息，各业务部门可据此分别制定自身的竞争策略；在职能战 略决策支持层面上，由于来自于企业内部的各种信息源源不断地输入进来，通过 按照主题方式加工以后，可以对营销、生产、财务、人力资源等提供决策支持。 2 2 2某电信运营商应用服务分析 下面我们以某电信运营商经营分析系统【8 】为例，分析数据仓库的应用服务需 求。该经营分析系统是基于计算机网络及数据仓库应用技术，用以支持该电信运 营商进行经营分析的系统。从功能上讲，经营分析系统涵盖了客户情况分析、业 务发展分析、收益情况分析、市场竞争分析、服务质量分析、营销管理分析、大 客户分析、新业务与数据业务分析、合作服务方分析九大主题。它主要通过对业 务操作支撑系统( b u s i n e s so p e r a t i o ns u p p o r ts y s t e m ，b o s s ) 、管理信息系统 ( m a n a g e m e n ti n f o r m a t i o ns y s t e m ，m i s ) 、网管系统等现有数据资源进行集成、挖 掘和分析，为企业的运营提供相应的管理分析信息。 图2 2 为该经营分析系统的架构图。 我们通过对该经营分析系统进行综合调研后发现报表应用和o l a p 分析应用 是该经营分析系统使用最广泛的应用，不仅企业内部会使用到，大量的企业外部 系统也有应用需求，因此，本论文将着重通过对上述两个分析应用的s o a 服务包 装来介绍基于s o a 的数据仓库应用的研究。 1 ) 报表分析应用 根据该企业对经营分析系统的建设要求，系统分为两级系统，即集团公司级经 营分析系统和省级经营分析系统，所以在不同的层级上对于报表分析有着不同的 要求，在报表的使用要求上也分为预定义报表和自定义报表两类，预定义报表也 称静态报表，在预定义报表生成用例中，系统根据用户需求产生一系列用户预定 义好格式的报表；自定义报表也称灵活报表，在自定义报表生成用例中，系统提 供报表自动生成工具，依据使用者自定义的报表格式和内容，提供灵活、准确、 9 完善的报表，借助该用例，业务分析人员能够根据特定的需求，依照相应的统计 要素之间的逻辑关系，组合提取相关数据后编制各种统计分析报表，并能以报表、 饼图、直方图等多样化的展示方式显示报表。 图2 2 某电信运营商经营分析系统架构图 f i g u r e2 iam a n a g e m e n ta n a l y s i ss y s t e ma r c h i t e c t u r eo f at e l e c o mo p e r a t o r 1 0 统者 块 储 口一 翱啊 模 存 接 天二旦一 统统统驰 黜 一 系系系张 杓e 一 统 子 子子鲫统附灿 莉 库析现曲系射： 一 子 仓 分展b 习 一 一 一一一一耥一觌 吼 黼 霍| 曩i 张 嘴 一 圈口囵黼豳圈 2 ) o l a p 分析应用 联机分析处理或称在线分析处理( o n l i n ea n a l y t i c a lp r o c e s s i n g ，o l a p ) ，最 早是由关系数据库之父e e c o d d 于1 9 9 3 年提出的。当时，随着数据库容量越来越 大，查询需求越来越复杂，联机事务处理( o n l i n et r a n s a c t i o np r o c e s s i n g ，o l t p ) 已不能满足终端用户对数据库查询分析的需要，用户的决策分析需要对关系数据 库进行大量计算才能得到结果，而简单的通过s q l 语句进行的查询结果并不能满 足用户的分析需求，因此c o d d 提出了多维数据库和多维分析的概念，即o l a p 9 1 。 o l a p 是一种通过共享多维数据信息并针对特定问题进行的数据联机访问和 分析的快速软件技术【5 j 。它侧重于对决策人员和高层管理人员提供决策支持，用于 进行复杂的分析操作，可以根据分析人员要求快速、灵活地进行大数据量的复杂 查询处理，并以直观易懂的形式将查询结果提供给决策分析人员，以使他们准确 掌握企业经营状况，了解市场需求，制定正确方案，提高运营效益。 当时，c o d d 对o l a p 提出了1 2 条准则【9 】，这些准则区分o l t p ，并清楚地界 定o l a p 的概念，随着o l a p 产品的实际应用情况和用户对o l a p 产品的需求， 人们对o l a p 提出了一种更简单明确的定义，即共享多维信息的快速分析( f a s t a n a l y s i so fs h a r e dm u l t i d i m e n s i o n a li n f o r m a t i o n ，f a s m i ) ，它包括以下5 个方面的 内容。 a ) 快速性 用户对o l a p 的快速反应能力有很高的要求，通常的o l a p 系统应能在较短 的时间内对用户的大部分分析要求做出反应，但是对于大量的、复杂的多维数据 分析要达到这个速度并不容易，因此需要采用如专门的数据存储格式、大量的事 先运算、特别的硬件设计等技术方案对此提供保障。 b ) 可分析性 o l a p 系统应能处理与应用有关的任何逻辑分析和统计分析。用户不仅能够在 o l a p 平台上根据自己的要求快捷方便的进行分析，也可以连接到其他外部分析工 具上，如时间序列分析工具、成本分配工具、意外报警、数据挖掘等。 c ) 多维性 多维性是o l a p 的关键属性，系统必须提供对数据分析的多维视图和分析，包 括对层次维和多重层次维的完全支持。事实上，多维分析是分析企业数据最有效 的方法，是o l a p 的灵魂。 d ) 信息性 o l a p 系统应能及时获得和管理大容量信息，不论数据量有多大，也不管数据 存储在何处。 e ) 共享性 业壅窑强占璺亟望篮让塞墼握垒廛描盎星廑出垃盘 用户应能够对同一o l a p 分析应用进行共享，提高分析效率，同时，也能满足 保密的要求，用户只能看到该看到的信息。 常见的o l a p 对多维数据进行分析的基本动作包括以下几种方式； a ) 钻取( d r i l l - d o w n ) 与卷起( r o l l u p ) 钻墩与卷起是o l a p 分析的两个最基本操作。所谓钻取是指对应于某一维逐步 向更细节层方向观察数据，而卷起则反之。钻取和卷起提供了o l a p 用户足够灵 活、多角度的数据观察。 m 切片( s l i c e ) 和切块( d i ) 在多维数据结构中，切片和切块实现局部数据的显示。目的是为了帮助用户从 众多混杂的数据中挑选出所需要的。如在“城市、产品、时问”三维立方体中进 行切块和切片，可得到各城市、各产品的销售情况。 c ) 旋转 旋转是改变一个报告或页面显示的维方向，通过旋转可以得到不同视角的数 据。最简单的旋转就是数据交叉。 表21 显示了该电信运营商的某省级经营分析系统对于用户交费情况的多维分 析设计，该表列出了对于用户交费情况所涉及到的几个维度信息( 如地理、用户 类型、交费方式等) ，通过采用钻取、切片、旋转等操作可以深入的对用户交费信 息做出分析，并以此改善交费方式，实现与用户的交互。 表21 某运营商用户交贽情况多雏分析表 t a b i n 2 1 m u l t i 作为连接接口，整合异构系统 s o a 最大的价值在于整合多个系统，包括信息整合，应用流程整合以及用户 交互界面整合等，例如，可以为用户提供统一的登录与用户认证机制，同时利用 分层、松耦合、标准规范等来实现的完整服务，可保证系统的扩展性、实用性和 可靠性。 作为功能构件，灵活地实现功能复用 s o a 的最大魅力就在于作为功能组件的各个服务可以灵活的复用，这种特性 可以最大限度的节约开发成本，保护投资，同时具有良好的可维护性与扩展性。 在不改变原有系统情况下，灵活增加内部服务组件 由于s o a 在整合的平台上提供了统一的连接接口，并且建构在其上的各个服 务有具有松耦合的特点，使得s o a 可以在保持模型原封不动的基础上，在某一服 务内部实现发生变化的时候，不会对其他服务产生影响。 在这旱，企业为迎合市场而进行业务的改变和s o a 系统适应这种改变的能力 是s o a 所体现价值的最重要部分。s o a 在业务方面能够提供如下的效益【8 】： 提升效率 s o a 能够引导企业创建具有内在互操作性的服务解决方案，这使得企业能够 将业务流程从“烟囱”状的、重复的流程向维护成本较低的共享服务的流程转变。 减少响应时间 s o a 提升了企业i t 系统对于未来变化的可预测性，增强了r r 部门的应变能力， 使得企业在抽象的业务逻辑和技术服务层上建立了松散的耦合关系，以迅速适应 和传送关键业务服务来满足市场需求，为客户、雇员和合作伙伴提供高水平地服 务。 增强企业适应性 改进的架构和方案产生了更高效地流转，让整个业务的复杂性和难度变得更 小，达到节约时间和资金的目的，改善了企业的适应性。 s o a 在i t 建设方面具有如下好处： 应用复杂性降低 在最基本的层面上，s o a 是由x m l 建造并驱动的，由于标准的统一性和兼容 性，使得基于s o a 的信息集成与点到点的集成相比降低了复杂性，并从根本上减 少应用环境复杂性所带来的影响。 系统重用增加 通过对过去开发和部署的重用实现了服务的共享，能够建立更有效的应用程 序、更快的项目开发和交付。 遗留集成 作为可重用服务的遗留应用程序降低了维护和集成的成本，并且使得1 1 r 部门 能够以联邦的方式进行工作，此前孤立的环境现在可以互操作，不需要再开发新 的点对点集成通道。 1 4 s o a 理论的不断演进和拓展使得s o a 成为了一套逐渐完整和丰富的体系框 架，主要以如下特征作为标准衡量s o a 1 1 】： s o a 是以面向服务计算平台的核心 s o a 的理论不仅限于对产品、设计和技术的讨论，它已经超出了简单的架构 的范畴，成为一种全新的分布应用计算的代名词。 s o a 可以提升服务的质量 s o a 提升服务的质量包括以安全的方式执行任务的能力，保护消息的内容以 及对单个服务的访问；可靠的执行任务的能力，保证消息的成功传递以及对传递 消息的通知；满足性能需求的能力，确保系统的处理能力；事务处理能力，确保 任务失败时应当执行异常逻辑以及保护任务的完整性。 s o a 从根本上是自治的 面向服务的自治原则是要求单个服务在对其底层逻辑的控制方面尽可能是独 立和自包含的。这种自治通过消息级别的自治来实现。s o a 构建于这个原则之上， 并通过促进在解决方案环境和企业中的贯彻自治的概念来扩展该原则。 s o a 基于开放的标准 不仅消息的传递是由开放的标准控制的，消息本身也必须使用开放的、标准的 消息模型，s o a 限制了通过专有的技术封装和实现应用逻辑的作用。 s o a 支持厂商的多样性 开放的通信框架不仅对于企业内或企业问大量的异构系统连接有意义，而且还 允许组织针对特定应用来选择最佳环境，不论开发环境如何专有化，只要支持创 建标准的w e b 服务，该通信框架就可以用于创建非专有化的服务接口层，实现与 其他服务协调的机会。 s o a 促进发现 s o a 通过服务注册或目录的形式来管理服务描述，以支持服务在全企业内与 企业外的发布和发现， s o a 鼓励内在的互操作性 开放标准的使用、厂商的多样性以及发现机制的有效性，使得s o a 促进了互 操作的特性，这一特性可显著减少实现多应用集成的代价。 s o a 促进联邦 在企业内部建立s o a 无需替代已有的系统，通过封装遗留和建立非遗留的应 用逻辑，并通过通用的、开放的和标准的通信框架实现不同的混合解决方案。 s o a 提升架构的组合能力 可组合性是s o a 根深蒂固的特征，它能在不同层次上实现。例如，通过促进 可合成的服务的开发，s o a 可以支持灵活的、自动化的和高适应性的业务流程。 s o a 鼓励内在的复用 s o a 着重强调创建与业务流程和自动化解决方案无关的服务，建立了一个促 进多级别复用的环境。 s o a 强调可扩展性 可扩展性是s o a 始终倡导的一个特征，因为松耦合鼓励了所有服务间的最小 依赖，所以能够以最小的影响完成服务逻辑的扩展。 s o a 采用面向服务的业务建模模式 s o a 可以通过设计服务来表达业务逻辑，并通过服务的协调组合来精确表达 商业流程管理( b u s i n e s sp r o c e s sm a n a g e m e n t ，b p m ) 模型、实体模型和其他业务 职能形式。 s o a 实现抽象层 服务本身是一个抽象的概念，s o a 可以通过将服务作为不同的资源和逻辑处 理的单独访问点来实现抽象，这样可以除去所有与环境相关联的专有细节，仅需 关注由服务接口提供的功能。 s o a 促进整个企业的松散耦合 构建松耦合服务架构的核心效益在于它所形成的服务逻辑的独立性，服务能够 独立发展，从企业的角度来看，在一个组织内部由于面向服务的原则同时应用于 业务建模和技术设计，这样就在全局上实现了松散的耦合。 s o a 促进组织的敏捷性 不论是企业内部改组、公司合并还是业务范围的变化，或是替换已建立的技术 平台，组织的适应性都决定了其应对突发事件的效率，s o a 的松散耦合性、标准 化性使得企业增强了应对变化的敏捷能力。 s o a 是一个构件、一场变革、一种可实现的理想 将s o a 作为标准的企业将走向面向服务的企业( s o v i c e - o f i e n t e x le n t e r p r i s e ， s o e ) ，这使得s o a 成为了企业信息化的一个构件，s o a 是一个与过去分布式架 构有关联但又截然不同的架构，是对过去的变革，经过与s o a 相关的规范、标准 和产品的持续创新，在企业全局内实现s o a 的目标是可以达到的。 3 2w e bs e r v i c e s w e bs e r v i c e s 是当前实现s o a 的最主要方式，实现w e bs e r v i c e s 的关键在于 实现w e bs e r v i c e s 的描述、注册与发现以及访问方式等三个方面，以下章节将详 细论述这三个方面的实现方式。 1 6 3 2 1w e bs e r v i c e s 的定义 w e bs e r v i c e s 是一种自描述的、自包含的、模块化的应用程序，它通过w e b 访问为企业及个人提供了一系列的功能【1 2 】。p a p a z o g l o u 认为，一个w 曲s e r v i c e s 是一个基于i n t e r a c t 的分布式组件，它满足技术中立、松耦合、位置透明的服务要 求，可为跨企业的应用提供描述、发现、集成和为应用的协作提供支持13 1 。 通常一个w e bs e r v i