BI系统整体建设解决方案建议书

1、BI数据中心整体建设方案BI数据中心整体建设方案 BI系统 整体建设解决方案建议书BI数据中心整体解决方案目 录目 录 TOC o 1-4 h z u HYPERLINK l _Toc521442026 第1章客户需求概述 PAGEREF _Toc521442026 h 1 HYPERLINK l _Toc521442027 1.1项目建设背景 PAGEREF _Toc521442027 h 1 HYPERLINK l _Toc521442028 1.2需求分析 PAGEREF _Toc521442028 h 1 HYPERLINK l _Toc521442029 第2章项目建设目标 PAGE

2、REF _Toc521442029 h 2 HYPERLINK l _Toc521442030 2.1架构 PAGEREF _Toc521442030 h 2 HYPERLINK l _Toc521442031 2.2业务应用 PAGEREF _Toc521442031 h 2 HYPERLINK l _Toc521442032 第3章XXX建议整体建设解决方案 PAGEREF _Toc521442032 h 3 HYPERLINK l _Toc521442033 3.1解决方案系统架构 PAGEREF _Toc521442033 h 3 HYPERLINK l _Toc521442034 3

3、.2解决方案组成 PAGEREF _Toc521442034 h 4 HYPERLINK l _Toc521442035 3.2.1数据仓库（InfoSphere Warehouse Layer） PAGEREF _Toc521442035 h 5 HYPERLINK l _Toc521442036 3.2.2数据集市（Data Mart Layer） PAGEREF _Toc521442036 h 5 HYPERLINK l _Toc521442037 3.2.3数据ETL处理系统 PAGEREF _Toc521442037 h 5 HYPERLINK l _Toc521442038 3.2

4、.4业务应用 PAGEREF _Toc521442038 h 6 HYPERLINK l _Toc521442039 3.2.4.1Cognos客户洞察分析报表 PAGEREF _Toc521442039 h 6 HYPERLINK l _Toc521442040 3.2.4.2报表门户 PAGEREF _Toc521442040 h 6 HYPERLINK l _Toc521442041 3.2.4.3多维数据集 PAGEREF _Toc521442041 h 12 HYPERLINK l _Toc521442042 3.3配置建议 PAGEREF _Toc521442042 h 16 HY

5、PERLINK l _Toc521442043 3.4整体解决方案优势 PAGEREF _Toc521442043 h 18 HYPERLINK l _Toc521442044 第4章XXX数据仓库方案 PAGEREF _Toc521442044 h 21 HYPERLINK l _Toc521442045 4.1XXX 数据仓库方案概述 PAGEREF _Toc521442045 h 21 HYPERLINK l _Toc521442046 4.2XXX数据仓库解决方案带来的价值 PAGEREF _Toc521442046 h 22 HYPERLINK l _Toc521442047 4.3

6、XXX数据仓库方案功能特点 PAGEREF _Toc521442047 h 22 HYPERLINK l _Toc521442048 4.3.1数据分区技术 (DPF, Database Partitioning Feature) PAGEREF _Toc521442048 h 23 HYPERLINK l _Toc521442049 4.3.2深度压缩技术 PAGEREF _Toc521442049 h 25 HYPERLINK l _Toc521442050 4.3.3极限工作负载管理 PAGEREF _Toc521442050 h 26 HYPERLINK l _Toc521442051

7、 4.3.4嵌入式分析 PAGEREF _Toc521442051 h 27 HYPERLINK l _Toc521442052 4.3.5数据挖掘、建模和打分 PAGEREF _Toc521442052 h 27 HYPERLINK l _Toc521442053 4.3.6非结构化信息分析 PAGEREF _Toc521442053 h 29 BI系统 整体建设解决方案建议书BI数据中心整体解决方案目 录 HYPERLINK l _Toc521442054 4.3.7OLAP Cubing 服务 PAGEREF _Toc521442054 h 30 HYPERLINK l _Toc5214

8、42055 4.3.8灵活包装和许可选项 PAGEREF _Toc521442055 h 31 HYPERLINK l _Toc521442056 4.4为什么选择Information Management软件 PAGEREF _Toc521442056 h 33 HYPERLINK l _Toc521442057 第5章XXX客户分析应用方案 PAGEREF _Toc521442057 h 36 HYPERLINK l _Toc521442058 5.1InfoSphere DW Pack for Customer Insight 方案概述 PAGEREF _Toc521442058 h

9、36 HYPERLINK l _Toc521442059 5.2解决方案带来价值 PAGEREF _Toc521442059 h 38 HYPERLINK l _Toc521442060 5.3InfoSphere DW Pack for Customer Insight功能特点 PAGEREF _Toc521442060 h 39 HYPERLINK l _Toc521442061 5.3.1物理数据模型 PAGEREF _Toc521442061 h 39 HYPERLINK l _Toc521442062 5.3.2Cognos 应用报表 PAGEREF _Toc521442062 h

10、43 HYPERLINK l _Toc521442063 5.4为什么选择 InfoSphere DW Pack for Customer Insight PAGEREF _Toc521442063 h 46 HYPERLINK l _Toc521442064 第6章数据抽取、转换和加载方案 PAGEREF _Toc521442064 h 48 HYPERLINK l _Toc521442065 6.1InfoSphere DataStage 方案概述 PAGEREF _Toc521442065 h 48 HYPERLINK l _Toc521442066 6.2InfoSphere Data

11、Stage ETL方案带来价值 PAGEREF _Toc521442066 h 50 HYPERLINK l _Toc521442067 6.3InfoSphere DataStage 软件功能特点 PAGEREF _Toc521442067 h 52 HYPERLINK l _Toc521442068 6.3.1DataStage基于Information Server的架构 PAGEREF _Toc521442068 h 52 HYPERLINK l _Toc521442069 6.3.1.1通用用户界面 PAGEREF _Toc521442069 h 53 HYPERLINK l _To

12、c521442070 6.3.1.2通用服务 PAGEREF _Toc521442070 h 54 HYPERLINK l _Toc521442071 6.3.1.3通用知识库 PAGEREF _Toc521442071 h 54 HYPERLINK l _Toc521442072 6.3.1.4通用并行处理引擎 PAGEREF _Toc521442072 h 55 HYPERLINK l _Toc521442073 6.3.1.5通用连接器 PAGEREF _Toc521442073 h 55 HYPERLINK l _Toc521442074 6.3.2直观易用的开发和维护环境 PAGER

13、EF _Toc521442074 h 56 HYPERLINK l _Toc521442075 6.3.3企业级实施和管理 PAGEREF _Toc521442075 h 58 HYPERLINK l _Toc521442076 6.3.3.1作业顺序器 PAGEREF _Toc521442076 h 58 HYPERLINK l _Toc521442077 6.3.3.2任务资源使用预估 PAGEREF _Toc521442077 h 60 HYPERLINK l _Toc521442078 6.3.3.3图形化监控工具 PAGEREF _Toc521442078 h 61 HYPERLIN

14、K l _Toc521442079 6.3.4高扩展的体系架构 PAGEREF _Toc521442079 h 63 HYPERLINK l _Toc521442080 6.3.5具备线性扩充能力 PAGEREF _Toc521442080 h 66 HYPERLINK l _Toc521442081 6.3.6ETL元数据管理 PAGEREF _Toc521442081 h 67 BI系统 整体建设解决方案建议书BI数据中心整体解决方案目 录 HYPERLINK l _Toc521442082 6.4为什么选择 InfoSphere DataStage软件 PAGEREF _Toc52144

15、2082 h 69 HYPERLINK l _Toc521442083 第7章Cognos PAGEREF _Toc521442083 h 72 HYPERLINK l _Toc521442084 7.1Cognos 方案概述 PAGEREF _Toc521442084 h 72 HYPERLINK l _Toc521442085 7.2Cognos方案带来价值 PAGEREF _Toc521442085 h 74 HYPERLINK l _Toc521442086 7.3Cognos 软件功能特点 PAGEREF _Toc521442086 h 76 HYPERLINK l _Toc5214

16、42087 7.4为什么选择 Cognos软件 PAGEREF _Toc521442087 h 83 HYPERLINK l _Toc521442088 第8章SPSS 数据挖掘 工具 PAGEREF _Toc521442088 h 87 HYPERLINK l _Toc521442089 8.1SPSS数据挖掘方案概述 PAGEREF _Toc521442089 h 87 HYPERLINK l _Toc521442090 8.1.1数据分析应用主题 PAGEREF _Toc521442090 h 87 HYPERLINK l _Toc521442091 8.1.2应用系统架构 PAGERE

17、F _Toc521442091 h 89 HYPERLINK l _Toc521442092 8.2SPSS方案带来价值 PAGEREF _Toc521442092 h 91 HYPERLINK l _Toc521442093 8.3SPSS 软件功能特点 PAGEREF _Toc521442093 h 97 HYPERLINK l _Toc521442094 8.3.1数据挖掘软件及技术服务的技术标准 PAGEREF _Toc521442094 h 97 HYPERLINK l _Toc521442095 8.3.2软件支持算法和模型 PAGEREF _Toc521442095 h 98 H

18、YPERLINK l _Toc521442096 8.3.2.1支持算法的广度和深度 PAGEREF _Toc521442096 h 98 HYPERLINK l _Toc521442097 8.3.2.2软件界面易用性 PAGEREF _Toc521442097 h 101 HYPERLINK l _Toc521442098 8.3.2.3软件运行性能 PAGEREF _Toc521442098 h 106 HYPERLINK l _Toc521442099 8.3.2.4数据挖掘软件与现有系统的集成要求 PAGEREF _Toc521442099 h 109 HYPERLINK l _To

19、c521442100 8.4为什么选择 SPSS软件 PAGEREF _Toc521442100 h 111 HYPERLINK l _Toc521442101 第9章专业化服务 PAGEREF _Toc521442101 h 113 HYPERLINK l _Toc521442102 9.1业务需求分析 PAGEREF _Toc521442102 h 113 HYPERLINK l _Toc521442103 9.2系统架构设计 PAGEREF _Toc521442103 h 113 HYPERLINK l _Toc521442104 9.3客户化工作 PAGEREF _Toc5214421

20、04 h 113 HYPERLINK l _Toc521442105 9.3.1业务需求定义 PAGEREF _Toc521442105 h 113 HYPERLINK l _Toc521442106 9.3.2多纬度模型设计 PAGEREF _Toc521442106 h 114 HYPERLINK l _Toc521442107 9.3.3数据模型修改 PAGEREF _Toc521442107 h 114 HYPERLINK l _Toc521442108 9.3.4ETL设计和开发 PAGEREF _Toc521442108 h 114 HYPERLINK l _Toc52144210

21、9 9.3.5Cognos报表开发 PAGEREF _Toc521442109 h 117 HYPERLINK l _Toc521442110 9.4技术支持 PAGEREF _Toc521442110 h 117 BI系统 整体建设解决方案建议书BI数据中心整体解决方案目 录 HYPERLINK l _Toc521442111 9.5培训 PAGEREF _Toc521442111 h 117 HYPERLINK l _Toc521442112 第10章XX公司简介 PAGEREF _Toc521442112 h 119 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE

22、2页客户需求概述项目建设背景（根据客户提供的材料，简要地说明申银万国证劵建设BI系统的背景。）需求分析需求 - 1： 建立数据中心，实现业务数据统一管治。需求 -2 ：把 Data Warehouse Pack for Customer Insight 报表集成到业务系统 PORT。需求 3：通过建立数据中心，获取可帮助业务优化的分析型报表，并实现操作型CRM的业务运营模式。（根据客户提供的需求文档资料，详细地说明目前申银万国证劵的需求。） BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 2页项目建设目标架构（根据客户提供的材料，简要地说明申银万国证劵建设BI系统的背景。

23、）业务应用 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 3页XXX建议整体建设解决方案当客户提出要建设BI系统以优化业务后，XXX公司建议使用 整体建设的解决方案，详细说明如下。解决方案系统架构 XXX公司建设BI系统的整体解决方案的系统架构说明如下。XXX BI整体解决方案系统架构建立企业级的中央数据仓库InfoSpere Warehouse，形成统一的业务数据管理平台，为企业各个业务部门提供业务层面上的数据分析结果，以实现业务优化的目标。基于InfoSpere Warehouse基础上，建立面向部门级应用的数据集市，通过InfoSphere Data Wareho

24、use Pack for Customer Insight 产品方案，物理数据模型和Cognos 8 BI BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 4页系统提供样本报表，可帮助客户快速地建立针对客户资料和交易行为分析的应用系统。基于InfoSpere Warehouse和部门级应用的数据集市的基础，针对特殊和关键的业务需求，通过XXX SPSS数据挖掘软件工具，根据各项业务指标要求对挖掘模型进行训练，以挖掘出解决指定业务问题的答案，并持续支持业务发展。XXX Information Server 提供了数据集成的解决方案，其中 DataStage软件工具实现了从各

25、个生产业务系统抽取出数据，并按业务规则进行转换，最后把处理结果加载入数据仓库平台。解决方案组成整个解决方案涉及的软件产品具体说明如下。XXX BI整体解决方案系统组成部分 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 5页数据仓库（InfoSphere Warehouse Layer）物理模型提供InfoSphere Warehouse Sample DB DDL InfoSphere Warehouse Design Studio 数据模型，含盖数据仓库的原子表和面向报表应用的事实表。数据从数据仓库更新到事实表的逻辑说明和指引说明文档。数据集市（Data Mart L

26、ayer）InfoSphere Warehouse Cubing Services Cube 建立一个Star SchemaCognos Framework Manager Model 建立全部 Star Schema从数据仓库和 Cognos 元数据迁移到 Metadata Server的说明和指引文档资料。数据ETL处理系统InfoSphere Information Server DataStage ver.8.1 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 6页业务应用Cognos客户洞察分析报表Cognos ReportStudio Reports for

27、Customer InsightCognos AnalysisStudio Reports for Customer Insight备注：有关报表的详细内容，请参阅第四章节。报表门户1.1 管理驾驶舱管理驾驶舱以仪表盘、趋势图等方式展现业务绩效的关键指标，包括开销户、转为有效户、资产、交易量、佣金及净佣金率等。图1 管理驾驶舱仪表盘 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 8页仪表盘常用于同时展现绝对指标和相对指标。图2中仪表盘的外圈刻度表示开销户、交易量等指标的绝对值，不同区域的颜色表示此指标值的健康程度；内圈刻度表示相对占比（如在公司或市场占比）。图2 交易量

28、仪表盘双轴柱线图图3为交易量趋势图，其中左轴是成交量，右轴是市场占比。柱状代表成交量的变化趋势，折线是成交量市场占比的变化情况。此图可以很好的表达公司自身的成交量趋势以及在同业中所处的水平。 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 8页图3 交易量趋势三维饼图图 4的饼图直观的揭示了特定时间段内的交易量构成，显示各证券类别的交易量占比。图4 交易量构成1.2 客户分析多角度展示客户总体的特征分布（资金量、活跃度、年龄等其他人口统计学特征、净佣金等），摒弃简单的“大中散”客户分类方式，深层剖析客户盈利的关键因素。分析流失客户的行为特征，为客户挽留提供数据依据。开销户

29、和资产报表：按时间段、按分公司（营业部）统计客户的开户数、销户数、转有效户数及其均值等，以及客户保证金、市值、资产及新增和流失的保证金、市值和资产。 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 9页堆积柱状图图5以堆积柱状图展示了不同年龄段客户群对不同证券交易品种的偏好。图5 不同年龄段交易量结构图6 开销户明细报表1.3 综合排名 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 10页各营业部按新增开销户、有效户、客户资产、佣金等指标在公司、分公司的排名及排名的变化。图7 本月营业部新增有效户排名1.4 营业部报表1）营业部的开销户、有效户、交

30、易量及佣金等指标的历史变化趋势图2）不同营业部之间多指标对比分析（雷达图）3）交易量等指标的构成（按证券类别、委托方式等）雷达图图8用雷达图可以对营业部进行直观的综合能力分析及对比。可以选取多个关键性指标进行量化后作为雷达图的各个轴，每个轴分为十个刻度，值越大代表越好。这样的话面积越大代表该营业部综合能力越强。据图6所示，绿色营业部的综合实力明显强于红色营业部。红色营业部虽然在期末资产和总成交金额胜于对方，但并未带来更多的净佣金收入，而绿色所代表的营业部在新增客户方面更强，且有更高的净佣金。 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 11页图8 营业部间多指标综合对

31、比1.5 存管银行报表1）不同时段内，单个指标在存管银行间占比分析（饼图、堆积图等）2）两个或多个存管银行之间多指标对比（气泡图、雷达图）3）指定存管银行，多指标变化趋势气泡图图9用气泡图在平面图对各个存管银行的交易量、月末资产和新增开户数进行比较。横轴代表交易量，纵轴代表月末资产。图中的每个气泡代表一个存管银行，气泡的大小表示开户数。图8以堆积柱形图展示存管银行交易量中各个证券类别的占比。 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 12页图9 存管银行客户持仓率、资产及开户数比较多维数据集根据多维业务模型建立的多维数据集，作为一个统一的数据平台，不仅作为前台门户报

32、表的数据源，同时支持业务分析人员从多角度（客户、时间、证券产品、委托方式等）及多层次（如时间的日、月、季度、年等），通过上卷、下钻等操作，快速灵活的分析客户的交易、持仓、盈亏等数据，使他们快速准确的掌握当前的运营状况，验证复杂假设、预测趋势并制定营销策略。图10显示了从资产区间、客户贡献度级别和活跃度等角度试探分析客户数及其保证金、市值和资产的分布。 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 13页图10 客户数据的OLAP分析2.1 维度客户营业部证券类型委托方式时间是否信托渠道经纪人交易市场货币类型存管银行场内场外 BI系统 整体建设解决方案建议书BI数据中心整

33、体解决方案第 PAGE 14页账户变动2.2 度量值组2.2.1 证券交易成交金额发生金额发生数量净佣金实收佣金平均佣金率日均交易量日均净佣金2.2.2 基金销售手续费销售金额销售数量日均开放式基金销售量2.2.3 开户销统计开户计数销户计数流失保证金流失市值 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 15页流失资产正常户数有效户数无效户数空户数转有效户数2.2.4 资产汇总日均保证金HK日均保证金RMB日均保证金USD日均场外基金市值日均市值HK日均市值RMB日均市值USD日均总资产月末A股市值月末B股市值月末保证金HK月末保证金RMB月末保证金USD月末场内基金

34、市值月末场外基金市值月末创业板市值 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 16页月末封闭式基金市值月末其它市值月末权证市值月末市值HK月末市值RMB月末市值USD月末特别转让市值月末债券市值月末总资产配置建议类别配置描述数量备注硬件部分ACRM数据库服务器XXX P550 baseXXX P550 mes (4 cores, 32GB RAM, 4 HBA and 4*1 Gb Ethernet)1磁盘阵列器XXX DS5300 (16GBCache, 10*300GB FC HDD)1ETL服务器 XXX System x3850 x5 1 BI系统 整体建设

35、解决方案建议书BI数据中心整体解决方案第 PAGE 17页(4 x CPU (8core), L3 24MB Cache, 32GB RAM, 4 X 300GB RAID 5 HardDisk)软件部分XXX P5505662-SEP XXX Systems Director Standard Edition for Power Systems SW Maint 3 Yr Reg1XXX P550750 Per Proc Small 3 Year SWMA Reg2Data Warehouse S/WInfoSphere Warehouse Departmental Base Edition

36、 V9.71CognosXXX Cognos 8 Business Intelligence V8.4.11Application Warehouse Pack for Customer Insight Insight1ETL ToolInfoSphere Information Server DataStage V8.11Data ModelInfoSphere Data Architect V7.5.21 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 18页 ToolData Mining ToolSPSS - Clementine Server2 CPUData

37、Mining ToolSPSS - Clementine Client3并发用户Data Mining ToolSPSS - Clementine Batch2 CPU备注：有关上述配置的明细项，请参阅系统配置/报价表。整体解决方案优势系统高度集成 Warehouse和InfoSphere Warehouse Pack for Customer Insight 建立了业务必要的基础架构，分析来自不同IT系统的数据源数据，提供了横跨客户、产品和渠道等方面的准确分析，以及有关客户的档案信息和利润贡献度的可视化分析结果。 InfoSphere Warehouse内嵌有对OLAP、文本和数据挖掘功能支

38、持，经过调优后得以发挥其优势。结合 InfoSphere Information Server 的数据集成处理，提供可信赖信息以更清晰地理解业务状况。 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 20页 Warehouse、InfoSphere Warehouse Pack for Customer Insight、InfoSphere Information Server和 XXX SPSS等软件产品易于集成，针对客户的业务需求提供了整体解决方案。面向业务应用整体解决方案中包括InfoSphere Warehouse Pack for Customer Insigh

39、t应用软件，和数据模型以及对业务内容的定义，为客户加速地实施终点对终点的解决方案，为机构快速地抢占市场份额创造优势，并减低业务经营的风险。最终，帮助业务部门的用户充分地发挥数据仓库和分析系统带来的优势：获取整体和它们之间互有联系的信息；通过数据分析结果洞察业务商机，识别其发展趋势和暗藏关系；为机构的各个部门人员提供共享的信息，以作出更快、更准确和更有信心的商业策略决定。单一厂商为客户，提供硬件、软件、服务与支持的全能冠军。快速产生价值使系统运行 & 产生利润 成本核算 同一个厂商、同一种价格算法、成本核算更准确; BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 20页充分

40、发挥技术优势 XXX延续收购尖端技术策略 规避系统集成上风险 XXX 负责产品/方案最佳地集成，并降低实施风险。 避免系统集成困扰 XXX 专著于平台，你可专著于解决方案。 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 21页XXX数据仓库方案XXX 数据仓库方案概述XXX数据仓库平台方案是以XXX DB2 9.7 为核心基础，为企业提供一个完整的、多用途的数据仓库平台环境。它允许用户访问、分析和操作任何类型的信息（包括结构化数据和非结构化数据），更深入地挖掘隐含的关系、模式和趋势，并通过可靠的、实时的深入理解做出迅速响应。此方案为企业提供了数据仓库所需的必要功能：提供

41、了一组创新型功能，这些功能结合起来能够提供无与伦比的数据集群性能和存储空间的压缩，从而为很多类型的数据仓库查询带来好处。这些功能包括：根据多个数据属性进行可靠的数据集群、消除数据碎片、通过范围分区技术实现高效的数据窗口、高效的数据压缩、高度并行的可伸缩处理以及自动化的设计工具，它们使数据库设计者能够轻松地利用这些功能来满足性能需求。 创新的功能组合能够互相协作，从而满足日益增长的动态和苛刻的数据仓库需求。这些功能包括：支持多种查询类型的高性能、高选择性数据访问，支持实时数据仓库的低延迟数据输入，以及用来降低运营成本的存储优化。这些特性提供了增强的性能，直接提高了DB2企业的业务价值，同时借助独

42、特的、创新型数据库设计方案组合，DB2为众多常见且复杂的商业智能需求提供了更好的选择。 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 22页简而言之，XXX数据仓库解决方案有助于解决当今企业面临的双重挑战，即提高日常处理产生的数据的价值，同时降低企业运营成本。XXX数据仓库解决方案带来的价值XXX数据仓库解决方案有助于提高日常业务处理产生的数据价值，帮助您获得最大的信息投资回报，同时还可以帮助您实现：降低数据分析人员工作的复杂度，提高系统的数据挖掘和分析能力，为管理层提供及时、精确、有效的营销和辅助决策分析；提高数据仓库的可扩展性与可维护性，降低IT运营成本，提高信息投

43、资回报；高效率的数据压缩和数据备份技术，不仅降低数据的存储成本，并有效提高数据的安全性与可用性；更为灵活的数据架构和模型，构建统一的企业业务运营数据模型。XXX数据仓库方案功能特点 Warehouse 数据仓库平台解决方案是以XXX DB2 9.7为核心基础，利用其具有强大可伸缩性和非共享的分布式架构，提供了高性能的混合工作负载查询处理能力（既可以高效处理交易(OLTP），又可以高效进行在线数据分析(OLAP)），满足现代动态数据仓库实时数据更新的同时进行深入数据统计、分析和挖掘的需要。大量高级特性使 DB2 9.7 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 23页

44、成为一个功能强大的动态数据仓库引擎，这些特性包括数据分区、行级别压缩、多维集群（MDC）以及物化查询表（MQT），其中MQT 和多维集群也有助于提高性能。数据分区技术 (DPF, Database Partitioning Feature)DB2 9.7 数据分区技术 DPF，允许 InfoSphere Warehouse数据仓库用户在单个服务器或一群服务器中对数据库进行分区。企业可以灵活地利用 DB2 数据分区，来支持数据仓库环境中常见的特大型数据库以及复杂的工作负荷和更多的并行查询任务。对 DB2 数据服务器进行分区需要 DB2 数据分区功能。DB2提供了先进的“哈希（HASH）算法”映射

45、数据库的每一条记录到特定的数据库分区中。“哈希算法”使用表中的一列(或一组列)作为分区关键字，得到0至65535的数值。分区图定义了为65536个值中的每一个值分配的特定的数据库分区。DB2为数据存储提供了灵活的拓扑结构以达到高性能及高并行。每个数据库由一些数据库分区组成，每个数据库分区实际上是数据库的一个子集，它包含自己的用户数据，索引，交易日志及配置文件。在数据库中，管理员需要定义节点组(Node BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 25页 Group)数据库分区所分布的节点集合。节点组能够跨越为该数据库设置的数据库分区的一部分或全部。在节点组中，还要定义

46、表空间，以说明用来存储表数据及索引的容器(Container)(文件或设备)。在数据库分区中，如果为每个表空间定义多个容器，则数据库管理系统可以利用I/O的并行机制提高性能。DB2数据库分区的体系结构具有很多优势：一张数据库表被分布在多个数据库分区上，因此一张大规模数据库表可以大到TB级。DB2在数据定义语言(DDL)，数据操作SQL，以及运行时都引用了分区的模式。其分区方法还可以看作为装载平衡的工具(通过修改分区关键字及分区图，各分区中的记录数可以调整)。DB2优化器利用分区的知识来估价不同操作的耗费，从而为每个SQL语句选择最优的执行策略。数据的分布通过对分区关键字进行哈希算法完成，分区图

47、中提供了每条记录的存放位置。如果在初次分布数据之后，出现了数据存放不均的现象，DB2能够自动分析并更正。DB2可以通过修改分区的分布自动创建一个新的分区图来平均分布当前不均的数据。其中涉及到的数据记录自动移到它新被分到的数据分区。对于不断增长的数据库，我们可以增加分区(同时增加处理能力)，修改分区图来包含这些新的数据库分区，而后系统能够自动的重新分布数据，以达到新的平衡。DB2 UDB提供了这一功能，使得系统具有非常好的扩展性。处理能力较强的数据库分区可以存放较多的数据，从而在一切非共享的体系架构下可以充分利用各节点的处理能力使其负载均衡。DB2可以用来按比例的将更多的数据分布在具有更强处理能

48、力的数据库分区上。 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 25页应用可以调用API找到记录的存放位置，然后将交易送到记录所在的节点。该API也可以直接被交易处理应用来调用，如XXX CICS，Encina,将交易送到适当的节点而提高性能。XXX DB2支持在多个小型数据库表上增加一个UNION ALL VIEW，从而建立一个逻辑上的大表。如果由于硬件等原因，使得对一张大数据表的存储处理变得困难时，我们可以支持将数据分布在多个较小型的数据表中，然后使用UNION ALL VIEW技术来实现一个逻辑大表的组织和访问。透过UNION ALL VIEW，用户可以透明地对

49、View中的多个较小规模的表实现Update、Delete、Insert、Select操作。深度压缩技术使用 InfoSphere Warehouse，用户可以充分利用 DB2 9.7 中独创的存储优化技术，它不仅能够极大减少存储关系数据所需的空间和成本，而且还能够提高查询性能。压缩能够节省可观的空间：行业标准 TPC-H 数据仓库基准测试表明，可节省 45% 69% 的磁盘空间。现在，压缩功能更易于使用。InfoSphere Warehouse 支持用户在将数据装入数据仓库时对数据进行自动压缩，这有助于降低维护成本。除了减少存储的使用，降低成本之外，压缩功能还能够显著的提高性能。使用行数据压

50、缩技术减少了读取数据时的I/O操作，从而降低了相对缓慢的I/O操作对系统性能的影响，提高了整体的性能。甚至对于消耗CPU较多的操作，使用行数据压缩技术仍能够提高性能。DB2的压缩解技术是将数据行中重复的数据模式映射到一个占用空间较少的符号，从而减少表格数据的总大小。此解决方案采用了一种静态的基于字典的压缩算法，并按行进行压缩。存储优化的优点包括： BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 26页大幅减少磁盘的使用，降低总体成本；减小表、索引和交易日志的大小，便于分布和存放数据；节省备份所需磁盘空间，便于管理；提高系统的整体性能；通过最小化I/O，并提高DB2缓冲池的

51、命中率来加强性能；包含压缩评估功能来帮助计算使用数据压缩带来的节省；降低对内存的需求（或者更有效的使用存在的内存）；在数据仓库环境下带来更大的节省。极限工作负载管理InfoSphere Warehouse 提供了一组独具特色的极限工作负载管理功能，支持实时交付对业务状况的深入理解，同时继续支持所有传统的信息访问、分析和报告需求，而不会影响性能。使用传统的数据服务器解决方案很难将信息实时交付给所有用户和应用程序，因为过多的用户运行查询会给底层基础设施施加技术上的限制。此外，面向大型批处理的数据加载或报表作业，以及由战略和战术规划工作驱动的密集分析处理可能对那些需要快速响应的请求（例如用户与客户进

52、行交互的请求）造成影响。利用InfoSphere Warehouse 中提供的高级工作负载管理功能，用户可以为来自不同用户和应用程序的查询划分优先级，并控制分配给这些工作的底层资源总量，从而帮助确保满足关键部门、客户和用户的服务水平协议。 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 27页嵌入式分析作为 Warehouse 软件的一部分，XXX 嵌入式分析功能提供了复杂但易于使用的工具集，这些工具被嵌入到数据仓库中。在 InfoSphere Warehouse 中，XXX 已经替您完成了集成工作，因此实现和维护变得更简单，并且提高了用户采用率和您的投资回报。联机分析处

53、理（OLAP）的高级立方体分析、非结构化分析、嵌入式分析以及数据挖掘和可视化功能让您能够充分利用以前未被有效利用的业务信息资源，这些功能紧密协作，构成一个健壮的端到端分析解决方案，为所有用户提供高价值的商业智能。数据挖掘、建模和打分过去，当要在某个数据集上执行数据挖掘时，必须先从数据仓库中提取数据，然后对其进行单独分析并将结果发回数据仓库。InfoSphere Warehouse 提供了嵌入式数据挖掘、建模和计分功能，允许您直接在数据库中执行分段分析和预测性分析。这意味着您可以使用最新的数据，并实时交付分析结果。InfoSphere Warehouse 支持标准的数据挖掘模型算法，例如集群、关

54、联、分类和预测，来自第三方建模工具的其他算法可以以行业标准的“预测模型标记语言”（Predictive Model Markup Language）格式导入到数据仓库中。借助InfoSphere Warehouse数据挖掘功能，您可以发现数据中隐藏的关系，而不必将数据导入特殊的数据挖掘计算机或使用小数据样本。具有以下特性：支持以符合预测模型标记语言 (PMML) 2.1 版和 2.0 版行业标准的格式开发数据挖掘模型； BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 28页可以从其它工具（如 SPSS Clementine、SAS Enterprise Miner、Ang

55、oss KnowledgeSTUDIO 等等）中导入数据挖掘模型；通过可视化数据挖掘功能（基于 Java 的结果浏览器），可以进行数据挖掘模型分析。它甚至允许非专家用户查看和评估数据挖掘进程的结果。允许用户实时进行数据挖掘分析。您可以将这些功能应用到业务智能和操作应用中，从而更好地为企业和消费用户提供服务 通过为企业和用户提供更明智的建议、更个性化的待遇或针对特定情况不断改进业务模型。通过使用并行化和缓存技术来提供无以伦比的数据库性能实时评价。通过简单的开发接口即可使用 DB2数据仓库版数据挖掘功能。InfoSphere Warehouse Design Studio提供了一个无需编码的图形数

56、据挖掘开发环境。 BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 29页数据挖掘分析的结果是业务规则。例如：购买产品 X 的客户有 15% 可能会购买产品 Y。这些业务规则存储在称为模型的对象中。 DB2数据仓库版的数据挖掘功能可以在各种不同的环境下使用。例如，可以对 UNIX、Linux 或 system i5、system z9 以及 system p5 操作系统中的其它数据库进行数据挖掘。非结构化信息分析InfoSphere Warehouse 现在提供了分析非结构化数据并从先前未充分利用的信息中提取知识的能力。非结构化数据现在可以像结构化数据一样进行访问，从而提供

57、了对客户和产品问题的更深层次的理解。提供的非结构化信息分析功能可以提升客户服务水平，为产品提供早期的问题侦测。例如，我们不仅可以从一些结构化数据中分析客户关心的某些事件发生的概率，也可以从邮件、声音、聊天的通讯记录等数据中抽取相关的信息。利用非结构化和结构化信息新的洞察力，来提升客户服务的质量和满意度：利用所有可以利用到的信息，提高业务决定的抉择； BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 30页增强客户的理解、满意度、凝聚力和忠诚度；侦测和预防客户服务问题的升级；流线型的内容分析可以加速处理流程，提高可靠性；客户流动和忠诚度分析，欺诈分析。InfoSphere W

58、arehouse还提供了基于文本的分析引擎，遵循UIMA非结构化信息管理架构的标准。利用文本分析引擎可以把文本信息转换成可在DB2数据库中可执行的SQL，把文本转换到一些数据库结构化字段和关系型表中。我们在抽取和转换这些文本的时候要设计相应的流程，主要包括两部分的设计：需要一个工作平来配置文本分析引擎，UIMA的术语叫注释器。我们需要一个基于规则的注释器，基于业务面临的问题和文本资料指定相应的规则。如果是一个基于字典的注释器的话，我们还需要为字典配置一组词。另一部分是配置分析的引擎，用来定义转换的流程。配置要被进行分析的表，指定要用到的文本分析引擎，把分析结果映射到数据库表中的字段中。文本分析

59、转换完成后，即可利用一些报表和分析工具，例如Alphablox或者Cognos来进行分析应用。OLAP Cubing 服务OLAP Cubing 服务允许您在同一台数据库服务器上内存中创建遵循 MDX（多维查询的实际标准）的多维数据集。在同一台服务器上创建多维数据集节约了网络带宽并消除了对第二台服务器的需求。在许多情况中，常驻内存的多维数据集会产生极大的性能提升。XXX Alphablox、Cognos 或任何符合 MDX BI系统 整体建设解决方案建议书BI数据中心整体解决方案第 PAGE 31页 的产品都可以用来报告多维数据集中的数据；可以选择通过 MDX 查询语言直接访问这些多维数据集而

60、无需通过前端工具。 使用许多 OLAP 产品（例如 Cognos）的内建多维数据集功能有许多优势；但是，Cubing 服务在许多环境中都能产生价值。此外，Cubing服务现在包含 CubeViews，CubeViews 使用物化查询表来优化（如有需要可以通过创建向导功能协助创建）、管理、部署和更新仓库摘要表的数据。下图显示 Cubing 服务为各种前端工具提供数据。 图 Cubing 服务为各种前端工具提供数据灵活包装和许可选项数据仓库客户在寻求能支付得起的、组件很好集成的、相对容易管理的和全面的解决方案。 Warehouse提供许多选项，从原先的软件到各种解决方案，包括硬件、操作系统、软件和