电力系统数据仓库解决方案样本

目录TOC\o"1-4"\h\z\u1背景 -1-2需求概述 -2-2.1电量分析 -2-2.1.1基本指标 -2-2.1.2深度分析 -2-2.2供电可靠性分析 -3-2.3电压合格率分析 -4-2.4线损分析 -5-2.4.1基本指标 -5-2.4.2深度分析 -6-2.4.3图形展示 -6-2.5装备水平分析 -6-2.6人力资源分析 -7-3解决方案 -8-3.1创立仓库模型 -8-3.1.1主题1售电量 -8-3.1.2主题2用电量 -9-3.2数据抽取规则 -10-3.2.1分析业务系统库，对数据字典进行分类 -10-3.2.2找出各业务系统内及其与目的数据库之间存在数据不一致。 -11-3.2.3设计出适当转换规则 -12-3.2.4设计数据抽取流程 -12-3.2.5设计数据抽取流程抽取方式，并开始数据抽取 -13-3.2.6对抽取到数据仓库中数据，进行验证 -14-3.2.7完毕数据抽取 -14-3.3OLAP多维分析 -14-3.3.1多角度分析 -14-3.3.2图形展示 -16-3.4数据挖掘 -17-3.4.1关联分析 -17-3.4.2分类分析 -19-3.4.3预测分析 -20-4采用技术及有关产品 -21-4.1构建数据仓库技术环节 -21-4.2有关产品简介 -22-4.2.1WarehouseManager -23-4.2.2CubeViews -24-4.2.2.1概述 -24-4.2.2.2建模及优化过程 -25-4.2.3OLAPServer -26-4.2.3.1概述 -26-4.2.3.2使用MOLAP系列工具建立电力分析模型 -28-4.2.4Alphablox -31-4.2.4.1概述 -31-4.2.4.2AlphaBlox体系构造 -32-4.2.4.3AlphaBlox应用 -33-4.2.4.4Cube分析引擎（AlphabloxCubingEngine） -34-4.2.5IntelligentMiner -35-4.2.5.1数据挖掘评分组件（IMScoring） -36-4.2.5.2数据挖掘建模组件（IMModeling） -37-4.2.5.3数据挖掘图示化组件（IMVisualization） -37-5实行筹划 -39-5.1地纬公司技术、实力与经验 -39-5.2实行开发综述 -39-5.3实行开发筹划 -40-一、需求分析阶段 -40-二、物理建模阶段 -40-三、数据转换（即ETL过程）阶段 -40-四、生成多维模式并搭建立方体阶段 -40-五、多维分析及呈现阶段 -40-六、数据挖掘阶段 -41-附：工程实行整体筹划一览表 -41-1背景随着计算机应用技术普及，电力行业信息化建设得以突飞猛进发展，营销MIS系统、抄表自动化系统、配电GIS系统、调度自动化系统、变电生产管理系统、以及办公自动化OA系统等基本应用系统已经在各电力公司得以建成并稳定运营。如何运用更前端计算机技术，在这些基本应用系统之上，建立更高层次应用，已成为各电力公司对内提高自身管理水平和运营效率、对外提高服务质量、最后提高公司自身竞争力重要手段。当前，各级电力公司迫切需要对大量详尽真实历史数据进行综合分析，及时精确地掌握公司电力营销状况，科学地预测电力市场发展趋势，为制定电力政策和电力市场营销战略提供根据。因而，运用数据仓库技术和辅助决策支持有关技术，建设电力营销数据仓库和辅助决策支持系统已成为一项核心任务。在这种形势下，济南市供电局适时提出了建立济南供电局辅助决策支持系统任务，通过对数据库数据和人工录入数据挖掘，以指标体系为中心，进行深度分析和挖掘，为不同层次管理人员提供决策信息支持。济南供电局辅助决策支持系统第一阶段重要以电量、电压合格率、供电可靠性、线损核心指标，输、配、变电设备装备水平，人力资源为重点。本方案暂以电量为主题给出建设实行初步方案。

2需求概述2.1电量分析通过对全公司、分部门、分变电站、分电压级别、分时间段、分线路供电量和售电量数据显示，提供电量基本指标数据。通过基本数据再挖掘可实现不同用电时间段售电量分析、不同地区用电分析、不同电价类别售电量分析、不同行业用电分析、大顾客分析。数据来源营销自动化系统。2.1.1基本指标全公司供电量，各供电部公用区供电量，无损供电量电量，趸售供电量（按线路名称记录、按趸售县单位记录）全公司售电量，各供电部公用区售电量，趸售电量登记表（按线路名称记录、按趸售县单位记录），无损电量（按电压级别），各单位电费口径售电量、线损口径售电量，各单位分压售电量表，各单位分线售电量（各客户售电量明细）。按照供电区域(全公司、部门、变电站、电压级别、线路)任意时间段分线供电量查询分析。按照供电区域(全公司、部门、变电站、电压级别、线路)任意时间段分线售电量查询分析。按照供电区域(全公司、部门、变电站、电压级别、线路)查询任意时间段分电压售电量按照供电区域(全公司、部门、变电站、电压级别、线路)查询任意时间段任意关口计量点供电量。按照供电区域(全公司、部门、变电站、电压级别、线路)查询任意时间段任意受电计量点售电量。2.1.2深度分析不同用电时间段售电量分析依照不同月份用电总量记录数据，纵向分析各个月份售电量变化趋势，横向比较不同月份售电量差别，形成多维分析，比较不同月份之间售电量变化差别；理解市场需求时间属性，及时捕获市场变化。不同地区用电分析分析地区售电量历史数据，形成该地区售电量变化曲线，依照曲线走势判断该地区将来电量变化趋势；分析各地区对总体售电量涨跌贡献率；依照该地区各行业顾客分布状况，结合行业发展综合指标，进一步分析、判断该地区售电量潜力；分析各经济指标对电量涨幅贡献率。不同电价类别售电量分析针对不同类别电价，记录售电量历史数据，分析不同类别电价相应售电量变化趋势；通过多维分析，横向和纵向相结合，立体、直观地分析售电量变化率差别，可以得到不同电价类别售电量增长潜力，为用电营销某些电价调节提供决策根据。不同行业用电分析按照行业分类，记录行业售电量，比较历史数据，形成不同行业售电量变化曲线；纵向分析某一行业售电量随时间变化趋势；横向比较不同行业售电量差别，重点关注不同行业之间售电量变化示行业用电潜力、各类顾客需求潜力和区域用电增长潜力等，为公司决策人员提供重要决策根据。大顾客分析大顾客分析是用电营销重要环节。从各种角度分析大顾客用电特性，制定贴身营销方略，获取更高经营利润。综合记录分析用电量排名前十顾客用电量增长排名前十顾客浮现负增长顾客某月用电量日分析与温度同轴显示售电量，同比增长率，按单位、季度、用电类型，结合业扩分析增长因素。对紧急限电序位方案表进行管理。涉及负荷接近能力预警，超负荷运营报警等、限电序列资料等。2.2供电可靠性分析全公司、分单位供电可靠率、顾客平均停电时间、停电顾客平均停电时间基本数据。按月停电时间超过10小时线路以及停电时间长短和停电次数分别对明细排序。在此基本上可进行可靠性影响因素分析筹划停电、暂时停电、故障对供电可靠率RS-1影响，并详细分析故障对可靠率详细影响。数据来源抄表自动化、配电GIS。详细指标如下：顾客停电明细（报表形式）对基本显示数据，按单位柱状图和报表显示，历史同期对比柱状图显示，本年度发展趋势折线图显示。可靠性影响因素，按单位和影响因素柱状图和报表显示，历史同期对比柱状图显示，本年度发展趋势折线图显示。详细影响因素，按影响因素柱状图和报表显示，历史同期对比柱状图显示，本年度发展趋势折线图显示。月停电时间超过10小时线路报表显示（本月），详细每条线路本年度历史停电时间折线图显示。按停电时间长短和停电次数分别对明细排序（本月）。2.3电压合格率分析基本指标：都市综合电压合格率、A类电压合格率、B类电压合格率、C类电压合格率、D类电压合格率等基本数据。通过对几种系统数据深度挖掘，可对A类电压合格率分析电压质量监测点越上限在每天时间段分布；和该段时间内主变压器分接头位置、电容器投切状态、系统负荷状况信息显示在一张图标上，判断每天越限时间浮现时间段与否大体相似、与否自动调压、电容器与否自动投切。B、C类电压合格率，分析最差几种电压质量监测点供电半径、无功配备状况，所供变电站无功补偿状况，以分析因素。数据来源抄表自动化系统、调度自动化系统。WEB展示规定：综合电压合格率趋势分析，历史同期对比（折线图）。分类别电压合格率趋势分析，历史同期对比（折线图）。详细明细报表形式。分单位趋势分析，历史同期对比（折线图）。详细电压质量监测点电压合格率趋势分析，历史同期对比（折线图）。A类电压质量监测点全天明细与主变压器分接头位置、电容器投切状态、系统负荷状况同轴显示。B、C、D类全月显示与供电半径、系统负荷状况、无功配备状况，所供变电站无功补偿状况同轴显示。2.4线损分析按照供电区域(全公司、部门、变电站、电压级别、线路)任意时间段分线线损率以及母线不平衡率等线损管理小指标查询分析。掌握任意时间段任意计量点档案资料展示各时段线损状况，并可以对线损率进行多项分析，涉及综合指标分析、线损构成分析、趋势分析、供(售)电量增长分析、顾客分类用电分析等子系统，对综合、线损率历史趋势进行全面分析，顾客用电量增长分析。分析线路近来线损率变化异常。可以分层逐渐分析，分析这条线路下任一计量点电量、档案资料等。对线损异常线路，查询线路手拉手运营记录、用电量波动较大客户用电信息、客户更换供电线路查询、营销自动化系统中各种基本数据查询，缩小对异常线路分析范畴，使分析更有针对性。实时形成每时段线损率，实现超高报警。异常分析，对线损率变化异常线路(售电量变化异惯顾客)报警。提供降损决策分析,涉及调节电压,送电线路升压,并联无功补偿,增长并列线路,增大导线面积等各种降损决策综合分析.数据来源抄表自动化系统。2.4.1基本指标全公司供电量，各供电部公用区供电量，无损供电量电量，趸售供电量（按线路名称记录、按趸售县单位记录）全公司售电量，各供电部公用区售电量，趸售电量登记表（按线路名称记录、按趸售县单位记录），无损电量（按电压级别），各单位电费口径售电量、线损口径售电量，各单位分压售电量表，各单位分线售电量（各客户售电量明细）。按照供电区域(全公司、部门、变电站、电压级别、线路)任意时间段分线供电量查询分析。按照供电区域(全公司、部门、变电站、电压级别、线路)任意时间段分线售电量查询分析。按照供电区域(全公司、部门、变电站、电压级别、线路)任意时间段分线线损率查询分析。按照供电区域(全局、部门、变电站)任意时间段母线不平衡率等线损管理小指标查询分析。按照供电区域(全公司、部门、变电站、电压级别、线路)查询任意时间段分电压售电量按照供电区域(全公司、部门、变电站、电压级别、线路)查询任意时间段任意关口计量点供电量。按照供电区域(全公司、部门、变电站、电压级别、线路)查询任意时间段任意受电计量点售电量。按照供电区域(全公司、部门、变电站、电压级别、线路)查询任意时间段任意计量点档案资料2.4.2深度分析以上指标上月同期,去年同期和指标值比对展示各时段线损状况，并可以对线损率进行多项分析，涉及综合指标分析、线损构成分析、趋势分析、供(售)电量增长分析、顾客分类用电分析等子系统，对综合、线损率历史趋势进行全面分析，顾客用电量增长分析。手拉手线路拉手状况汇总表。手拉手线路线损综合记录分析。分析线路近来线损率变化异常。可以分层逐渐分析，分析这条线路下任一计量点电量、档案资料等。对线损异常线路，查询线路手拉手运营记录、用电量波动较大客户用电信息、磁卡表电量分析、客户抄表时间查询、客户更换供电线路查询、营销自动化系统中各种基本数据查询，缩小对异常线路分析范畴，使分析更有针对性。手拉手线路线损分析。在计算线损时由于线路调度也许引起误差，分析综合线损。实时形成每时段线损率，实现超高报警。异常分析，对线损率变化异常线路(售电量变化异惯顾客)报警。提供降损决策分析,涉及调节电压,送电线路升压,并联无功补偿,增长并列线路,增大导线面积等各种降损决策综合分析.2.4.3图形展示以上指标和分析图形柱状图、折线图、饼图展示。可以任意选取一条或几条线路进行分析。对超过一定范畴数据用红色显示。显示某时间点线损状况。如显示各10点线损曲线。可以分析某一时间段数据。每天线损状况，可以显示每天线损曲线。以及每条线路每月线损曲线。2.5装备水平分析变电站，开关、互感器、隔离开关、变压器容量、保护综自设备按变电站、电压级别、产品型号、类型显示记录成果。记录变电综合自动化率、双配备率、无油化率、组合化率。以及变电设备到期需检修、实验设备。检修实验完毕率。记录缺陷按数量、类型、变电站等呈现历史变化曲线图形点击可直接显示明细。输配电线路总条数，总长度。输电线路按电压级别、型号、架空和电缆、投运时间（年）、资产记录条数和长度。配电线路按单位、资产性质、电缆架空、显示记录成果。架空配电线路、配电变压器、低压台区个数，配电室、箱变、台架、配电室、开关站、环网柜、分支箱、联系柱上开关、分段柱上开关显示记录成果。并可按照台帐中设备投运日期记录需更换设备，按照实验时期记录需进行实验设备，按照巡视周期应进行巡视线路及设备等。数据来源配电GIS，变电生产管理系统。2.6人力资源分析人员基本信息，可按部门、性别、身份、年龄构造、工作年限、人员分类、专业职务、政治面貌、文化限度、用工形式、技能工资、岗位工资进行记录，并可交叉记录。构建历史数据，反映职工调动纪录，记录调动时间，先后部门、岗位变动，主业职工人数、三产职工人数历史曲线，生产、管理人员人数及比例历史纪录，全局人员、生产人员、管理人员中各种学历比例历史纪录可进行技能构造分析、学历层次分析、员工年龄变化趋势分析、年龄构造分析、专业分析记录、中层干部构造分析、公司机关人员现状分析、高档技能人才比例、人才密度等记录显示。数据来源人事MIS系统。

3解决方案3.1创立仓库模型 依照对电力行业营销系统、调度系统、抄表自动化系统等理解，咱们提取了售电量、用电量两个主题，并依照也许影响该主题有关因素，设计出该主题星型模式。3.1.1主题1售电量主题售电量影响电量因素：顾客（含大客户）时间（粒度为天）行业分类用电类别电价类别供电区域 ——地区 ——部门 ——变电站 ——线路 ——公用区电压级别***售电量***构建星型模式：图3-1售电量星型模型3.1.2主题2用电量主题用电量影响电量因素：变压器时间（粒度为天）供电区域 ——地区 ——部门 ——变电站 ——线路 ——公用区电压级别业扩——新增——增容外部因素——天气（温度）——政策——电价调节——经济形势***用电量***构建星型模式：图3-2用电量星型模型3.2数据抽取规则数据抽取是依照元数据库中主题表定义、数据源定义、数据抽取规则定义对异地异构数据源（涉及各平台数据库、文本文献、HTML文献、知识库等）进行清理、转换，对数据进行重新组织和加工，装载到数据仓库目的库中。在组织不同来源数据过程中，先将数据转换成一种中间模式，再把它移至暂时工作区。加工数据是保证目的数据库中数据完整性、一致性。在数据抽取过程中，必要在最后顾客密切配合下，才干实现数据真正统一。初期数据抽取是依托手工编程和程序生成器实现，当前则通过高效工具来实现，如Ardent公司Infomoter产品、SAS数据仓库产品SAS/WA（WarehouseAdministrator）及各大数据仓库厂商推出、完整数据仓库解决方案。在本解决方案中，咱们将采用IBM公司DB2WarehouseManager来完毕数据抽取。3.2.1分析业务系统库，对数据字典进行分类理解各个业务系统库，分析需要从那些业务系统库抽取数据，并分析各个系统之间联系，熟悉要抽取数据业务系统库数据字典。然后，对源数据库中数据进行细分，将数据字典中各字段转换到分类数据表中，然后将整个数据抽取过程建立在分类数据表基本上。分类数据抽取方略实质是将创立集合记录过程中对导入记录映像分类和再分类工作一某些提前至键值定义中，使得原本无法并行概括键值和分类抽取集合键值过程变得可以并行操作，并且并行操作各类人员或程序有了更明确任务划分，起到了分工合伙作用。从而在数据仓库和数据集市构建中，将源字段分类、分类字段键值概括、已抽取数据再分类等工作分派给不同人员并行解决，形成流水线效应，提高了工作效率。 分类数据抽取方略过程如图3-3所示：图3-3分类数据抽取方略过程3.2.2找出各业务系统内及其与目的数据库之间存在数据不一致。各个源数据系统是由不同公司在不同步间开发，数据之间都存在很大不一致。在不同系统中，同一实体编码类型也许不一致。例如，有两个数据源存储与客户关于信息，在定义数据构成客户编码类型时，也许一种用是可变字符型，而另一种用是整型；在不同系统中，同一实体编码方案也许不一致。例如，在定义客户性别这一属性类型时，一种也许是char（2），存储数据值为"男"和"女"，另一种属性类型为char（1），数据值为"F"和"M"；有系统还也许用是0、1和2，0表达男，1表达女，2表达性别未知。不同系统中，数据存储粒度也许不一致。例如，在抄表自动化系统中，对大客户抄表时间间隔精准到小时，但是在目的数据仓库中，需要将抄表时间间隔精准到天。数据需要清理。有系统由于开发时间比较早，存储它里面数据也许已经不在满足当前实际需求，成为错误数据。例如，在老历史数据中，存在一种计量点相应各种有功表状况，这是不符合实际需求，但是，咱们又必要要使用这些老历史数据，这就规定对这些存在错误历史数据进行清洗、整顿，以符合实际需求。在某些状况下，为了保证输入数据对的性，需要一种简朴算法。在复杂状况下，需要调用人工智能某些子程序把输入数据清理为可接受输出形式。一种维也许有各种级别，在业务系统库中，这些数据也许存储在各种表中，这需要将包括在各种表中关于数据进行合理合并。例如，客户维涉及供电局、供电所和客户三个级别，它层次如图3-4所示：客户维客户维……供电局……供电所……客户图3-4客户维层次供电局、供电所信息存储单位信息表中，客户信息存储在客户基本信息中，这就需要对两张表进行合并。目的仓库也许只关怀业务系统库表中一某些数据。例如，在业务系统库客户基本信息中，也许依照时间存储了一种客户多条信息，但是目的仓库对每个客户只需要一条信息就足够了，这就需要对数据进行清洗。需要提供缺省值。有时候，数据仓库一种输出值没有相应输入源。这时，必要提供缺省值。必要进行数据格式转换。例如，EBCDIC到ASCII转换(或反过来)必要进行；关于日期输入数据格式是YY/MM/DD，当它被写入输出文献时，需要转化为DD/MM/YY格式。3.2.3设计出适当转换规则针对各个业务系统库数据之间不一致，制定出相应转换规则各个系统编码类型转换。例如，源系统中，客户编码用是整型，目的仓库中，用是char(12)，那么将整型每位转换成一位字符，转换完毕，局限性12位，在前面用字符‘0’补足12位。各个系统编码方案转换。例如，源系统中，客户性别用是“男”、“女”，而目的仓库中，用是“0”，“1”，“2”，那么做如下转换：男－>0女－>1空值－>2对数据进行清理。例如，对一种计量点存在各种有功表状况，就要按照实际状况，要么拆提成各种计量点，要么，将各种有功表进行求和。数据格式进行转换。例如，ASCII码转换成EBCDIC，需要使用相应转换函数。3.2.4设计数据抽取流程每个数据抽取流程完毕一种功能相对独立实体数据抽取，例如，一种抽取流程完毕一种维或事实表数据抽取。在本方案中，咱们将借助于IBM公司可视化数据抽取工具DB2WarehouseManager来完毕数据抽取流程设计。一种数据抽取流程也许会涉及到各种表，需要运用各种数据抽取规则，进行各种数据转换，并且各个数据转换之间存在制约关系，一种转换必须在某个或某几种转换完毕之后才干进行。例如，客户维数据抽取流程需要从系统信息表和客户基本信息表中抽取数据，并且需要将客户基本信息表中不需要客户信息清洗掉。客户维数据抽取流程在DB2WarehouseManager中设计如图3-5所示：图3-5客户维数据抽取流程3.2.5设计数据抽取流程抽取方式，并开始数据抽取对大数据量实体数据抽取进行整体抽取，也许会占用太多时间，普通会采用增量抽取；对于小数据量实体，可以考虑使用整体抽取。在数据抽取流程设计完毕之后，就需要指定数据抽取流程抽取方式，例如是人工抽取，还是自动；如果是自动，那么就需要指定开始抽取时间或时间间隔。对有制约关系各个抽取流程，还要指定她们之间先后关系。在数据抽取流程抽取方式设计完毕之后，就可以开始数据抽取了。3.2.6对抽取到数据仓库中数据，进行验证 在数据抽取到数据仓库后，就需要对数据进行验证，看与否满足一致性，与否满足实际需求，与否达到了预期目的。如果，数据没有达到预期目的，就要找出不满足需求因素，重复环节3.2.2－3.2.3.2.7完毕数据抽取 手工或定期地启动数据抽取流程，将数据从业务系统库中抽取到数据仓库中。3.3OLAP多维分析针对电力系统将要建立数据仓库模型，咱们选取OLAP展示作为数据仓库向顾客提供信息接口，来满足决策支持或多维环境特定查询和报表需求。3.3.1多角度分析对同一主题数据，OLAP呈现可以在不同角度对数据进行展示，顾客可以依照需要，随意组合展示角度和展示方式。例如，顾客选定对售电量主题进行分析，可以从顾客、时间、行业分类、用电类别、电价类别、供电区域、电压级别角度对售电量进行。顾客在分析过程中，既可以把上述所有角度都选定，在各种角度综合伙用下进行分析，也可以只选取自己感兴趣角度进行分析。例如，可以进行下列不同角度呈现：某行业在各个时间段内电量趋势及同期比。某用电类别在各个时间段内电量趋势及同期比。某电价类别在各个时间段内电量趋势及同期比。某供电区域在各个时间段内电量趋势及同期比。某电压级别在各个时间段内电量趋势及同期比。在某段时间内，各行业用电量及其在总电量中所占比重。在某段时间内，各用电类别用电量及其在总电量中所占比重。在某段时间内，各电价类别用电量及其在总电量中所占比重。在某段时间内，各供电区域用电量及其在总电量中所占比重。在某段时间内，各电压级别用电量及其在总电量中所占比重。某电价类别中，不同供电区域在某段时间内用电量，及对比。某行业中，不同供电区域在某段时间内用电量，及对比。某用电类别中，不同供电区域在某段时间内用电量，及对比。某供电区域中，不同供电区域在某段时间内用电量，及对比。某电压级别中，不同供电区域在某段时间内用电量，及对比。在某供电区域内，各行业用电在某段时间内用电量，及其在总电量中所占比重。在某供电区域内，各用电类别用电在某段时间内用电量，及其在总电量中所占比重。在某供电区域内，各电价类别用电在某段时间内用电量，及其在总电量中所占比重。在某供电区域内，各电压级别用电在某段时间内用电量，及其在总电量中所占比重。某大客户在各个时间段内电量趋势及同期比。在某段时间内，各用电大户用电量，及其在总售电量中所占比重。某行业中，各用电大户在某段时间内用电量，及对比。某用电类别中，各用电大户在某段时间内用电量，及对比。某电价类别中，各电大户在某段时间内用电量，及对比。某供电区域中，各电大户在某段时间内用电量，及对比。某电压级别中，各电大户在某段时间内用电量，及对比。………分析时除了维度灵活选取外，展示系统还支持在某一维度上钻取分析。例如，在按照行业分类和时间角度对售电量进行分析时，顾客可以依照需要采用向下钻取(Drill)分析方式，查看时间角度上更细节数据，如可以查看每个季度每月数据或只查看第四季度下面三个月数据，如图3-6所示。图3-6钻取分析图对于某角度细节粒度数据，如各行业分类每天售电量，也可以采用上卷(Roll-up)分析方式查看高粒度上数据，如可以对1月份每天数据进行汇总。对于任何一种顾客关怀角度，只要此角度存在层次关系，咱们展示都可以进行此种向高层上卷和向下层钻取操作。让顾客只是点击一下鼠标，便可以站在不同层次之间浏览数据，以便顾客既可以对细节数据把握，有可以满足顾客对综合数据需求。 咱们展示对同样一组数据，可以以不同视角进行呈现。对图3-6所示数据，此时展示是不同行业四个季度售电量。可以采用旋转(Rotate)/转轴(Pivot)分析办法，展示在四个季度中不同行业售电量。这种旋转(Rotate)/转轴(Pivot)操作，使得顾客对拥有同样角度数据，可以这次以这个角度作为观测重点，下次又以另一角度作为观测重点。此种操作办法，对同一组数据，给顾客提供更灵活观测视角。3.3.2图形展示 咱们展示既能提供数字报表展示，还能提供强大图形展示功能。可以对数字报表以柱状图、饼图、折线图等图形直观呈现给顾客，还支持对顾客关怀图形区域进一步细化展示功能。图3-7给出了两种图形组合图形报表，左面饼图给出了不同地区售电量占总售电量比例，右面折线图给出了三种行业在、八个季度中售电量变化趋势。图3-7组合图形报表咱们对普通图形展示功能做了扩充，支持在图表上直接进行分析，可以使顾客以便直观进行主题分析。如顾客查看四个季度不同行业分类售电量（图3-8），顾客如果此时仅想查看四个季度“非普工业”售电量，此时只需在“非普工业”点击一下，图形将显示四个季度“非普工业”售电量状况（3-9）。图3-8行业分类售电量呈现图3-9非普工业售电量呈现3.4数据挖掘 运用IntelligentMiner可实现关联分析、聚类分析、分类、预测、时序模式和偏差分析等6种信息挖掘办法。下面举例阐明前3类挖掘。3.4.1关联分析例如咱们关怀各线路之间售电量变化有关性，这属于挖掘中关联挖掘。一方面咱们需要在系统中指定咱们以为也许关于联线路，如从线路1到线路10有关数据，通过系统运算分析咱们可以得到一张如图3-10所示图表：图3-10关联挖掘示意图图表可以告诉咱们什么？图中节点表达不同线路，节点之间连线表达不同节点之间关联规则，连线颜色代表该关联规则支持度，而连线粗细限度代表着该关联改进度。所谓规则A＝＝＞B支持度是指，A与B同步浮现概率；而A＝＝＞B改进度是指，在A变化状况下，B一定变化概率。在图中咱们可以看到，线路8上售电量变化有80%概率会引起线路10上售电量变化，而线路8和线路10在物理上并不一定是邻近。在这种状况下，如果咱们要在线路8上新增一种顾客，而该顾客用电量将会把线路8平均负荷从50%提高到80%，这样一来，咱们是不需要对线路8进行改造。但通过咱们挖掘分析可以懂得，新增顾客也许会大大提高线路10平均负荷，而如果线路10自身已经接近满负荷，则咱们需要对线路10进行改造。咱们可以运用关联做什么？有了这样工具之后，咱们可以分析许多与主题有关因素之间关系，找到某些潜在规则，而这样规则也许是咱们在平时工作中主线不会想到。例如：供电区域与用电类别之间关联：历城区售电量上涨时，我市大宗工业售电量也将大幅上涨。居民照明用电、商业用电及大宗工业用电之间关系：居民照明售电量大幅上升时，商业用电也将大幅上升，而大宗工业售电量也许会有相应减少。各电压级别之间关系：当35KV如下售电量大幅减少时，220KV以上售电量也许会有相应减少。农业售电量与某种工业之间关系：当农业售电量大幅上升时，某特定工业售电量也许随之大幅上升。如果底层数据完整，咱们甚至可以找出每天温度与日售电量之间关联规则，从而依照天气预报来推测下一时间段售电量。3.4.2分类分析例如咱们想按自己原则对所有总电量进行分类，而这种原则又也许是不固定，例如，要看总电量中月用电量不不大于5万度和不大于等于5万度各占多少，而在月用电量不不大于5万度售电量中，大工业用电和非大工业用电各占多少。要实现这样目，咱们需要在系统中指定每一层规则，通过系统分析运算，咱们可以得到一张类似于下图一张图表：图3-11分类挖掘示意图图中显示是一棵树，树根结点代表一定期间段内总电量，结点上方显示中文即为咱们自己定义分类规则，在这里，咱们把总电量按“月售电量>5万度”原则提成两某些。根结点左结点代表月售电量不不大于5万度顾客售电量，而右结点代表不大于等于5万度售电量。在不不大于5万度售电量中，咱们又按“与否大工业”原则进行细分，又得到两个结点，以此类推。固然，咱们可以看到每一结点详细数据，如它在父结点总量当中所占有比例或绝对数量。3.4.3预测分析例如咱们想依照大量历史数据来推测下一时间段(也许是月也也许是年)售电量。要实现这样目，咱们需要在系统中指定预测时间段长度(如是一种月还是一年)、与否使用特定模型、使用何种模型及指标预测角度之后，通过系统运算、分析，咱们会得到一张类似于图3-12图表。图3-12预测分析示意图在图中可以看到，咱们可以随时变化相应预测条件来生成新预测成果。预测成果展示可以是折线图，柱状图或数据表等各种形式。

4采用技术及有关产品4.1构建数据仓库技术环节 详细来看，开发数据仓库流程重要按照下列环节：启动工程一方面建立开发数据仓库工程目的及制定工程筹划。筹划涉及数据来源、提供者、技术设备、资源、技能、成员培训、责任、方式办法、工程跟踪及详细工程调度等。建立技术环境选取实现数据仓库软硬件资源，涉及开发平台、DBMS、网络通信、开发工具、终端访问工具及建立服务水平目的（关于可用性、装载、维护及查询性能。）拟定主题进行数据建模（需求分析）依照决策需求拟定主题，选取数据源，对数据仓库数据组织进行逻辑构造设计。设计数据仓库中数据库（物理建模）依照需求分析得到逻辑模式，开发数据仓库中数据物理存储构造，即设计多维数据构造事实表和维表。（Warehousemanager）数据转换程序（即ETL过程）实现从源系统中抽取、清理、一致化、综合、装载数据等过程设计和编码。（Warehousemanager）管理元数据（某些已经在环节4、5中完毕）定义元数据，即表达、定义数据意义及系统各构成部件之间关系。元数据涉及核心字、属性、数据描述、物理数据构造、源数据构造、映射及转换规则、综合算法、代码、默认值、安全规定、变化及数据时限等。（Warehousemanager）创立仓库模式用定义好事实表和维表生成多维模式。注，这个模式不存在层和层次概念。（Warehousemanager）搭建立方体在已创立仓库模式基本上，对维定义了层和层次；创立了需要预测算量度；运用优化器依照业务进行了切片优化和预解决，生成MQT（物化视图）；在模式中建立立方体，供查询和多维分析使用。（CubeViews）开发基于多维存储OLAP模型前面创立模型是基于关系存储，在这里要创立基于多维存储OLAP模型。重要工作分为建模和布置两步：（OLAPServer）基于仓库中表建立OLAP模型一方面建立元模型（涉及创立星型或雪花模式，定义维、属性、层和层次等）；再建立元轮廓，即将前面定义元模型转换成OLAPServer所能辨认元数据。将建好模型布置到AS（分析服务器）中；注意，CubeView和Olapserver是两个并行使用工具，后者功能似乎比前者更强大。多维分析及呈现使用数据分析和呈现工具，开发多维分析程序以及呈现页面。（Alphablox）查询优化IBM提供了专门查询优化工具QueryPatroller，它通过协助DBA控制和理解数据库使用状况，从而实现预见性管理、查询信息分析、查询监控等。数据挖掘运用数据挖掘工具抽取此前没有发现、可理解、可操作信息。涉及聚类、关联、分类、预测分析等。（IntelligentMiner）管理数据仓库环境数据仓库必要像其她系统同样进行管理，涉及质量检测、管理决策支持工具及应用程序，并定期进行数据更新，使数据仓库正常运营。4.2有关产品简介IBM公司DB2数据仓库公司版提供了完整数据仓库解决方案，涉及DB2ESE、DB2WarehouseManager、DB2CubeViews、DB2OLAPServer、DB2IntelligenceMiner和DB2Alphalox，整体框架如图4-1所示：图4-1DB2数据仓库解决方案整体框架 DB2ESE通过使用非共享体系构造、查询重写、迅速装载、物化查询表、复制查询汇总表、多维聚簇技术、动态位图索引等技术，来提供了对通用海量并行数据仓库支持；B2WarehouseManager提供了可视化界面，以便了数据加载、转换和抽取；DB2CubeViews是OLAP元数据互换工具及物化查询表生成器，它通过将经常关怀查询做成物化表，大大加快了查询速度；OLAPServer是功能强大OLAP分析工具，它可以对维进行加、减、乘、除等各种运算；DB2IntelligenceMiner是数据挖掘工具，它涉及数据挖掘建模工具、数据挖掘评分工具和数据挖掘图示化工具三某些；DB2Alphablox是遵循J2EE规范前端展示开发平台，它提供了基于WEB开放原则标签语言,可以迅速开发WEB分析应用。4.2.1WarehouseManager WarehouseManager重要负责数据仓库建模、数据抽取等工作、仓库管理等。其重要任务分为如下几某些：连接数据源。它支持关系数据源，也支持平面文献，例txt文献。关系数据源可以是IBMDB2数据库，也可以是其他厂家数据库产品，例如Oracle、Sybase等。数据源连接可以通过IBM提供“联合数据库”进行管理连接，也可以直接通过ODBC进行连接。定义数据仓库目的。实际包括两步：定义目的库相应数据库；定义目的表或文献。其中，目的表定义，可以自行进行创立和构造设计，也可以在背面创立Process中自动生成。定义数据抽取规则。在WarehouseManager中，数据抽取是通过定义Process来实现，而Process包括了一系列Step，一种Step就是数据仓库中一种操作，通过使用SQL语言或调用程序，steps定义了如何移动和转换数据。通过定义step，即可实现数据抽取及转换。定义主题区域SubjectArea。主题区域是存储与业务中某个主题有关进程，其作用类似于资源管理器中文献夹。例如，定义一种主题区域SalesSubjectArea，然后在该主题区域中定义一下4个process：BuildTimeDimensionProcess，BuildProductDimensionProcess，BuildMarketDimensionProcess，BuildSalesFactTableProcess。设立数据抽取周期。通过对数据抽取相应Process进行调度，从而实现自动按周期抽取数据。例如客户信息每个星期要导入一次，则将其相应Process中steps设立为“测试”模式后，即可进行调度，规定调度频率每周星期天12：00执行一次；调度完毕后，将steps再设立为“生产”模式，则系统就开始按照调度设立来执行该Process。在此过程中，可以通过“正在运营”窗口来查看被调度Process当前运营状况。创立仓库模式。仓库模式分为星型和雪花两种。在创立仓库模式时候，一方面定义各个维表主键（也许需要在控制中心和DWC中分别进行定义），然后定义事实表外键。通过主键和外键定义，系统可以自动生成仓库模式。如图4-2所示。需要注意是，在DWC中创立模式中不存在层和层次概念，即只简朴定义了维表和事实表关系。而关于详细维层和层次定义要到CubeViews或OlapServer中定义。图4-2一种星型模式定义数据仓库安全性，即定义数据仓库顾客组和顾客。第一次登陆DWC时使用顾客名和密码是创立数据仓库控制库时指定DB2系统顾客名和密码。而在这里定义顾客组和顾客，则是独立于操作系统和数据库系统。定义了顾客组和顾客后，每创立一种仓库对象，例如仓库源、仓库目的或Process等，都可以将它们权限指定给某些顾客或顾客组。4.2.2CubeViews4.2.2.1概述DB2CubeViews是DB2UniversalDatabase™（DB2通用数据库）一种加载功能部件，用于改进DB2UDB®执行OLAP解决能力。通过DB2CubeViews，可以描述关系表维构造并创立OLAP构造。DB2UDB中新多维元数据具备如下两个重要长处：长处一、改进商业智能工具和应用程序之间多维元数据流动性使用OLAP中心（附带一种图形界面），仓储和商业智能工具顾客可以将多维元数据作为DB2数据库一某些来存储，并使其可用于所有工具和应用程序。长处二、增强OLAP式查询性能基于多维元数据，可以使用OLAP中心中优化顾问程序建议来创立DB2摘要表。摘要表包括映射到OLAP构造预测算数据。从具备相似OLAP构造仓储或商业智能应用程序生成查询性能将会有所提高。一、CubeViews作用CubeViews在数据仓库中作用为建模和查询优化。所谓建模是指，咱们源数据存在于业务库中，通过ETL转换到了WAREHOUSEMANAGER里，并在WM里对其进行了表与表之间连接操作，也就是所谓星型模式。但在WM中所建模式只有事实和维概念，并没有定义维中层（Level）和层次（Hierarchy）。层和层次是在CUBEVIEWS建立。所谓查询优化是指，在CUBEVIEWS中可以建立MQT(MaterializedQueryTable)，即物化查询表，用以存储某些记录中间成果，从而大大提高查询效率。二、CUBEVIEWS在BI流程中地位CUBEVIEWS处在DW底层表与ROLAP之间，在底层数据表基本上建立起仓库模式，以供背面ROLAP及挖掘所用，所做是ROLAP前期准备工作。如图4-3所示。DB2DB2EDWmartmartmartDrilldowntodetailsDB2EDWmartmartmartMOLAPHybridOLAPBIToolMiddleTierROLAPDrilldowntodetails图4-3CubeViews在BI流程中地位4.2.2.2建模及优化过程导入事实：在CubeViews中指定由WarehouseM所建星型模式中事实表，并指定度量。建立维表层(Level)：导入事实表后，所有与事实表关联表都被看作维表导入，存在于模型下面“维”结点中。但WM中并没有对维进行分层，在这里需要定义维层。定义层次(Hierarchy):建立好各维层次之后，需要对每个维建立至少一种层次。定义立方体：依照已经建立模型，选取恰当维和度量，建立一种详细立方体，供Alphablox调用。创立或更新MQT：对模型进行优化切片，提高Olap查询效率。比较查询效率：咱们可以在生成MQT先后分别在控制中心中对同一种库执行同一条ROLAP查询语句，以观测查询效率变化状况：没有MQT时：生成MQT之后：图4-4查询筹划及代价图——没有MQT时图4-5查询筹划及代价图——有MQT时4.2.3OLAPServer4.2.3.1概述MOLAP表达基于多维数据组织OLAP实现（MultidimensionalOLAP）。以多维数据组织方式为核心,也就是说,MOLAP使用多维数组存储数据。多维数据在存储中将形成"立方块（Cube）"构造,在MOLAP中对"立方块""旋转"、"切块"、"切片"是产生多维数据报表重要技术。MOLAP系列工具重要涉及：DB2OLAPServer、DB2OLAPIntegrationServer和DB2Administratorserver。如图4-6所示。图4-6MOLAP系列工具构成AnalyticServices分析服务，一种可以运营在多解决机环境下多线程OLAP数据库软件。服务重要功能有数据存储、数据缓存、计算和数据安全性管理。分析客户端仅仅需要检索和查看存储在服务器上数据。所有分析服务应用组件，涉及数据库轮廓、计算脚本及多维数据库信息，都保存在服务中。可以将服务中数据存储在几种磁盘上，从而使得支持大数据存储。分析服务需要运营在装有支持多线程操作系统下，以便有效管理各种同步祈求。服务也需要一种服务代理，它用来协调各种顾客相应用程序祈求。MaxL作为一种多维数据库存取语言，能灵活进行数据库管理和维护。AdministrationServices作为分析服务数据库和系统管理接口管理服务，可以同步提供对各种分析服务管理。使用管理服务可以设计、维护和管理各种分析服务器、应用和数据库。不需要打开客户端应用，在管理服务控制台上就可以预览数据。也可以通过提供java插件来变化或扩充功能。DeploymentServices布置服务容许分析服务器各种实例运营在多台机器上，然而它们作为一种逻辑单元来给顾客提供服务，在移除和出错时也当作一种单元解决。布置服务使得数据库集群拥有负载均衡能力和容错能力。IntegrationServices集成服务（一种可选取产品组件）使用元数据驱动方式使存储在分析服务数据库中数据和存储在关系数据库中细节数据建立关联。此特性使商业顾客在做决策时可以参照更细节数据，也使IT经理在设计和维护大规模分析应用时可以设计更好模块构造。此OLAP系统容许容许将分析服务数据库中数据中某些数据存储在关系数据库中。关系数据库中存储数据可以和分析服务某一层次关联。HAL（HyperionApplicationLink）是一种集成商业自动解决工具，它容许事务解决应用、桌面应用和Hyperion商业性能管理应用之间双向互换数据。SpreadsheetProductsandHyperionAnalyzer分析服务器商业顾客接口工具HyperionAnalyzer，SpreadsheetServices，andSpreadsheetAdd-in，能给不同顾客团队对公司信息提供交互式分析服务。HyperionAnalyzer，SpreadsheetServices，andSpreadsheetAdd-in可以使顾客对ERP系统、关系系统、多维系统及其他数据源创立直观基于Web分析和报表。ApplicationProgrammingInterface(API)分析服务程序员接口（AnalyticServicesAPI）容许顾客依照需要创立应用。APIReference提供了API中函数、平台和支持编译器阐明文档。DeveloperProducts不论顾客与否拥有编程知识，Essbase开发工具都能使顾客迅速创立、管理和布置高质量公司级分析应用。这些产品，如ApplicationBuilder和HyperionObjects，提供一套完整应用程序接口、可拖拽组件及某些服务。DataMining数据挖掘工具（分析服务一种可选取组件）能为顾客找出数据中暗含关系和模式，使你更好决策。用数据挖掘工具，顾客可以选取一种适当数据挖掘算法，建立模型，然后应用到已经建立好分析服务应用和数据库中。4.2.3.2使用MOLAP系列工具建立电力分析模型一、建模办法所谓OLAP建模就是指对某个详细应用在OLAPserver中建立起针对此应用OLAP模型。在此，就是对电力中售电量和用电量主题，依照数据仓库中数据建立起有关多维数据模型。可以用三种办法建立一种DB2OLAPServer电力多维模型（在olapserver中此模型被称作元轮廓）。办法一、通过应用管理器（AdministrationServer）GUI手动建立维和成员。办法二、建立互相协调文献集，并由ESSCMD或者Maxl通过批量模式建立一种轮廓。办法三、使用OLAP集成服务器。由于咱们任务是运用已存在业务库建立OLAP模型，因此应使用第三种建模办法。运用集成服务器建模重要过程如图4-7所示。图4-7集成服务器建模过程二、建模环节运用采用集成服务器建模环节如下：Step1建立存储元数据（OLAP模型和OLAP轮廓）元数据目录，并与要建模源数据连接。Step2依照需求中规定，建立OLAP模型。如图4-8所示。对关系数据源顾客来说，这个环节涉及创立OLAPmodel和运用它工作，创立事实表（facttable），创立account维，创立时间维，创立维和运用维工作，编辑和转换(transforming)维表中列，创立和编辑维表连接(joining)，创立和运用维表层次(hierarchies)。图4-8如何建立OLAP模型Step3依照建立OLAP模型，建立OLAP轮廓；运用加载工具加载到AnalyticServer。 如图4-9所示，建立轮廓环节，涉及创立轮廓和用轮廓创立和加载成员和数据到分析服务器数据库中。重要过程如下：（1）创立轮廓（2）在轮廓中创立维、成员级别和度量（3）设立加载属性、过滤属性，设立混合分析成员级别；设立维、成员级别和度量在分析服务器轮廓中属性（4）加载维和成员级别到分析服务器轮廓（5）加载指定数据到分析服务器数据库中图4-9建立轮廓环节4.2.4Alphablox4.2.4.1概述DB2Alphablox构建于已有应用服务器环境之上，遵循J2EE体系构造，可以与J2EE应用服务器集成，可以无缝访问各种数据源，并可以较好与其他应用和服务集成，如图4-10所示：DataWarehouseDataWarehouseDataMartRelationalDatabaseSystemsIE，NetscapeWeb

Application

ServerIntranet/

ExtranetClient

BrowserAppServerAlphabloxAnalystsBusinessUsers，Customers，Partners&SuppliersDataMart图4-10DB2Alphablox在应用服务器上布置 在图4-10中，DB2Alphablox及其所有完毕分析解决方案都作为遵循J2EE应用运营在应用服务器上，顾客通过Web浏览器来访问。老式查询和报表工具，只跟应用服务器交互，Alphablox可以平衡应用服务、Poertal服务和应用服务器提供集成代理服务。DB2Alphablox完全平衡了开发、布置和维护分布式应用公共基本4.2.4.2AlphaBlox体系构造Alphablox涉及如下构成某些：DB2Alphablox分析服务器(AnalysisServer)DB2Alphablox可以完毕分析解决方案（analytic-enabledsolutions）DB2Alphablox管理应用（administrationapplication）应用服务器接口（Applicationserveradapters）Alphablox体系构造如图4-11所示：图4-11DB2Alphablox体系构造AnalysisServer，Alphablox核心组件，运营在J2EE应用服务器业务层（Businesstier）。当作为一种J2EE应用在主服务器上运营时，它提供了全功能分析服务器服务。ApplicationServerAdapter容许AnalysisServer与每个支持应用服务器通信，来执行管理功能，其中许多功能，像定义应用，在每个应用服务器上被不同安装。顾客和合伙伙伴开发完毕分析应用（analytic-enabledapplication）作为应用服务器应用运营在Web层。当与AnalysisServer交互时，应用作为单独和封装J2EE应用，可以独立于AnalysisServer进行布置、备份、升级和移植。Alphablox在应用服务器Web层注册了两类J2EE应用，分别是：Alphablox服务器应用和Alphablox管理应用。应用服务器像管理其他Web应用同样，管理Alphablox，它通过调用一种servlet来自动开始AnalysisServer。AnalysisServer依照应用服务器收到对它祈求和应用服务器使用管理模型，来挂起和重新开始AnalysisServer。4.2.4.3AlphaBlox应用一、什么是Alphablox应用Forend-users(终端顾客)：一组网页集合提供有关、核心性业务信息与业务逻辑相集成使业务分析有个和谐界面Forapplicationdevelopers（应用开发者）：是成为blox组件集合，由AlphabloxAnalysisServer管理。JSP网页涉及：JSP原则和自定义TagsHTML，CSS，JavaScriptJavascriptlets其她Web组件(graphics，Flash，etc.)二、什么是BloxBlox是可重复使用组件；使用自定义JSPtags添加到JSP页面中；大多数使用JavaBeans技术创立；使用一种数据呈现Blox组件，需要指定如下几方面：:数据源和抽取数据查询如何呈现数据想要如何让顾客查看、操作、分析、共享、联合或评论数据；并不是所有blox组件都是可见。三、Blox分类InfrastructureInfrastructureDataAccessPresentation&ManipulationGridBloxChartBloxToolbarBloxSpreadsheetBloxPresentBloxReportingBloxFormsBloxPageBloxRepositoryBloxStatusBloxDataBloxStoredproceduresBloxMDBQueryBlox图4-12AlphabloxCategory（Analytics）4.2.4.4Cube分析引擎（AlphabloxCubingEngine）容许Alphablox以多维方式访问关系数据；使用AlphabloxAdmin定义元数据，来描述事实、维、层次构造（层次）等；将来自blox查询祈求转换成SQL；到达Cube分析引擎Blox查询是用MDX语言描述CubeCubeDefinitionsAlphabloxCubeServerRelationalDatabaseMDXSQL图4-13AlphabloxCubingEngineDimensionalMetadataWarehouseDataDB2DatabaseTierApplicationServerTierCubeDefinitionimportAlphabloxCubeServer图4-14CubeViewsIntegration4.2.5IntelligentMinerIBM公司数据挖掘工具(IntelligenceMiner)由数据挖掘建模组件（IMModeling）、数据挖掘