中国电信经营系统技术交流教材

经营分析系统技术交流中国电信经营分析系统第一部分：公司介绍第二部分：需求说明第三部分：解决方案第四部分：问题交流目录Part1

公司介绍第一部分：公司介绍第二部分：需求说明第三部分：解决方案第四部分：问题交流Part2需求说明背景企业经营发展的结果以业务为中心话单量小、业务少、用户少以客户为中心大数据量、业务多、异构数据、决策分析技术发展的结果数据库与数据仓库人工智能数据挖掘联机分析企业信息化的四个进程数据信息知识施效在线分析数据挖掘客户关系管理数据仓库=营销自动化=销售队伍自动化=客户服务与技术支持=事实发生了什么?=为什么会发生？=对象是谁？=还会发生什么?经营分析系统信息流图

建设目标建立一个统一的数据信息平台采用先进的数据仓库技术和分析挖掘工具，提取数据中的有价值信息为企业的客户服务、市场营销等工作提供科学有效的支撑，提升企业的运营水平和竞争能力，体现以客户为中心的经营理念建设原则两级系统，三层结构整合业务数据、面向经营分析能通过多种手段实现业务智能主题可扩充、新增及重构成为业务决策者专业的咨询顾问经营分析系统的开发与建设将分阶段进行系统功能支持与各种主流数据库平台、多维分析引擎、数据挖掘引擎和前端展示工具的无缝集成开放的应用程序接口和工具提供统一的数据仓库平台，支持后续应用和扩展可定制化的客户界面统一的用户和权限管理机制主题题分分析析及及专专题题分分析析前端用户/浏览器应用服务器/WebServer业务主题分析服务质量模块用户分析模块业务分析模块收益分析模块市场营销分析模块市场竞争分析模块新业务分析模块合作服务方分析模块大客户分析模块专题分析业务(含新业务)专题市场、竞争专题大客户发展、异动专题客户专题分析数据仓库业务管理理模型Part3解解决方方案◆技术体体系结构构◆主要厂厂商产品品介绍体系结构构BOSSMIS/OA网管其它数据源数据源BOSS系统网管客服其它1数据据源BOSSMIS/OA网管其它数据源数据源数据源数据源批价后的详单帐务数据欠费记录缴费记录欺诈记录客户信息资源记录营业记录投诉记录查询记录结算数据人工录入的信息网管系统统的数据据热点小区区接通率故障信息息客服数据据投诉信息息服务状况况其他数据据人工输入入数据源细细分计费子系系统：通话详单单（原始始、计费费后）、、详单格格式计费使用用费率表表错误话单单结算话单单帐务子系系统：帐务数据据欠费记录录缴费记录录、缴费费方式欺诈记录录营业子系系统：用户资料料及信用用度资源使用用记录营业厅、、营业员员资料客服子系系统：投诉记录录用户查询询记录网管系统统：接通率数数据掉话率数数据手工录入入数据：：市场调查查结果记记录市场宣传传费用和和形式记记录流水型增增长数据据：通话详单单（原始始、计费费后）错误话单单帐务数据据欠费记录录缴费记录录欺诈记录录资源使用用记录投诉记录录用户查询询记录财务数据据物流数据据市场调查查结果记记录市场宣传传费用和和形式记记录变化更新新数据：：计费使用用费率表表缴费方式式用户资料料及信用用度营业厅、、营业员员资料BOSSMIS/OA网管其它数据源数据源数据获取取层2数据获取取层数据来源源首先直接接快速传传输到分分段存储储区，再再从分段段存储区区经过清清洗、转转换、映映射等复复杂的数数据移动动处理转转移到目目标数据据仓库中中。以保证数数据的快快速导入入而尽量量减小对对业务系系统造成成的压力力。有数据库库和文件件二种方方式，分分别对应应于不同同运营系系统的数数据源。。数据集成成异构数据据源整合合临时存储储区(StagingArea)BOSS与经营营分析系系统的连连接方案案计费营帐经营分析系统DW客服采集BOSS系统ODS文件加载，例如采用sql*load数据集成，例如采用OWB,Pl/Sql,CAAdvantageDataTransformer数据清洗、转换，如采用OWB,Pl/SqlSql*Load实现现方式1、掌握握源文件件的文件件格式2、定义义目的ODS的的对应表表结构3、编写写执行的的脚本4、运行行脚本5、查看看运行的的日志例子：将将pt0431文件的的记录装装载进入入表cc_test中中实现：1、依据据文件pt0431格格式和表表cc_test的结结构，编编写脚本本jl.ldr：LOADDATAINFILE'../pt0431'INTOTABLEcc_test(文件格格式与表表结构对对应关系系定义)2、编写写控制脚脚本jl.sql：sqlloaduserid=ht/hellocontrol=jl.ldrlog=jl.log3、执行：：#shjl4、查看日日志文件jl.logPl/Sql实现方方式有些数据需需要经过程程序处理后后才能很好好的被使用用。例如：基于于批价详单单来分析话话务流向时时需要利用用详单记录录中的Other_party字段。。Other_party可能能的存在形形式：1795X+固定电电话号码；；013XH1H2H3H4N1-N4;13XH1H2H3H4N1-N4;00+电话话号码；特殊号码：：110、、119、、1861等；172X1X2;只有经过一一定的处理理，才能分分析去话的的方向是联联通、电信信，国际，，特殊呼叫叫等适用于随机机获取数据据ETL环环境和处理理流程来源OLTP系统数据转化引擎缓存来源主机或C/S系统转化引擎数据仓库企业元数据数据集市数据集市数据集市数据集市扫描元数据要求资源规划交付用户流程数据仓库监控任务调度数据抽取数据清洗数据转换数据加载索引建立数据聚合元数据导入元数据维护BOSSOANMSELSE抽取策略1、对于有有时间线的的数据增量量抽取，例例如：服务务信息表，，由于有处理理时间，可可增量抽取取2、没时间间线的数据据则完全抽抽取，例如如客户信息息表3、明细帐帐单、综合合帐单在出出帐后，例例如出帐后后第二天抽取4、对于文文件，象BOSS系系统的结算算清单、计计费清单按按文件生成周期期实时抽取取3数据存储层层BOSSMIS/OA网管其它数据源数据源数据存储层层基础数据仓仓库数据来源数据结构3NF星型结构雪花结构完整性和有有效性检查查，对冗余余和不一致致的数据进进行了清洗洗和转换。。数据量将非非常庞大。。3NF减少数据冗冗余减少存储容容量灵活的扩展展能力执行效率相相对较低数据集市数据仓库的的子集，主主要面向某某特定主题题。数据来源对基础数据据仓库中数数据的复制制、分布或或聚合数据结构星型结构Star-Schema存在数据冗冗余相对较大容容量维变化时，，需重新建建立执行效率高高粒度选择多重粒度级级别中央数据仓仓库采用低低粒度级，，例如，客客户月通话话详单—-高细节数数据，能回回答所有问问题，但分分析效率较较低；数据集市采采用高粒度度级，例如如，客户月月通话综合合信息---低细节节数据，能能回答部分分问题，但但分析效率率高；如果高粒度度数据也包包含分析所所需的足够够的细节，，则高粒度度数据的使用效率会会提高很多多中央数据仓仓库与从属属数据集市市中央数据仓库客户信息Cust_IDMsisdnAge_levelCust_TypeCity_Code……通话详单Call_TypeMsisdnStart_DateStart_timeCall_duration…..帐户信息Account_IDCust_IDLfeeCfeeDiscount_fee……其它信息Cust_IDMsisdnAge_levelCust_TypeCity_Code……Cust_IDMsisdn客户通话行为分析客户消费行为分析其它分析……依据分析的需要Map数据数据仓库完完整构架DataMartsDataMiningOLAP AnalysisMartMartStagingAreaDataWarehouseOperationalDataExternalDataArchiveDataManualDataBusinessUsers4数据

访问问层信息处理查询和报表表分析处理基本的OLAP操作作数据挖掘知识发现BOSSMIS/OA网管其它数据源数据源数据访问层层举例：话务务流向分析析维：通话日日期、通话话时间、对对端号码，，共3个维维；分析指标：：通话次实施：建立一个3维的数据立方体，对指标采用切片、钻取、旋转等方法进行分析多维数分分析时间日期对端号码码同一时刻刻话务流流向分析析12:00OLAP分析方方法一【【切片】】12:00日期对端号码OLAP分析方方法一【【切片】】时间日期5月1日日对端号码码同一日期期话务流流向分析析5月1日对端号码时间OLAP分析方方法一【【切片】】流向同一一运营商商的话务务量分析析时间日期联通对端号码码联通日期时间时间日期年季度季度月月月月对端号码码OLAP分析方方法二【【钻取】】在同一个个维上，，按不同同的层次次来分析析OLAP分析方方法三【【旋转】】将年份和季度交换坐标基于WEB的展展现方式式对数据进进行可视视化的分分析，分分析结果果的展现现方式有有以下几几种，并并且各种种形式之之间可以以相互的的转换：：1．柱状状图；2．相对对柱状图图；3．累计计柱状图图；4．饼图图；5．散点点图；6．折线线图；7．趋势势图；8．网页页表格；；9．表格格中的数数据倒出出到Excel报表WEB展展现示例例【柱图图】WEB展展现示例例【3D柱图】】5元数据关于数据据的数据据技术元数数据操作元数数据业务元数数据贯穿全过过程BOSSMIS/OA网管其它数据源数据源元数据管管理元数据管管理业务定义义属性定义义DA/DBAToolErwin抽取规则则,转换规则则ETLTool报表格式式,过滤,分分割等DSSTool数据库元数据元数据库库双向自动无连接业务定义义OtherExcelHTMLBusinessUsers数据仓库库开发元数据管管理Intranet/Extranet-Definitions-Domains-Names6系统统管理安全备份安全体系系结构系统安全全安全的层层次每个层次次均需要要相应措措施保证证数据库、、应用、、网络网络层防火墙电子认证证加密安全层次次数据库层层密码数据库权权限控制制应用层安安全用户身身份认认证按照操操作对对象和和操作作类别别规定定各操操作员员的权权限保证身身份的的有效效性和和不可可抵赖赖性采用口口令＋＋密码码方式式，可可以向向数字字证书书升级级数据加加密服务和和数据据权限限容灾与与备份份：概概述什么灾灾？火灾、、地震震、洪洪水……系统故故障：：硬件件、操操作系系统、、数据据库...应用故故障：：设计计时考考虑不不周误操作作黑客入入侵、、故意意破坏坏容灾方方法以备份份系统统代替替主系系统，，并及及时恢恢复主主系统统数据复复制其它：：地理理分布布，电电源、、网络络等的的高可可用性性容灾与与备份份：数数据备备份策策略数据备备份的的层次次物理视视图逻辑视视图（（DB、数数据库库模式式、应应用））数据备备份的的方式式联机复复制同步、、异步步、状状态脱机备备份防止““误操操作型型”灾灾难数据备备份的的目标标一致性性、当当前性性、可可恢复复性，，尽量量减少少数据据丢失失及尽尽快恢恢复容灾与与备份份：数数据复复制层层次主机硬盘DB文件表应用内存备份机机硬盘DB文件表应用内存输入输入物理视视图DB视视图数据库库模式式视图图应用视视图复制或或转移移Part3解解决决方案案◆技术术体系系结构构◆主要要厂商商产品品介绍绍产品供供应商商IBMCorp.OracleCorp.SASInstituteMicrosoftCorp.MicroStrategyInc.CABrioTechnologyBusinessObjectsInc.Cognos产品供供应商商DatawarehousesOLAPDataminingReporting,QueryingandbusinessintelligenceETLOracleSybaseSASDB2NCRBI/SASDB2OlapServerOracleExpressBusinessObjects/OLAPaccessSASDataminingGeneva(PwC)IntelligentMiner,Visualization(IBM)MineSet(SiliconGraphics)VisualInsights(Lucent)BusinessObjectsBrioAdaptiveServerIQmultiplex(Sybase)ActuateHummingbirdsuiteNUMA-Q2000(IBM)PilotBalancedScorecardOWBInformaticaCADataTransformerSAS/WABestWorstRelativetoallplatforms(includingS/390);updatedApril2001Copyright©2001DataMgmt.DataAdmin.Scalability&SuitabilityConcurrentQueryMgmt.DWTrackRecordQueryPerformanceHPHP9000HP-UXOracleIBMSPRS/6000AIXDB2EEESunEnterpriseSolarisOracleGenericIntelIA-32Win2000SQLServerUnisysES7000Win2000SQLServerIBMS/390OS/390DB2EEECompaqAlphaTru64OracleNCRWorldMarkMP-RASTeradata主机厂家:主机型号:操作系统:数据仓库平台:数据仓仓库比比较Copyright©2001IBMDB2IBM数据DB2WarehouseManager(管理理工具具)DB2Visualwarehousing(ETL)MIS/OABOSS网管No.7监测DB2UDBV7.2数据仓仓库DB2OLAPSERVER(MDB)查询人员分析人员Hyperionanalyzer决策人员IBMIntelligentMiner数据挖挖掘DB2WarehouseManagerDB2UDBV7.2数据集市市外部来源DB2UDBV7.2数据集市市EnterpriseInformationPortalIBM数数据仓库库的特点点提供大型型数据库库DB2作为数据据仓库的的存储数数据库，，DB2性能优异异，提供供从桌面面机到工工作站、、小型机机、大型型机的良良好扩展展性提供VisualWarehousing作为数据据抽取工工具，VW能够从广广泛的数数据源抽抽取数据据，并且且在大数数据量的的抽取中中充分显显示了速速度优势势提供多维维型、关关系型两两种Cube的实现方方式提供功能能强大的的访问Cube的查询语语法QueryScript在所有同同类产品品中提供供最强大大的分区区功能DWDMDMQueryPerformance(10)DataManagement(10)ChallengesStrengthsPerformancestandardforvery-largedatawarehousesanddatamartsManageability—lownumberofDBAsrequiredQueryoptimizationsupportforcomplexdatamodelsSupportforconcurrentqueryworkloadsLackofplatformchoice(confusion)DelaysonNT/MPPAbilitytoexecutewellAbilitytokeepcurrentcapabilityleadMarketingandpositioningforbroadermarketHigherinitialcostofsolutionBItoolandapplicationsupportProvenDWTrackRecord(10)ConcurrentQueryManagement(10)PlatformSuitability&Scalability(10)DataAdministration(9)CommonTopologyUseraccesstothedatawarehouseandfewdatamartsNCRTeradataCopyright©2001OracleOracle数数据仓库库解决方方案Oracle9iEnterpriseManager(管理工工具)Oracle9iWarehouseBuilder(ETL)MIS/OABOSS网管No.7监测Oracle9i数据仓库OracleDiscovery即席查询查询人员OracleReports预定义报表分析人员OracleExpressOLAP决策人员OracleDataMining数据挖掘Oracle9i数据集市Oracle9i数据集市Oracle9iODS外部来源OraclEPortalExpressServer(MDB)Oracle数据仓库的的特点提供RDBMS和MDDB两种数据存储储结构，Oracle功能强大，提提供了良好扩扩展性,提供了功能强强大的系统管管理界面支持超大型数数据仓库，并并提供多种优优化手段和针针对数据仓库库的特征，如如分区，位图图索引提供功能强大大的访问Cube的查询语法Expresscommand提供OracleWarehouseBuilder作为数据抽取取工具，OWB提供功能包括括：模型构造造和设计；数数据提取、移移动和装载；；元数据管理理；分析工具具的整合；以以及数据仓库库管理。具有有开放可延伸伸的框架。Sybase数据仓库解解决方案RelationalPackageLegacyExternalsourceDataCleanToolSourceDataDataStagingWareHouseAdmin.ToolsEnterpriseDataWarehouseDataExtraction,TransformationandloadDatamartDatamartEnterprise/CentralDataWarehouseRDBMSROLAPRDBMSRDBMS,StarSchemaArchitectedDatamartsCentralMetadataDataModelingToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocalMetadataLocalMetadataPowerMartSybaseIQSybaseIQCognosPowerMartWarehouseArchitectWCCBrio/BOSybaseASESybase数据仓库的的特点按列存储，有有很高的压缩缩比例PowerMart能够在一个统统一的界面中中将用户定义义的转换规则则、Schedule、权限设置、、数据源和目目标等等数据据抽取定义通通过有效的方方式管理起来来，方便整个个数据抽取工工作的管理AdaptiveServerIQ不仅使用了基基于值的位映映射（bitmap）算法及传统统的b-tree算法，还使用用了Sybase有专利权的位位式（bit-wise）索引IQwithMultiplex可以支持无限限的用户访问问数据仓库系统硬件拓扑扑图数据仓库服务器数据分析服务器数据抽取服务器数据挖掘服务器WEB服务器省中心局域网广域网广域网存储及备份系统防火墙管理终端…相关部门客户层…相关部门客户层InternetSAN典型结结构存储方式比较较存储估算数据仓库数据据3NFStar-Schema数据集市Star-SchemaCube3NF计算公公式总容量=∑源数据i*(1+索引因子)*RAID因子源数据i=单条记录字节节数*记录数/人.天*用户数*有效效用户系数*天数/月*保存月数说明：索引因子=0.7RAID因子=1.25<按按RAID5考虑>记录数/人.天=8用户数*有效效用户系数=200万/600万/1200万天数/月=31保存月数=N注：以上计算算基于Oracle数据据仓库引擎Star-Schema的计算维表用来描述属性性数据，通常常数据量很小小，可以忽略略不计。事实表记录的大小取取决于分析的的内容，包括括每个维值的的代码和汇总总数值的大小小。记录的数量取取决于分析维维度的多少和和每个维度可可能出现的值值的个数。事实表大小=事实表记录大大小x各维值取值数数x压缩比因子业务主题总数数据量=各事实表大小小的总和星型数据存储储量=业务主题总数数据量x(1+索引因子)xRAID因子存储估算（600万为例例）语音业务用户户本地话单每年年存储量为：：230*8*600万*31*12=4.11T漫游话单每年年存储量为：：230*10%*8*600万*31*12=0.411T语音业务用户户话单每年总总存储量为：：4.11T+0.411T=4.521T数据业务及其其他新业务本地话单每年年存储量为：：400*20%*8*600万*31*12=1.44T漫游用户话单单每年存储量量为：400*20%*10%*8*600万*31*12=190.4G数据业务及其其他新业务话话单每年总存存储量为：1.44T+190.4G=1.63T存储估算（600万为例例）结算话单结算话单每年年存储量为：：[200*600万*（8+8*10%））*50%]*31*12=1.97T每年话单存储储总量为：4.521T+1.63T+1.97T=8.121T存储估算（600万为例例）营业部交易记记录基本上是每个个客户有几条条记录，但相相对稳定，不不会大量产生生，也不随时时间爆炸性增增长，估算为为0.6T/年年。客服数据也会随时间增增长，但增幅幅远小于话单单数据，估算算为0.6T/年年。存储估算（600万为例例）客户资料数据据相对稳定，以以后随客户数数量的增加而而增长，其增增幅也不大，，估算为0.6T/年年。总容量结合上述因素素，总的存储储空间为：(8.121T+0.6T*3）*1.25=12.4T存储估算（600万为例例）主机性能测算算TPC-CTPC-Cisanon-linetransactionprocessingbenchmarkTPC-HTPC-Hisanad-hoc,decisionsupportbenchmarkItconsistsofasuiteofbusinessorientedad-hocqueriesandconcurrentdatamodifications.TheperformancemetricreportedbyTPC-HiscalledtheTPC-HCompositeQuery-per-HourPerformanceMetric(QphH@Size)影响响因因素素源主主机机源数数据据库库网络络带带宽宽数据据量量（（主主要要））目标标主主机机（（主主要要））目标标数数据据库库（（主主要要））HPSuperdome+OracleIBMSP+DB2NCRSUN+Oracle特别别提提示示Oracle9iWarehouseBuilderUnleashingWorldRecordPerformanceMarch2002采用HPSuperdome+Oracle发布布测试环境境——主主机、数数据库DatabaseInformation:Oracle9.0.1.1EnterpriseEditionHPSuperdomeEnterpriseServer:64552MHzPA-RISC8600CPUseachwith512KBI-cache,1MBD-cache.128GBMemory64PCIFibreChannel2XCard1HP1000BaseSXPCILanAdapter4SureStoreEDiskArrayXP512(withatotalof74418.2GBDisks)1HighAvailabilityStorageSystem(withatotalof39.1GB10KRPMLVDDisks)OSusedisHP-UX11.i64-bit测试环境境——数数据量测试结果果第一部分分：公司司介绍第二部分分：需求求说明第三部分分：解决决方案第四部分分：实施施和服务务第五部分分：系统统演示第六部分分：问题题交流议程元数据驱驱动、螺螺旋上升升的数据仓仓库构建建的过程程就是““建立元元数据―――构造造数据仓仓库/集集市”的的不断循环环、不断断上升的过程经营分析析系统实实施方法法论元数据驱驱动信息模型型分阶段实实施由元数据据进行统统一的管管理和协协调采用以元元数据为为中心的的数据仓仓库开发发方法经营分析析系统开开发方法法中央数据据仓库数数据主题题域的构构成核心服务支撑基础客户营销业务收益合作服务方市场大客户新业务分析主题题的划分分与关系系经营分析析系统结算计费营帐客服CMCC接口问题题的解决决70％％是管理理上，30％是是技术上上，因此此需要BOSS厂商的的支持、、需要运运营商的的支持、、需要多多方的协协调、理理解经营分析析系统建建设需要要您的支支撑需求阶段应充分