中国电信经营系统

经营分析系统技术交流中国电信经营分析系统第一部分：公司介绍第二部分：需求说明第三部分：解决方案第四部分：问题交流目录Part1

公司介绍第一部分：公司介绍第二部分：需求说明第三部分：解决方案第四部分：问题交流Part2需求说明背景企业经营发展的结果以业务为中心话单量小、业务少、用户少以客户为中心大数据量、业务多、异构数据、决策分析技术发展的结果数据库与数据仓库人工智能数据挖掘联机分析企业信息化的四个进程数据信息知识施效在线分析数据挖掘客户关系管理数据仓库=营销自动化=销售队伍自动化=客户服务与技术支持=事实发生了什么?=为什么会发生？=对象是谁？=还会发生什么?经营分析系统信息流图

建设目标建立一个统一的数据信息平台采用先进的数据仓库技术和分析挖掘工具，提取数据中的有价值信息为企业的客户服务、市场营销等工作提供科学有效的支撑，提升企业的运营水平和竞争能力，体现以客户为中心的经营理念建设原则两级系统，三层结构整合业务数据、面向经营分析能通过多种手段实现业务智能主题可扩充、新增及重构成为业务决策者专业的咨询顾问经营分析系统的开发与建设将分阶段进行系统功能支持与各种主流数据库平台、多维分析引擎、数据挖掘引擎和前端展示工具的无缝集成开放的应用程序接口和工具提供统一的数据仓库平台，支持后续应用和扩展可定制化的客户界面统一的用户和权限管理机制主题分分析及及专题题分析析前端用户/浏览器应用服务器/WebServer业务主题分析服务质量模块用户分析模块业务分析模块收益分析模块市场营销分析模块市场竞争分析模块新业务分析模块合作服务方分析模块大客户分析模块专题分析业务(含新业务)专题市场、竞争专题大客户发展、异动专题客户专题分析数据仓库业务管管理模模型Part3解解决决方案案◆技术术体系系结构构◆主要要厂商商产品品介绍绍体系结结构BOSSMIS/OA网管其它数据源数据源BOSS系系统网管客服其它1数数据源源BOSSMIS/OA网管其它数据源数据源数据源源数据源源省BOSS系统统的数数据：：批价后后的详详单帐务数数据欠费记记录缴费记记录欺诈记记录客户信信息资源记记录营业记记录投诉记记录查询记记录结算数数据人工录录入的的信息息网管系系统的的数据据热点小小区接通率率故障信信息客服数数据投诉信信息服务状状况其他数数据人工输输入数据源源细分分计费子子系统统：通话详详单（（原始始、计计费后后）、、详单单格式式计费使使用费费率表表错误话话单结算话话单帐务子子系统统：帐务数数据欠费记记录缴费记记录、、缴费费方式式欺诈记记录营业子子系统统：用户资资料及及信用用度资源使使用记记录营业厅厅、营营业员员资料料客服子子系统统：投诉记记录用户查查询记记录网管系系统：：接通率率数据据掉话率率数据据手工录录入数数据：：市场调调查结结果记记录市场宣宣传费费用和和形式式记录录流水型型增长长数据据：通话详详单（（原始始、计计费后后）错误话话单帐务数数据欠费记记录缴费记记录欺诈记记录资源使使用记记录投诉记记录用户查查询记记录财务数数据物流数数据市场调调查结结果记记录市场宣宣传费费用和和形式式记录录变化更更新数数据：：计费使使用费费率表表缴费方方式用户资资料及及信用用度营业厅厅、营营业员员资料料BOSSMIS/OA网管其它数据源数据源数据获获取层层2数据获获取层层数据来来源首先直直接快快速传传输到到分段段存储储区，，再从从分段段存储储区经经过清清洗、、转换换、映映射等等复杂杂的数数据移移动处处理转转移到到目标标数据据仓库库中。。以保证证数据据的快快速导导入而而尽量量减小小对业业务系系统造造成的的压力力。有数据据库和和文件件二种种方式式，分分别对对应于于不同同运营营系统统的数数据源源。数据集集成异构数数据源源整合合临时存存储区区(StagingArea)BOSS与与经营营分析析系统统的连连接方方案计费营帐经营分析系统DW客服采集BOSS系统ODS文件加载，例如采用sql*load数据集成，例如采用OWB,Pl/Sql,CAAdvantageDataTransformer数据清洗、转换，如采用OWB,Pl/SqlSql*Load实现方方式1、掌握源文文件的文件格格式2、定义目的的ODS的对对应表结构3、编写执行行的脚本4、运行脚本本5、查看运行行的日志例子：将pt0431文文件的记录装装载进入表cc_test中实现：1、依依据文件pt0431格格式和表cc_test的结构，编编写脚本jl.ldr：LOADDATAINFILE'../pt0431'INTOTABLEcc_test(文件格式与与表结构对应应关系定义)2、编写控制制脚本jl.sql：sqlloaduserid=ht/hellocontrol=jl.ldrlog=jl.log3、执行：#shjl4、查看日志志文件jl.logPl/Sql实现方式有些数据需要要经过程序处处理后才能很很好的被使用用。例如：基于批批价详单来分分析话务流向向时需要利用用详单记录中中的Other_party字段。。Other_party可能的存在在形式：1795X+固定电话号号码；013XH1H2H3H4N1-N4;13XH1H2H3H4N1-N4;00+电话号号码；特殊号码：110、119、1861等；172X1X2;只有经过一定定的处理，才才能分析去话话的方向是联联通、电信，，国际，特殊殊呼叫等适用于随机获获取数据ETL环境境和处理流程程来源OLTP系统数据转化引擎缓存来源主机或C/S系统转化引擎数据仓库企业元数据数据集市数据集市数据集市数据集市扫描元数据要求资源规划交付用户流程数据仓库监控任务调度数据抽取数据清洗数据转换数据加载索引建立数据聚合元数据导入元数据维护BOSSOANMSELSE抽取策略1、对于有时时间线的数据据增量抽取，，例如：服务务信息表，由于有处理时时间，可增量量抽取2、没时间线线的数据则完完全抽取，例例如客户信息息表3、明细帐单单、综合帐单单在出帐后，，例如出帐后后第二天抽取4、对于文件件，象BOSS系统的结结算清单、计计费清单按文文件生成周期实实时抽取3数据存储层BOSSMIS/OA网管其它数据源数据源数据存储层基础数据仓库库数据来源数据结构3NF星型结构雪花结构完整性和有效效性检查，对对冗余和不一一致的数据进进行了清洗和和转换。数据量将非常常庞大。3NF减少数据冗余余减少存储容量量灵活的扩展能能力执行效率相对对较低数据集市数据仓库的子子集，主要面面向某特定主主题。数据来源对基础数据仓仓库中数据的的复制、分布布或聚合数据结构星型结构Star-Schema存在数据冗余余相对较大容量量维变化时，需需重新建立执行效率高粒度选择多重粒度级别别中央数据仓库库采用低粒度度级，例如，，客户月通话话详单—-高细节数据据，能回答所所有问题，但但分析效率较较低；数据集市采用用高粒度级，，例如，客户户月通话综合合信息---低细节数数据，能回答答部分问题，，但分析效率率高；如果高粒度数数据也包含分分析所需的足足够的细节，，则高粒度数数据的使用效率会提提高很多中央数据仓库库与从属数据据集市中央数据仓库客户信息Cust_IDMsisdnAge_levelCust_TypeCity_Code……通话详单Call_TypeMsisdnStart_DateStart_timeCall_duration…..帐户信息Account_IDCust_IDLfeeCfeeDiscount_fee……其它信息Cust_IDMsisdnAge_levelCust_TypeCity_Code……Cust_IDMsisdn客户通话行为分析客户消费行为分析其它分析……依据分析的需要Map数据数据仓库完整整构架DataMartsDataMiningOLAP AnalysisMartMartStagingAreaDataWarehouseOperationalDataExternalDataArchiveDataManualDataBusinessUsers4数据

访问层层信息处理查询和报表分析处理基本的OLAP操作数据挖掘知识发现BOSSMIS/OA网管其它数据源数据源数据访问层举例：话务流流向分析维：通话日期期、通话时间间、对端号码码，共3个维维；分析指标：通通话次数，通通话时长实施：建立一一个3维的数数据立方体，，对指标采用用切片、钻取取、旋转等方方法进行分析析多维数分析时间日期对端号码同一时刻话务务流向分析12:00OLAP分析析方法一【切切片】12:00日期对端号码OLAP分析析方法一【切切片】时间日期5月1日对端号码同一日期话务务流向分析5月1日对端号码时间OLAP分析析方法一【切切片】流向同一运营营商的话务量量分析时间日期联通对端号码联通日期时间时间日期年季度季度月月月月对端号码OLAP分析析方法二【钻钻取】在同一个维上上，按不同的的层次来分析析OLAP分析析方法三【旋旋转】将年份和季度交换坐标基于WEB的的展现方式对数据进行可可视化的分析析，分析结果果的展现方式式有以下几种种，并且各种种形式之间可可以相互的转转换：1．柱状图；；2．相对柱状状图；3．累计柱状状图；4．饼图；5．散点图；；6．折线图；；7．趋势图；；8．网页表格格；9．表格中的的数据倒出到到Excel报表WEB展现示示例【柱图】】WEB展现示示例【3D柱柱图】5元数据关于数据的数数据技术元数据操作元数据业务元数据贯穿全过程BOSSMIS/OA网管其它数据源数据源元数据管理元数据管理业务定义属性定义DA/DBAToolErwin抽取规则,转换规则ETLTool报表格式,过滤,分割等等DSSTool数据库元数据元数据库双向自动无连接业务定义OtherExcelHTMLBusinessUsers数据仓库开发发元数据管理Intranet/Extranet-Definitions-Domains-Names6系统管理理安全备份安全体系结构构系统安全安全的层次每个层次均需需要相应措施施保证数据库、应用用、网络网络层防火墙电子认证加密安全层次数据库层密码数据库权限控控制应用层安全用户身份认证证按照操作对象象和操作类别别规定各操作作员的权限保证身份的有有效性和不可可抵赖性采用口令＋密密码方式，可可以向数字证证书升级数据加密服务和数据权权限容灾与备份：：概述什么灾？火灾、地震、、洪水…系统故障：硬硬件、操作系系统、数据库库...应用故障：设设计时考虑不不周误操作黑客入侵、故故意破坏容灾方法以备份系统代代替主系统，，并及时恢复复主系统数据复制其它：地理分分布，电源、、网络等的高高可用性容灾与备份：：数据备份策策略数据备份的层层次物理视图逻辑视图（DB、数据库库模式、应用用）数据备份的方方式联机复制同步、异步、、状态脱机备份防止“误操作作型”灾难数据备份的目目标一致性、当前前性、可恢复复性，尽量减减少数据丢失失及尽快恢复复容灾与备份：：数据复制层层次主机硬盘DB文件表应用内存备份机硬盘DB文件表应用内存输入输入物理视图DB视图数据库模式视视图应用视图复制或转移Part3解解决方案案◆技术体系结结构◆主要厂商产产品介绍产品品供供应应商商IBMCorp.OracleCorp.SASInstituteMicrosoftCorp.MicroStrategyInc.CABrioTechnologyBusinessObjectsInc.Cognos产品品供供应应商商DatawarehousesOLAPDataminingReporting,QueryingandbusinessintelligenceETLOracleSybaseSASDB2NCRBI/SASDB2OlapServerOracleExpressBusinessObjects/OLAPaccessSASDataminingGeneva(PwC)IntelligentMiner,Visualization(IBM)MineSet(SiliconGraphics)VisualInsights(Lucent)BusinessObjectsBrioAdaptiveServerIQmultiplex(Sybase)ActuateHummingbirdsuiteNUMA-Q2000(IBM)PilotBalancedScorecardOWBInformaticaCADataTransformerSAS/WABestWorstRelativetoallplatforms(includingS/390);updatedApril2001Copyright©2001DataMgmt.DataAdmin.Scalability&SuitabilityConcurrentQueryMgmt.DWTrackRecordQueryPerformanceHPHP9000HP-UXOracleIBMSPRS/6000AIXDB2EEESunEnterpriseSolarisOracleGenericIntelIA-32Win2000SQLServerUnisysES7000Win2000SQLServerIBMS/390OS/390DB2EEECompaqAlphaTru64OracleNCRWorldMarkMP-RASTeradata主机厂家:主机型号:操作系统:数据仓库平台:数据据仓仓库库比比较较Copyright©2001IBMDB2IBM数数据据仓仓库库解解决决方方案案DB2WarehouseManager(管管理理工工具具)DB2Visualwarehousing(ETL)MIS/OABOSS网管No.7监测DB2UDBV7.2数据据仓仓库库DB2OLAPSERVER(MDB)查询询人员员分析析人员员Hyperionanalyzer决策策人员员IBMIntelligentMiner数据据挖挖掘掘DB2WarehouseManagerDB2UDBV7.2数据据集集市市外部来源DB2UDBV7.2数据据集集市市EnterpriseInformationPortalIBM数数据据仓仓库库的的特特点点提供供大大型型数数据据库库DB2作为为数数据据仓仓库库的的存存储储数数据据库库，，DB2性能能优优异异，，提提供供从从桌桌面面机机到到工工作作站站、、小小型型机机、、大大型型机机的的良良好好扩扩展展性性提供供VisualWarehousing作为为数数据据抽抽取取工工具具，，VW能够够从从广广泛泛的的数数据据源源抽抽取取数数据据，，并并且且在在大大数数据据量量的的抽抽取取中中充充分分显显示示了了速速度度优优势势提供供多多维维型型、、关关系系型型两两种种Cube的实实现现方方式式提供供功功能能强强大大的的访访问问Cube的查查询询语语法法QueryScript在所所有有同同类类产产品品中中提提供供最最强强大大的的分分区区功功能能DWDMDMQueryPerformance(10)DataManagement(10)ChallengesStrengthsPerformancestandardforvery-largedatawarehousesanddatamartsManageability—lownumberofDBAsrequiredQueryoptimizationsupportforcomplexdatamodelsSupportforconcurrentqueryworkloadsLackofplatformchoice(confusion)DelaysonNT/MPPAbilitytoexecutewellAbilitytokeepcurrentcapabilityleadMarketingandpositioningforbroadermarketHigherinitialcostofsolutionBItoolandapplicationsupportProvenDWTrackRecord(10)ConcurrentQueryManagement(10)PlatformSuitability&Scalability(10)DataAdministration(9)CommonTopologyUseraccesstothedatawarehouseandfewdatamartsNCRTeradataCopyright©2001OracleOracle数数据仓库库解决方方案Oracle9iEnterpriseManager(管理工工具)Oracle9iWarehouseBuilder(ETL)MIS/OABOSS网管No.7监测Oracle9i数据仓库库OracleDiscovery即席查询询查询人员OracleReports预定义报报表分析人员OracleExpressOLAP决策人员OracleDataMining数据挖掘掘Oracle9i数据集市Oracle9i数据集市Oracle9iODS外部来源OraclEPortalExpressServer(MDB)Oracle数数据仓库库的特点点提供RDBMS和MDDB两种数据据存储结结构，Oracle功能强大大，提供供了良好好扩展性性,提供了功功能强大大的系统统管理界界面支持超大大型数据据仓库，，并提供供多种优优化手段段和针对对数据仓仓库的特特征，如如分区，，位图索索引提供功能能强大的的访问Cube的查询语语法Expresscommand提供OracleWarehouseBuilder作为数据据抽取工工具，OWB提供功能能包括：：模型构构造和设设计；数数据提取取、移动动和装载载；元数数据管理理；分析析工具的的整合；；以及数数据仓库库管理。。具有开开放可延延伸的框框架。Sybase数数据仓库库解决方方案RelationalPackageLegacyExternalsourceDataCleanToolSourceDataDataStagingWareHouseAdmin.ToolsEnterpriseDataWarehouseDataExtraction,TransformationandloadDatamartDatamartEnterprise/CentralDataWarehouseRDBMSROLAPRDBMSRDBMS,StarSchemaArchitectedDatamartsCentralMetadataDataModelingToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocalMetadataLocalMetadataPowerMartSybaseIQSybaseIQCognosPowerMartWarehouseArchitectWCCBrio/BOSybaseASESybase数数据仓库库的特点点按列存储储，有很很高的压压缩比例例PowerMart能够在一一个统一一的界面面中将用用户定义义的转换换规则、、Schedule、权限设置置、数据源源和目标等等等数据抽抽取定义通通过有效的的方式管理理起来，方方便整个数数据抽取工工作的管理理AdaptiveServerIQ不仅使用了了基于值的的位映射（（bitmap）算法及传传统的b-tree算法，还使使用了Sybase有专利权的的位式（bit-wise）索引IQwithMultiplex可以支持无无限的用户户访问数据据仓库系统硬件拓拓扑图数据仓库服务器数据分析服务器数据抽取服务器数据挖掘服务器WEB服务器省中心局域网广域网广域网存储及备份系统防火墙管理终端…相关部门客户层…相关部门客户层InternetSAN典型型结构存储方式比比较存储估算数据仓库数数据3NFStar-Schema数据集市Star-SchemaCube3NF计算算公式总容量=∑源数据i*(1+索引因子)*RAID因子源数据i=单条记录字字节数*记录数/人人.天*用户数*有有效用户系系数*天数/月*保存月数说明：索引因子=0.7RAID因子=1.25<按RAID5考考虑>记录数/人人.天=8用户数*有有效用户系系数=200万万/600万/1200万天数/月=31保存月数=N注：以上计计算基于Oracle数据仓仓库引擎Star-Schema的计计算维表用来描述属属性数据，，通常数据据量很小，，可以忽略略不计。事实表记录的大小小取决于分分析的内容容，包括每每个维值的的代码和汇汇总数值的的大小。记录的数量量取决于分分析维度的的多少和每每个维度可可能出现的的值的个数数。事实表大小小=事实表记录录大小x各维值取值值数x压缩比因子子业务主题总总数据量=各事实表大大小的总和和星型数据存存储量=业务主题总总数据量x(1+索引因子)xRAID因子存储估算（（600万万为例）语音业务用用户本地话单每每年存储量量为：230*8*600万*31*12=4.11T漫游话单每每年存储量量为：230*10%*8*600万*31*12=0.411T语音业务用用户话单每每年总存储储量为：4.11T+0.411T=4.521T数据业务及及其他新业业务本地话单每每年存储量量为：400*20%*8*600万*31*12=1.44T漫游用户话话单每年存存储量为：：400*20%*10%*8*600万*31*12=190.4G数据业务及及其他新业业务话单每每年总存储储量为：1.44T+190.4G=1.63T存储估算（（600万万为例）结算话单结算话单每每年存储量量为：[200*600万*（8+8*10%）*50%]*31*12=1.97T每年话单存存储总量为为：4.521T+1.63T+1.97T=8.121T存储估算（（600万万为例）营业部交易易记录基本上是每每个客户有有几条记录录，但相对对稳定，不不会大量产产生，也不不随时间爆爆炸性增长长，估算为为0.6T/年。客服数据也会随时间间增长，但但增幅远小小于话单数数据，估算算为0.6T/年。存储估算算（600万为为例）客户资料料数据相对稳定定，以后后随客户户数量的的增加而而增长，，其增幅幅也不大大，估算算为0.6T/年。总容量结合上述(8.121T+0.6T*3）*1.25=12.4T存储估算算（600万为为例）主机性能能测算TPC-CTPC-Cisanon-linetransactionprocessingbenchmarkTPC-HTPC-Hisanad-hoc,decisionsupportbenchmarkItconsistsofasuiteofbusinessorientedad-hocqueriesandconcurrentdatamodifications.TheperformancemetricreportedbyTPC-HiscalledtheTPC-HCompositeQuery-per-HourPerformanceMetric(QphH@Size)影响因素素源主机源数据库库网络带宽宽数据量（（主要））目标主机机（主要要）目标数据据库（主主要）HPSuperdome+OracleIBMSP+DB2NCRSUN+Oracle特别提示示Oracle9iWarehouseBuilderUnleashingWorldRecordPerformanceMarch2002采用HPSuperdome+Oracle发布布测试环境境——主主机、数数据库DatabaseInformation:Oracle9.0.1.1EnterpriseEditionHPSuperdomeEnterpriseServer:64552MHzPA-RISC8600CPUseachwith512KBI-cache,1MBD-cache.128GBMemory64PCIFibreChannel2XCard1HP1000BaseSXPCILanAdapter4SureStoreEDiskArrayXP512(withatotalof74418.2GBDisks)1HighAvailabilityStorageSystem(withatotalof39.1GB10KRPMLVDDisks)OSusedisHP-UX11.i64-bit测试环环境———数数据量量测试结结果第一部部分：：公司司介绍绍第二部部分：：需求求说明明第三部部分：：解决决方案案第四部部分：：实施施和服服务第五部部分：：系统统演示示第六部部分：：问题题交流流议程元数据据驱动动、螺螺旋上上升的数据据仓库库构建建的过过程就就是““建立立元数数据―――构构造数数据仓仓库/集市市”的的不断循循环、、不断断上升升的过程程经营分分析系系统实实施方方法论论元数据据驱动动信息模模型分阶段段实施施由元数数据进进行统统一的的管理理和协协调采用以以元数数据为为中心心的数数据仓仓库开开发方方法经营分分析系系统开开发方方法中央数数据仓仓库数数据主主题域域的构构成核心服务支撑基础客户营销业务收益合作服务方市场大客户新业务分析主主题的的划分分与关关系经营分分析系系统结算计费营帐客服CMCC接口问问题的的解决决70％是是管理理上，，30％是是技术术上，，因此此需要要BOSS厂商商的支支持、、需要要运营营商的的支持持、需需要多多方的的协调调、理理解经营分分析系系统建建设需需要您您的支支撑需求阶段应充分考虑到项目中的风险（包括接口