中国电信经营分析系统技术交流ppt课件

1、运营分析系统技术交流中国电信运营分析系统第一部分：公司引见第二部分：需求阐明第三部分：处理方案第四部分：问题交流目录Part1 公司引见第一部分：公司引见第二部分：需求阐明第三部分：处理方案第四部分：问题交流Part2 需求阐明背景企业运营开展的结果以业务为中心话单量小、业务少、用户少以客户为中心大数据量、业务多、异构数据、决策分析技术开展的结果数据库与数据仓库人工智能数据发掘联机分析企业信息化的四个进程数据信息知识施效在线分析数据挖掘客户关系管理数据仓库=营销自动化=销售队伍自动化=客户效力与技术支持=现实发生了什么?=为什么会发生？=对象是谁？=还会发生什么?运营分析系统信息流图 建立目的

2、建立一个一致的数据信息平台采用先进的数据仓库技术和分析发掘工具，提取数据中的有价值信息为企业的客户效力、市场营销等任务提供科学有效的支撑，提升企业的运营程度和竞争才干，表达以客户为中心的运营理念建立原那么两级系统，三层构造整合业务数据、面向运营分析 能经过多种手段实现业务智能主题可扩展、新增及重构成为业务决策者专业的咨询顾问 运营分析系统的开发与建立将分阶段进展系统功能支持与各种主流数据库平台、多维分析引擎、数据发掘引擎和前端展现工具的无缝集成开放的运用程序接口和工具提供一致的数据仓库平台，支持后续运用和扩展可定制化的客户界面一致的用户和权限管理机制主题分析及专题分析前端用户/阅读器运用效力器

3、 /Web Server业务主题分析效力质量模块用户分析模块业务分析模块收益分析模块市场营销分析模块市场竞争分析模块新业务分析模块协作效力方分析模块大客户分析模块专题分析业务(含新业务)专题市场、竞争专题大客户开展、异动专题客户专题分析数据仓库业务管理模型Part3 处理方案技术体系构造主要厂商产品引见体系构造BOSSMIS/OA网管其它数据源数据源BOSS系统网管客服其它1 数据源BOSSMIS/OA网管其它数据源数据源数据源数据源省BOSS系统的数据：批价后的详单帐务数据欠费记录缴费记录欺诈记录客户信息资源记录营业记录赞扬记录查询记录结算数据人工录入的信息网管系统的数据 热点小区 接通率

4、缺点信息客服数据 赞扬信息 效力情况其他数据 人工输入数据源细分计费子系统：通话详单原始、计费后、详单格式计费运用费率表错误话单结算话单帐务子系统：帐务数据欠费记录缴费记录、缴费方式欺诈记录营业子系统：用户资料及信誉度资源运用记录营业厅、营业员资料客服子系统：赞扬记录用户查询记录网管系统：接通率数据掉话率数据手工录入数据：市场调查结果记录市场宣传费用和方式记录流水型增长数据：通话详单原始、计费后错误话单帐务数据欠费记录缴费记录欺诈记录资源运用记录赞扬记录用户查询记录财务数据物流数据市场调查结果记录市场宣传费用和方式记录变化更新数据：计费运用费率表缴费方式用户资料及信誉度营业厅、营业员资料BOS

5、SMIS/OA网管其它数据源数据源数据获取层2 数据获取层数据来源首先直接快速传输到分段存储区，再从分段存储区经过清洗、转换、映射等复杂的数据挪动处置转移到目的数据仓库中。以保证数据的快速导入而尽量减小对业务系统呵斥的压力。有数据库和文件二种方式，分别对应于不同运营系统的数据源。数据集成 异构数据源整合暂时存储区(Staging Area)BOSS与运营分析系统的衔接方案计费营帐运营分析系统DW客服采集BOSS系统ODS文件加载，例如采用sql*load数据集成，例如采用OWB,Pl/Sql,CA Advantage Data Transformer数据清洗、转换，如采用OWB,Pl/SqlS

6、ql*Load实现方式1、掌握源文件的文件格式2、定义目的ODS的对应表构造3、编写执行的脚本4、运转脚本5、查看运转的日志例子：将pt0431文件的记录装载进入表cc_test中实现：1、根据文件pt0431格式和表cc_test的构造，编写脚本jl.ldr：LOAD DATAINFILE ./pt0431INTO TABLE cc_test(文件格式与表构造对应关系定义)2、编写控制脚本jl.sql：sqlload userid=ht/hello control=jl.ldr log=jl.log3、执行：#sh jl4、查看日志文件jl.logPl/Sql实现方式有些数据需求经过程序处置

7、后才干很好的被运用。例如：基于批价详单来分析话务流向时需求利用详单记录中的Other_party字段。Other_party能够的存在方式：1795X+固定号码；013XH1H2H3H4N1-N4;13XH1H2H3H4N1-N4;00+号码；特殊号码：110、119、1861等；172X1X2;只需经过一定的处置，才干分析去话的方向是联通、电信，国际，特殊呼叫等适用于随机获取数据 ETL 环境和处置流程来源 OLTP系统数据转化引擎缓存来源 主机或 C/S 系统转化引擎数据仓库企业元数据数据集市数据集市数据集市数据集市扫描元数据要求资源规划交付用户流程数据仓库监控义务调度数据抽取数据清洗数据

8、转换数据加载索引建立数据聚合元数据导入元数据维护BOSSOANMSELSE抽取战略1、对于有时间线的数据增量抽取，例如：效力信息表， 由于有处置时间，可增量抽取2、没时间线的数据那么完全抽取，例如客户信息表3、明细帐单、综合帐单在出帐后，例如出帐后第二天 抽取4、对于文件，象BOSS系统的结算清单、计费清单按文 件生成周期实时抽取3 数据存储层BOSSMIS/OA网管其它数据源数据源数据存储层根底数据仓库数据来源数据构造3NF星型构造雪花构造完好性和有效性检查，对冗余和不一致的数据进展了清洗和转换。数据量将非常庞大。 3NF减少数据冗余减少存储容量灵敏的扩展才干执行效率相对较低数据集市数据仓库

9、的子集，主要面向某特定主题。数据来源对根底数据仓库中数据的复制、分布或聚合数据构造星型构造Star-Schema存在数据冗余相对较大容量维变化时，需重新建立执行效率高粒度选择多重粒度级别中央数据仓库采用低粒度级，例如，客户月通话详单 -高细节数据，能回答一切问题，但分析效率较低；数据集市采用高粒度级，例如，客户月通话综合信息- -低细节数据，能回答部分问题，但分析效率高；假设高粒度数据也包含分析所需的足够的细节，那么高粒度数据的运用效率会提高很多中央数据仓库与从属数据集市中央数据仓库客户信息Cust_IDMsisdnAge_levelCust_TypeCity_Code通话详单Call_Typ

10、eMsisdnStart_DateStart_timeCall_duration.帐户信息Account_IDCust_IDLfeeCfeeDiscount_fee其它信息Cust_IDMsisdnAge_levelCust_TypeCity_CodeCust_IDMsisdn客户通话行为分析客户消费行为分析其它分析根据分析的需求Map数据数据仓库完好构架Data Marts Data Mining OLAPAnalysis Mart MartStaging AreaData WarehouseOperational DataExternalDataArchiveDataManualDataB

11、usiness Users4 数据访问层信息处置查询和报表分析处置根本的OLAP操作数据发掘知识发现BOSSMIS/OA网管其它数据源数据源数据访问层举例：话务流向分析 维：通话日期、通话时间、对端号码，共3个维；分析目的：通话次数，通话时长实施：建立一个3维的数据立方体，对目的采用切片、钻取、旋转等方法进展分析多维数分析时间日期对端号码同一时辰话务流向分析12:00OLAP分析方法一【切片】12:00日期对端号码OLAP分析方法一【切片】时间日期5月1日对端号码同一日期话务流向分析5月1日对端号码时间OLAP分析方法一【切片】流向同一运营商的话务量分析时间日期联通对端号码联通日 期时间时间日

12、期年季度季度月月月月对端号码OLAP分析方法二【钻取】在同一个维上，按不同的层次来分析OLAP分析方法三【旋转】将年份和季度交换坐标基于WEB的展现方式对数据进展可视化的分析，分析结果的展现方式有以下几种，并且各种方式之间可以相互的转换：1柱状图；2相对柱状图；3累计柱状图；4饼图；5散点图；6折线图；7趋势图；8网页表格；9表格中的数据倒出到Excel报表WEB展现例如【柱图】WEB展现例如【3D柱图】5 元数据关于数据的数据技术元数据操作元数据业务元数据贯穿全过程BOSSMIS/OA网管其它数据源数据源元数据管理元数据管理业务定义属性定义DA / DBA ToolErwin抽取规那么, 转

13、换规那么ETL Tool报表格式, 过滤,分割等DSS Tool数据库元数据元数据库双向自动无衔接业务定义OtherExcelHTMLBusiness Users数据仓库开发元数据管理Intranet/Extranet-Definitions-Domains-Names6 系统管理平安备份平安体系构造 系统平安平安的层次每个层次均需求相应措施保证数据库、运用、网络网络层防火墙电子认证加密平安层次数据库层密码数据库权限控制运用层平安用户身份认证按照操作对象和操作类别规定各操作员的权限保证身份的有效性和不可抵赖性采用口令密码方式，可以向数字证书晋级数据加密效力和数据权限容灾与备份：概述什么灾？火灾

14、、地震、洪水系统缺点：硬件、操作系统、数据库.运用缺点：设计时思索不周误操作黑客入侵、故意破坏容灾方法以备份系统替代主系统，并及时恢复主系统数据复制其它：地理分布，电源、网络等的高可用性容灾与备份：数据备份战略数据备份的层次物理视图逻辑视图DB、数据库方式、运用数据备份的方式联机复制同步、异步、形状脱机备份防止“误操作型灾难数据备份的目的一致性、当前性、可恢复性，尽量减少数据丧失及尽快恢复容灾与备份：数据复制层次主机硬盘DB文件表运用 内存备份机硬盘DB文件表运用 内存输入输入 物理视图 DB视图 数据库方式视图 运用视图复制或转移Part3 处理方案技术体系构造主要厂商产品引见产品供应商IB

15、M Corp.Oracle Corp.SAS InstituteMicrosoft Corp.MicroStrategy Inc.CABrio TechnologyBusiness Objects Inc.Cognos产品供应商Data warehousesOLAPData miningReporting, Querying and business intelligenceETLOracleSybaseSASDB2NCRBI/SASDB2 Olap ServerOracle ExpressBusiness Objects/OLAP accessSAS Data miningGeneva(Pw

16、C)Intelligent Miner,Visualization(IBM)MineSet (Silicon Graphics)Visual Insights(Lucent)Business ObjectsBrioAdaptive Server IQ multiplex(Sybase)ActuateHummingbird suiteNUMA-Q2000(IBM)Pilot Balanced Score cardOWBInformaticaCA Data TransformerSAS/WABestWorstRelative to all platforms (including S/390);u

17、pdated April 2001Copyright 2001Data Mgmt.Data Admin.Scalability & SuitabilityConcurrent Query Mgmt.DW Track RecordQuery PerformanceHPHP9000HP-UXOracle IBM SPRS/6000AIXDB2 EEESunEnterpriseSolarisOracle GenericIntel IA-32Win2000SQL ServerUnisysES7000Win2000SQL ServerIBMS/390OS/390DB2 EEECompaqAlphaTru

18、64OracleNCRWorldMarkMP-RASTeradata主机厂家:主机型号:操作系统:数据仓库平台:数据仓库比较Copyright 2001IBM DB2IBM数据仓库处理方案DB2 Warehouse Manager (管理工具)DB2 Visual warehousing(ETL)MIS/OABOSS网管No.7监测DB2 UDBV7.2数据仓库DB2 OLAPSERVER(MDB)查询人员分析人员Hyperion analyzer 决策人员IBM Intelligent Miner 数据发掘DB2 Warehouse ManagerDB2 UDBV7.2数据集市外部来源DB2

19、 UDBV7.2数据集市Enterprise Information PortalIBM数据仓库的特点提供大型数据库DB2作为数据仓库的存储数据库，DB2性能优良，提供从桌面机到任务站、小型机、大型机的良好扩展性 提供Visual Warehousing作为数据抽取工具，VW可以从广泛的数据源抽取数据，并且在大数据量的抽取中充分显示了速度优势 提供多维型、关系型两种Cube的实现方式 提供功能强大的访问Cube的查询语法 Query Script 在一切同类产品中提供最强大的分区功能 DWDMDMQueryPerformance (10)DataManagement (10)Challenge

20、sStrengths Performance standard for very-large data warehouses and data marts Manageability low number of DBAs required Query optimization support for complex data models Support for concurrent query workloads Lack of platform choice (confusion) Delays on NT/MPP Ability to execute well Ability to ke

21、ep current capability lead Marketing and positioning for broader market Higher initial cost of solution BI tool and application supportProven DW Track Record (10)Concurrent Query Management (10)Platform Suitability & Scalability (10)DataAdministration (9)Common TopologyUser access tothe datawarehous

22、e andfew data martsNCR TeradataCopyright 2001OracleOracle数据仓库处理方案Oracle9i Enterprise Manager(管理工具)Oracle9i WarehouseBuilder(ETL)MIS/OABOSS网管No.7监测Oracle9i数据仓库OracleDiscovery即席查询查询人员OracleReports预定义报表分析人员OracleExpressOLAP决策人员OracleData Mining数据发掘Oracle9i数据集市Oracle9i数据集市Oracle9iODS外部来源OraclEPortalExpr

23、essServer(MDB)Oracle数据仓库的特点提供RDBMS和MDDB两种数据存储构造，Oracle功能强大，提供了良好扩展性, 提供了功能强大的系统管理界面支持超大型数据仓库，并提供多种优化手段和针对数据仓库的特征，如分区，位图索引 提供功能强大的访问Cube的查询语法Express command 提供Oracle Warehouse Builder作为数据抽取工具，OWB提供功能包括：模型构造和设计；数据提取、挪动和装载；元数据管理；分析工具的整合；以及数据仓库管理。具有开放可延伸的框架。 Sybase数据仓库处理方案RelationalPackageLegacyExternal

24、sourceDataCleanToolSource DataDataStagingWareHouseAdmin. ToolsEnterprise DataWarehouse Data Extraction,Transformationand loadDatamartDatamartEnterprise/Central DataWarehouseRDBMSROLAPRDBMSRDBMS, Star SchemaArchitectedDatamartsCentralMetadata Data Modeling ToolEnd-UserToolEnd-UserToolMDBEnd-UserToolE

25、nd-UserToolLocal MetadataLocal MetadataPowerMartSybase IQSybase IQCognosPowerMartWarehouseArchitectWCCBrio/BOSybase ASESybase数据仓库的特点按列存储，有很高的紧缩比例PowerMart可以在一个一致的界面中将用户定义的转换规那么、Schedule、权限设置、数据源和目的等等数据抽取定义经过有效的方式管理起来，方便整个数据抽取任务的管理 Adaptive Server IQ不仅运用了基于值的位映射bitmap算法及传统的b-tree算法，还运用了Sybase有专利权的位式b

26、it-wise索引 IQ with Multiplex可以支持无限的用户访问数据仓库 系统硬件拓扑图数据仓库效力器数据分析效力器数据抽取效力器数据发掘效力器 WEB效力器省中心局域网广域网广域网存储及备份系统防火墙管理终端相关部门客户层相关部门客户层InternetSAN典型构造存储方式比较存储估算数据仓库数据3NFStar-Schema数据集市Star-SchemaCube3NF计算公式总容量=源数据i * (1+索引因子) * RAID 因子源数据i=单条记录字节数 * 记录数/人.天 * 用户数*有成效户系数 * 天数/月 * 保管月数阐明： 索引因子 = 0.7 RAID因子 = 1.

27、25 记录数/人.天 = 8 用户数*有成效户系数 = 200万/600万/1200万 天数/月 = 31 保管月数 = N注：以上计算基于Oracle数据仓库引擎Star-Schema的计算维表用来描画属性数据，通常数据量很小，可以忽略不计。现实表记录的大小取决于分析的内容，包括每个维值的代码和汇总数值的大小。记录的数量取决于分析维度的多少和每个维度能够出现的值的个数。现实表大小= 现实表记录大小x 各维值取值数x 紧缩比因子业务主题总数据量= 各现实表大小的总和星型数据存储量= 业务主题总数据量x (1+索引因子) x RAID 因子存储估算600万为例语音业务用户本地话单每年存储量为：2

28、30*8*600万* 31 * 12 = 4.11T遨游话单每年存储量为：230*10% * 8*600万* 31 * 12 = 0.411T语音业务用户话单每年总存储量为：4.11T+0.411T = 4.521T 数据业务及其他新业务本地话单每年存储量为：400*20%* 8*600万* 31 * 12 =1.44T遨游用户话单每年存储量为：400*20%* 10% * 8*600万* 31 * 12 = 190.4G数据业务及其他新业务话单每年总存储量为：1.44T+190.4G = 1.63T存储估算600万为例结算话单结算话单每年存储量为：200*600万*8+8*10%*50%*3

29、1*12 = 1.97T每年话单存储总量为： 4.521T + 1.63T + 1.97T = 8.121T存储估算600万为例营业部买卖记录根本上是每个客户有几条记录，但相对稳定，不会大量产生，也不随时间爆炸性增长，估算为0.6T/年。客服数据也会随时间增长，但增幅远小于话单数据，估算为0.6T/年。 存储估算600万为例客户资料数据相对稳定，以后随客户数量的添加而增长，其增幅也不大，估算为0.6T/年。总容量结合上述要素，总的存储空间为：(8.121T+0.6T*3*1.25=12.4T存储估算600万为例主机性能测算TPC-CTPC-C is an on-line transaction

30、 processing benchmarkTPC-HTPC-H is an ad-hoc, decision support benchmarkIt consists of a suite of business oriented ad-hoc queries and concurrent data modifications.The performance metric reported by TPC-H is called the TPC-H Composite Query-per-Hour Performance Metric (QphHSize)影响要素源主机源数据库网络带宽数据量主要

31、目的主机主要目的数据库主要HP Superdome + OracleIBM SP + DB2NCRSUN + Oracle特别提示 Oracle 9i Warehouse Builder Unleashing World Record Performance March 2002 采用HP Superdome + Oracle发布测试环境主机、数据库Database Information: Oracle 9.0.1.1 Enterprise Edition HP Superdome Enterprise Server: 64 552MHz PA-RISC 8600 CPUs each wit

32、h 512KB I-cache, 1MB D-cache. 128 GB Memory 64 PCI Fibre Channel 2X Card 1 HP 1000 BaseSX PCI Lan Adapter 4 SureStore E Disk Array XP512 (with a total of 744 18.2GB Disks) 1 High Availability Storage System (with a total of 3 9.1 GB 10K RPM LVD Disks) OS used is HP-UX 11.i 64-bit 测试环境数据量测试结果第一部分：公司引见第二部分：需求阐明第三部分：处理方案第四部分：实施和效力第五部分：系统演示第六部分：问题交流议程元数据驱动、螺旋上升的数据仓库构建的过程就是“建立元数据构造数据仓库/集市的不断循环、不断上升的过程 运营分析系统实施方法论元数据驱动信息模型分阶段实施由元数据进展一致的管理和协调