湖南联通经营分析系统讲稿

湖南联通经营分析系统讲稿交流内容介绍东方国信简介系统建设背景系统的建设方案数据仓库的建设信息服务平台组成数据挖掘交流与探讨2022/10/182一、公司介绍-基本情况北京中关村科技园区高新技术企业信息产业部软件企业认定证书主要客户群：电信运营商人员结构： 博士研究生：4%硕士研究生：16%

本科生：70%其他人员：10%技术状况 CRM/WorkFlow CallCenter/IVR/ACD/CTIOS:UNIX/WindowsDB:ORACLE/SYBASE/INFORMIX/SQLServerC++/DELPHI/JAVA/J2EE客户市场客户关系管理经营分析与决策支持计费帐务系统呼叫中心综合语音平台合作伙伴SAS/COGNOSSAP/SPSSIBM/MICROSOFT售前支持市场开拓产品营销产品开发产品测试质量管理服务体系工程实施客户保障辅助部门2022/10/183东方国信-市场情况客户关系管理经营分析与决策支持呼叫中心系统综合帐务系统综合语音平台长春办事处西安办事处内蒙办事处上海办事处办事处广州办事处办事处反应迅速，沟通及时2022/10/184东方国信-质量保证软件设计及质量保证：严格、详细的需求调研采用标准化软件设计方案详细的文档要求版本控制软件测试（综合性/模块性）阶段性评定2022/10/185东方国信-服务体系公司的生存：产品-客户-服务工程实施前期现场勘测，取得客户的现场情况工程界面的细分多工程组的并行实施，核心技术人员综合支持工程文件的交换与认定现场培训售后服务培训计划支持/现场服务承诺产品升级与更新双赢硬件-主机产品硬件-外设产品硬件-网络产品软件-数据库软件-中间件软件-统计分析东方国信客户服务中心客户关系管理系统综合计费帐务系统客户服务中心系统综合语音平台系统客户经营分析与决策支持2022/10/186联通公司面临的挑战

联通对统一经营信息的基本需求

统一经营信息服务平台建设的必要性

二、系统建设背景

2022/10/187WTO国外电信巨头行业背景—挑战市场2022/10/188三、系统建设方案硬件组网方案图主要服务器列表系统实际的物理主机系统外购软件物理承载服务器处理性能指标主机性能分析的一些知识ODS/ETL服务器性能分析DW/OLAP/WEB服务器性能分析系统存贮容量要求ODS存储容量要求

数据仓库存储容量估算整个数据仓库的容量2022/10/189硬件组网方案图2022/10/1810主要服务器列表按照完整的经营分析系统的建设，从逻辑上讲应用服务应包括：ETL服务ODS服务DW服务报表服务OLAP服务WEB服务元数据信息服务数据挖掘服务元数据信息和数据挖掘服务功能可以考虑在二期建设完成，其它服务功能在一期开始建设。2022/10/1811系统实际的物理主机2022/10/1812系统外购软件物理承载系统外购软件物理承载分布DW/ODS/ETL服务器承载软件数据库软件：如Oracle9i、SybaseASE+SybaseIQETL软件：如CAAdvantageDataTransformer、InformaticaPowerMart元数据管理软件：如CAAdvantageRepositoryOLAP/WEB/报表服务器承载软件OLAP软件：如CognosPowerPlayEnterpriseServerWEB/报表软件：CognosImpromptuWebReport2022/10/1813服务器处理性能指标服务器处理性能指标服务器处理能力应以未来3-5年考虑，到2003年底，全部业务的用户数估计达到250万，以此计算ETL/ODS/DW服务器的TPMC值接近4万，采用类似IBMM85或HPrp7410档次的小型机，比较符合未来发展的需要；从功能上分析，报表/OLAP/WEB服务的处理能力应大于或等于ETL/ODS/DW服务器的TPMC值，所以系统采用两台小型机来完成全部服务功能。2022/10/1814主机性能分析的一些知识TPMC衡量服务器处理处理能力（每秒钟处理事务的能力）配置的操作系统处理的数据估算应用的事务要求，来反推主机的要求主机TPMC值是通过实验手段取得的；特定配置的主机硬件特定配置的操作系统特定配置的数据库系统其配置中任何一项的变化都可能会对TPMC值有很大的影响TPC-H针对决策支持系统中的即席查询，应当采用TPC－H（每小时处理的性能）作为衡量主机处理能力的指标。这种指标处理是面向大量的即席查询和并发的数据修改操作。这种处理用户往往不知道要查询什么数据，不能对预见的数据进行优化工作。TPC-R它也是以每小时处理能力为计量单位的。这种指标是在用户知道要查询什么数据，并可以对可相应的数据表进行优化。

2022/10/1815ODS/DW/ETL服务器性能分析以详细话单汇总和分析为例来分析主机的性能。估算条件：(可以根据实际情况进行修改)总用户数按250万计算每天每用户按5个话单分析过程：每分钟处理： （用户数）250万*5/24/60≈8681峰值处理： 8681*2=17362需执行约8个SQL语句，则估算一个话单汇总处理业务相当的TPC-C值为：8*0.45/4=0.9TPC-C话单汇总和分析，的TPC-C值要求满足：17362*0.9≈15626假设其他经营分析的TPC-C总和与话单分析的TPC-C相等。15626*2=31252考虑25%的冗余（系统其它开销）：主机性能=31252*1.25=39065支持到2003年底的主机性能的TPC-C值约为39065ODS/ETL服务器完成的功能：

1.从源数据到ODS地抽取、清洁、转换和装载2.从ODS到DW地抽取、清洁、转换和装载3.在ODS中保存接近当前业务的数据

根据TPC-C的标准：tpmC值是根据标准模型中New-Order事务的处理数目来计算的一个New-Order事务由平均4-5个SQL语句处理完成整个测试的执行过程中，New-Order处理占45%。2022/10/1816报表/OLAP/WEB服务器性能分析DW/OLAP/WEB服务器主要完成的功能：1．数据仓库的数据存储2．对数据进行OLAP分析3．提供用户的连接4．提供WEB展现功能从功能上分析，该服务器既有OLAP处理，又有OLTP的处理。是两种应用的结合，因此，在性能的分析上，我们要进行了综合考虑。OLAP分析的时长是与数据量有一定的关系的，也就是数据量的增加，相应的分析时长也会增加。OLAP数据模型的生成要对数据库进行OLTP处理，所以该服务器的性能应大于或等于ODS/ETL服务器的TPC-C值。2022/10/1817系统存储容量要求系统存储容量系统目前建设的存储容量应先考虑到2003年底，到2003年底，联通全部业务的用户数估计达到250万，以此计算ODS/DW数据库的存储容量为2.837TB系统使用两台小型机采用双机群集方式运行，充分利用公司现有营帐的EMC8430，相应扩展其存储容量。2022/10/1818ODS存储容量的估算估算条件： 用户数(万)：250万 存储时间（月）：6月 调整因子：0.25

注：该用户数为联通全部业务（GSM,CDMA,193,165,固定网等）以GSM为准折合的用户数。序号项目存储单位（字节）存储期限（月）平均使用次数（天）平均包含子项计算公式结果(G)A话单存储20065存储单位*平均使用次数*30*存储期限419.10

B增值业务话单存储6064存储单位*平均使用次数*30*存储期限100.58

C月帐单存储426每月一次6存储单位*平均包含子项*存储期限3.52D用户资料存储105存储单位*用户数0.24

E用户资料变更存储6用户资料存储*10%*60.15

F用户服务使用存储419存储单位*平均包含子项*用户数0.86

G用户服务变更存储6用户服务使用存储*10%*60.52总计(A+B+C+D+E+F+G)*(1+调整因子)656.212022/10/1819数据仓库存储容量估算二、数据仓库存储容量估算：计算公式：(XY)Z*(Z*ZB+XYB)*T*WZ*S*SE公式因子解释平均取值X是平均维数：4Y是平均层次数：3Z是平均分类：4T是存储期限（年）：2XYB是维度量字节数30ZB是层次及分类度量字节数5W是维的有效压缩比0.4S是主题个数15SE是业务个数6数据仓库容量(G)=13142022/10/1820整个数据仓库的容量三、整个数据仓库的容量：ODS容量+数据仓库容量(G)=

656.21+1314=1970.21G系统因子系数：操作系统和数据库本身工作空间（需要考虑系统缓冲区、工作空间、索引、临时表等因素）0.2RAID5因子系数1.2系统的存储容量(G)=整个数据仓库容量*（1+系统因子系数）*RAID5因子数=2.837T系统的物理磁盘存储容量：2022/10/1821系统总体处理流程

数据格式检查数据系统管理数据装载至收集层收集层数据抽取、转换数据抽取、清洁、转换数据仓库数据装载标准报表数据文件/报表生成数据仓库接口

OLTP查询

OLAP统计报表综合型EIS报表总部标准数据文件/报表传输总部统一经营信息服务子系统生产系统数据ERP系统OA系统数据采集数据加载数据分析信息展现2022/10/1822外购软件分布CAAdvantageRepositoryExchangeforDB(Oracle,DB2,Informix….)CAAdvantageRepositoryExchangeforApplication(SQL,PowerBuilder,C++….)CAAdvantageRepositoryDataShopperOptionCAAdvantageRepositoryEngineforDistributedSystem元数据管理CAAdvantageDataTransformerETL工具Oracle9iDatabaseEnterpriseEdition数据仓库存储工具SybaseASE+SybaseIQInformatica2022/10/1823外购软件分布ImpromptuWebReportPowerPlayEnterpriseServerForUnix6.6ImpromptuAdministrator6.0

ImpromptuUser6.0

TransformationServerforUnix6.6

PowerPlayUser6.6前端分析展现工具2022/10/1824ETL工具的比较产品名称MicrosoftDTSDatastageSagentCAADTInformaticaOracleWarehouseBuilder东方国信ETL速度与吞吐能力低中中高高中中支持的数据格式：流行数据库、ODBC支持支持支持支持支持支持支持元数据支持//支持好支持支持/增量抽取能力不好中中好中中不好脚本支持能力支持支持支持支持支持支持支持计划任务支持支持支持支持支持支持支持支持告警提醒支持实时监控窗口支持支持支持支持支持运行平台WindowsWindowsUnixWindowsSolarisWindowsUnixWindowsunixWindowsWindows适用场合简单应用中等应用中等应用复杂应用复杂应用中等应用中等应用2022/10/1825前端工具软件介绍数据仓库前端展现工具的比较：主要是3个厂家的产品：BusinessObject,Brio,CognosPowerPlay。BusinessObject(BO)BrioCognos数据库支持全面全面全面操作系统支持全面中全面查询和报表支持支持支持OLAP分析优秀优秀非常优秀模型设计方便方便方便跨主题数据访问不支持支持支持时间序列分析不支持不支持支持对数学、统计、财务的支持（阶乘、方差、折旧等）良好良好优秀支持的浏览器好好好操作界面化良好优秀良好学习难度一般容易容易自编公式能力好好好支持脱机访问差好好厂商支持一般一般好2022/10/1826应用软件功能介绍1报表系统总部一类报表总部二类报表总部三类报表省分专业报表地市专业报表分支机构专业报表2022/10/1827应用软件功能介绍2业务信息分析营业信息分析计费信息分析缴费信息分析帐务信息分析结算信息分析客服信息分析代理商信息分析其它业务分析客户信息分析客户发展分析客户价值分析客户保持分析客户满意分析客户行为分析2022/10/1828应用软件功能介绍3元数据管理应用逻辑元数据管理商业元数据管理系统管理用户权限管理日常维护管理2022/10/1829备份策略元数据

全部数据文件备份缓冲区层数据

不备份ODS层数据

不备份仓库层的数据

维表：表空间整体备份（文件） 事实表：按月备份（磁带/文件）Cube数据 将Cube文件备份日志数据 将日志文件备份（一般只用于查看）2022/10/1830培训内容介绍-应用培训应用软件培训系统体系结构操作系统原理数据库及数据仓库知识系统硬件及组网技术系统配置管理工具软件的操作原理功能使用培训业务分析方法系统常见故障及解决方法基准软件培训体系结构与系统配置数据仓库模型ETL数据采集接口集成应用接口元数据管理软件开发人员的培训(高级培训)2022/10/1831原厂商培训原厂商培训Oracle产品培训Sybase产品培训CA产品培训Cognos产品培训Impromptu应用及管理PowerPlay数据探查报表PowerplayTransformer模型设计2022/10/1832工程实施计划进度表时间第一周第二周第三周第四周第五周第六周系统定货需求分析系统设计工程实施调试运行人员培训2022/10/1833工程实施计划细分第一阶段：系统定货阶段（包括与相关公司的配合）合同签定起，立即启动定货程序第二阶段：需求分析阶段（包括应用需求、流程调查）组建工程小组（东方国信10人，局方不少于2人）由工程小组（2人）、项目开发小组（5人）、行业专家（3人）、用户代表（不少于3人）等进行需求的细化形成需求分析书，做为工程初验时要实现的目标第三阶段：系统设计阶段工程小组开始实施（5人），项目开发小组（8人），行业专家（3人），用户代表（不少于2人），共同实施工程。第四阶段：工程实施阶段工程小组开始实施（12人），项目开发小组（4人），行业专家（2人），用户代表（不少于2人），共同实施工程。由测试小组（东方国信4人，局方不少于2人）进行系统测试第五阶段：调试试运行阶段（包括试运行和系统调整）工程小组开始实施（12人），项目开发小组（4人），行业专家（1人），用户代表（不少于3人），对工程的试运行进行观察与维护。第六阶段：系统维护人员培训阶段（包括正式运行、维护）东方国信培训讲师（4人）对局方操作人员、维护人员进行统一培训。2022/10/1834四、企业数据仓库的建立数据仓库的建立过程数据采集数据仓库装载生成产品的信息模型数据仓库信息模型操作数据存储（ODS）信息模型系统管理信息模型2022/10/1835数据仓库特点管理大量数据管理多介质索引/监视数据多种技术的接口设计者对数据存放位置的控制数据的并行存储/管理元数据管理语言接口数据的高效装入高效索引的利用数据压缩复合键码变长数据加锁管理单独索引处理快速恢复其他的技术特征2022/10/1836数据格式检查源数据清洁、抽取、转换ODS数据抽取、转换装载数据到DW数据封装成总部要求格式文件报表展现业务系统数据/外部数据DW数据抽取、转换DW数据生成报表装载数据到ODS数据文件传输产品数据流图2022/10/1837数据仓库的数据采集流程2022/10/1838数据仓库的数据加载流程2022/10/1839操作数据存储（ODS）信息模型客户基本资料客户定购资料营业模型套餐和优惠定购模型

帐务模型

资源管理模型

结算信息模型

客服信息模型

话单清单模型

……2022/10/1840数据仓库信息模型主题维表事实表2022/10/1841经营信息分析的主题帐务信息分析

计费信息分析缴费信息分析

结算信息分析营业信息分析客服信息分析代理商信息分析其它信息分析客户发展分析

客户构成分析客户价值分析

客户保持分析

客户行为分析

客户欠费分析

客户流失分析

客户服务分析

2022/10/1842系统管理信息模型日志管理信息模型安全管理信息模型系统监控信息模型数据采集/数据上报信息模型调度管理信息模型……2022/10/1843经营信息服务平台架构数据仓库OLAP模块报表/领导信息模块智能预测/规则分析企业用户WebInternet/Intranet信息门户2022/10/1844五、信息服务平台组成

报表模块综合查询应用企业级OLAP分析领导信息系统用户定制模块企

业

信

息

门

户智能分析模块2022/10/1845报表系统实现原理

2022/10/1846统计型报表数据ODS数据DW数据立方体统计型报表报表格式告警错误信息日志统计型报表数据生成/更新生成/更新统计型报表生成报表发布抽取数据报表元数据统计型报表的生成过程2022/10/1847分析型报表生成过程抽取数据立方体分析型报表报表格式告警错误信息日志立方体生成/更新分析型报表生成

立方体布署报表发布DW数据立方体元数据ODS数据表现方式钻取2022/10/1848报表发布传递动作：推和拉推邮件发送一个报表邮件文件服务器工作组级文件共享定时刷新定时运行报表刷新分布列表发送到选定的成员处最终用户标准报表拉Web流览器2022/10/1849报表的更新和维护数据仓库2022/10/1850领导决策信息系统综观全局的能力细致分析的能力快速方便的获取所需的信息针对高层管理人员的需求2022/10/1851综合查询服务

ODS相关数据请求接收用户权限信息结果显示告警错误信息日志权限控制

数据访问数据返回生产系统2022/10/1852元数据管理逻辑设计工具

数据仓库Oracle,SybaseSQL/Server,DB2/MVS元数据数据数据s集市Oracle,SybaseSQL/Server,DB2/MVS可操作的历史数据物理计划导入转化引入逻辑工具导入产品目录Oracle,SybaseSQL/ServerWCCModule元数据管理模块生产目录Oracle,SybaseSQL/Server图例元数据确认、同步升级2022/10/1853系统管理

元数据管理管理请求用户权限信息元数据告警错误信息日志用户权限管理系统监控系统接口管理系统日志管理接口资源信息报表管理归档/备份/恢复管理报表归档/备份/恢复条件配置2022/10/1854在数据中发现有价值的规则或者模式女性对市场活动做出回应，男性对市场活动不做出回应，和年龄无关六、什么是数据挖掘（一）？2022/10/1855数据变的复杂会如何？女性对市场活动做出回应，老年男性也可能对市场活动做出回应什么是数据挖掘？（二）2022/10/1856数据挖掘可以从异常复杂的数据中发现规律通过数据挖掘发现回应的5条规则：1、如果收入大于29622，有孩子，并且孩子的数量小于等于2，那么对市场活动会回应……通过数据挖掘发现不回应的5条规则：1、如果收入小于12640.3，并且有一个孩子，那么对市场活动不会回应……什么是数据挖掘？（三）2022/10/1857向60%的客户发信，得到了90%的收益数据挖掘的意义数据挖掘收益分析（一）2022/10/1858

数据挖掘以前数据挖掘以后差别