商务智能：IBM电信业商业智能解决方案

1、IBM电信业商业智能解决方案议程数据分析析与决策策支持系系统面临临的挑战战IBM商商业智智能解决决方案简简介IBM方方案优优势电信企业业的需要要帐务统计计收益分析析网络、基基站运维维分析绩效考核核客户关系系管理风险预测测市场竞争争分析.帐务统计计、分析析日、月统统计报表表月结算报报表营业收入入统计、分析资费来源源统计、分析业务量统统计、分分析.收益情况况分析收入总量量分析及及预测收入增量量分析及及预测ARPU分析及及预测收入结构构分析及及预测大客户收收入情况况分析及及预测客户交费费情况分分析及预预测客户欠费费情况及及其结构构分析及及预测新增客户户交/欠欠费情况况分析及及预测欠费回收收情况分分析

2、高额/欺欺诈分析析销账分析析市场竞争争分析市场占有有率分析析及预测测市场需求求分析及及预测竞争对手手发展情情况分析析及预测测各竞争对对手的市市场营销销分析供应商市市场行为为特征分分析合作商市市场行为为特性分分析业务发展展分析业务量发发展分析析及预测测业务增量量分析及及预测MOU分分析及预预测新业务使使用量分分析及预预测业务资源源使用特特征分析析及预测测大客户使使用业务务量的特特征分析析及预测测大客户使使用业务务的特征征分析及及预测流量和流流向特征征分析及及预测客户分析析客户总量量分析及及预测新增客户户分析及及预测客户净增增量分析析及预测测客户流失失量分析析及预测测客户转网网量分析析及预测测大客

3、户发发展分析析及预测测客户消费费能力分分析及预预测客户消费费习惯/爱好分分析及预预测客户户信用度度分析外来用户户分析模拟用户户分析储值卡用用户分析析潜在用户户分析零次用户户分析一户多卡卡用户分分析客户关系系管理及及市场策策略发现优秀秀客户发现易流流失客户户群调整产品品定价发现客户户行为模模式开发新产产品交叉销售售.网络、基基站分析析基站配置置与话务务量分布布情况分分析分析各时时段各基基站/交交换机的的负载情情况网络收益益分析网络容量量分析网络安全全分析热点小区区分析路由分析析等服务质量量分析客户服务务质量分分析客户服务务时限分分析客户咨询询查询焦点点分析客户投诉诉焦点分分析大客户服服务质量量分

4、析客户满意意度分析析客户忠诚诚度分析析营销管理理分析市场价格格分析营销渠道道作用分分析代销代办办酬金分分析营销人员员素质分分析营销宣传传市场效效果分析析促销行为为市场效效果分析析综合决策策分析决策取向向模拟分分析决策行为为市场操操作模拟拟分析决策行为为市场效效果模拟拟分析绩效考核核分公司绩绩效考核核营业部绩绩效考核核营业员绩绩效考核核.当前状态态计费系统网管系统财务系统营业系统统结算报表表CRM局长信息息系统挑战：信信息孤岛岛财务系统统市场促销销数据客户数据据营业数据据呼叫中心心数据建立数据据仓库、实施商商业智能能生产系统统数据仓库库OLAP智能挖掘掘如何实施施商业智智能分析的复杂度和价值统计

5、多维数据挖掘优化阶段 1 阶段 2 阶段 3 阶段 4 阶段 5分析的阶段数据集市数据仓库发现验证IBMBI解解决方方案产品品业务系统1业务系统2业务系统3业务系统n数据仓库管理器/数据库 Warehouse Manager/DB2 UDBDB2 OLAP Server报表工具QMFDB2 OLAP Server AnalyzerIntelligent Miner for Data其它应用IBMBI体体系结构构DB2 UDBDB2 UDBDB2 Warehouse Manager数据仓库管理器Meta DataDB2 OLAP ServerDB2/Warehouse Control Cente

6、rOLAP Server App ManagerOLAP Server Analysis Server客户端工具支持WEB决策支持工具和应用程序DB2 FamilyORACLEInformixSybaseSQL ServerIMS & VSAMFilesData Joiner DB2 Intelligent Miner for Data数据智能挖掘服务器什么是数数据仓库库数据仓库库是指从从业务数据据中创建信息数据据库，并针对对决策和分析进行优化化。数据仓库库中的信信息是面向主题题的、集成化的的、稳定的、随时间变变化的数据集集合，用用以支持持管理决决策的过过程。数据来自自多个数数据源，并整合合到

7、一个个数据库库中。在数据整整合的过过程中数数据要经经过聚合、摘要和清洗。不同的数数据用于于不同的的目的面向主题题集成比较稳定定包含历史史数据支持管理理决策面向应用用有限集成成经常更新新仅有当前前值支持日常常业务运运作业务数据据信息数据据业务数据据和信息息数据根根本不同同！TrustAccountsCheckingAccountsLoanAccountsLoanAccounts年月日Account History建立数据据仓库的的过程商业主题业务信息业务数据管理转换工具商业视图元数据成员映射商业视图Templates外部数据DB2DataWarehouse体体系结构构Log ServerKern

8、elDispatcherSchedulerClientsWarehouse ServerWarehouse AgentsDatabasesRelationalSourceDB2 TargetDataMessageMessageNon-RelSourceEnd UsersDataDataDataDataNT/2000, OS/2, AIX, Sun, OS/390, AS/400DDDLogEditionsConfigurationControlDatabaseDB2MetadataMetadataType titleType textFlat FilesData Warehouse Cente

9、rMessageNT/2000NT/2000 AgentNT/2000, AIX, SunIncluded with DB2 UDB数据仓库库代理(Agent)技术数据仓库库控制服服务器(Warehouse ControlServer)时间表启启动从控制数数据库中中获取商商业视图图定义启动代理理(通过过代理后台进程)循环:- 接受受和记录录结果- 更新新客户端端显示数据仓库库代理(Agent)响应VW管理器器循环:- 接受受命令- 执行行命令- 报告告状态DB2UDB高度并并行的海海量数据据库Cluster多个大缓冲区支持64位内存寻址内存管理单处理器对称多处理(SMP)Massively P

10、arallel Processor (MPP)增强的SMP并行支持MPP并行支持并行事务CPUSQLCPUSQLCPUSQLCPUSQL并行查询SQLCPUCPUCPUCPUSQLQueryQueryOptimizerBest Query PlanThreadedCodeCompile -TimeRun-TimeAgentAgentAgentPrefetchersSinglequeryinvolves1 coordinatingagentn subagentsmprefetchers(shared)Allexecuting in parallel on availableprocessorsC

11、ombinationof.Data parallelismEach agent works on subsetofdataData dynamically assigned so usernot required to partitiondataFunctional parallelism (pipelining)Each agent works on differentqueryfunction,e.g.scan,sortAlso enablesParallelIndexCreateParallelBackupand RestoreAllowsmultipleprocesses to rea

12、dorwritedatato/from thedatabaseParallelLOADExploitationofmultipleprocessorsduringload,particularly forparsing/converting/formattingdata节点内部部并行ParallelEdition -style(shared-nothing)Data parallelism throughhashpartitioningPartitions canbe.PhysicalonMPPorclusterLogical on SMPRun-TimeAgentPrefetchersAge

13、ntPrefetchersAgentPrefetchersnode 0node 1node nSQLQueryQueryOptimizerBest Query PlanThreadedCodeCompile -Time节点间并并行(数数据库分分区间并并行).SingleDatabaseViewParallelOptimizerUserQueryNode(CPU)Node(CPU)Node(CPU)Node(CPU)Shared-nothingsoftwarearchitecturesupportsIndependentphysicalnodesSeparateCPU, memory,and d

14、iskIncludingSMP nodesORMultiplelogical database partitionsonsingle large SMPServerInterpartitioncommunication is cross memory,not cross networkData is partitioned acrossnodesautomatically by hashingEverything operates in parallelSelectInsertUpdateDeleteBackup/restoreLoadCreateindexReorg充分利用用分区数数据库的的

15、能力SocialInsurance NumberNameLocation123-456-789JoeBostonTorontoPartitionKey value Hashedto:8VectorPosition0123456789101112.Node1231231231231.DB2DB2DB2PartitionMapDetermines homeforrowCanbeadjustedfor dataskewusingtheREDISTRIBUTE utilityHash分区和和分区映映射表BlendsbestofMPPand SMPstyleofparallelismIdealforSM

16、P clustersMost flexible hardware supportLeading EdgeQueryOptimizer!Run-Timenode 0AgentAgentAgentPrefetchersnode 1AgentAgentAgentPrefetchersnode 2AgentAgentAgentPrefetchersSQLQueryQueryOptimizerBest Query PlanThreadedCodeCompile -Time分区内及及分区间间并行DB2UDB:更更大的容容量表/视图图/列/别名长长度增加加名字更容容易记忆忆更容易移移植SQL语语句长度度可达

17、64KB更复杂的的查询和和分类(如数据据挖掘)由工具自自动生成成的语句句VARCHAR大小可可以达到到32KB更小依赖赖LONGVARCHAR，节省省空间并并提高性性能最大表/表空间间大小64GB/128GB/256GB/512GB可以生成成更大的的表而不不需要分分区(partition)索引字段段总长度度达1024byte可以对更更多/更更长的字字段加索索引DB2UDB:优优化技术术优化级别别0-9查询重写写增加隐含含的条件件一般条件件下压(pushdown)子查询该该为JOIN消除不必必要的JOIN将量化的的条件转转化为标标量子查查询将OR转转为IN将IN转转为JOIN视图合并并消除不必必

18、要的DISTINCT优化器扩扩展减少限制制RID列列表排序序IndexOring执行计划划分析避免Cartesian积增强的JOIN大小估估计非统一的的分布式式统计I/O统统计对随机和和顺序I/O不不同处理理锁优化可修正的的CPU和I/O成本本估算可更新的的目录统统计DB2UDB与商业业智能集集成新的统计计函数页面大小小：4KB,8KB,16KB,32KB更小的I/O，减少索索引的层层次优化器可可以利用用多个缓缓冲池(与页面面大小)更多的利利用星型型连接优优化利用星型型连接设设计的数数据库性性能更好好对数据仓仓库的增增强数据加载载过程中中自动建建立索引引LOAD TERMINATE/RESTA

19、RT选项LOAD时递增增的建立立索引利用LOADINSERT将数据据附加到到已经存存在数据据的表中中易用的管管理工具具DB2ConnectEnterprise EditionDRDA-CompliantServerData ReplicationCaptureApplyVisualAgefor JavaDB2ExtendersVisualExplainDevelopersClientConfigurationAssistantUsersDB2DiscoveryAdministratorCommand Center(GUI CLP)DB2UDB ServerDB2UDB ServerGovern

20、orControl CenterandUtilitiesPerformanceMonitorJobSchedulerPerformanceSmartGuideNetwork ConfigurationSmartGuideAdministrationServerSatelliteAdministration集成化的的图形界界面管理理工具Control CenterCommand CenterPerformanceMonitorPerformanceSmartGuideIndexSmartGuideOtherToolsIntegrated withthe DB2Control CenterDB2S

21、cript CenterAllowsuserstocreate andschedulescripts forregular database activitiesDB2JournalProvidesuserswith aviewofactivities which haveoccuredintheDBMSDB2LicenseCenterAllowsuserstomonitorlicense complianceDB2InformationCenterProvidesuserswith theentireDB2 UDBTechnicalLibraryonlineServerCommunicati

22、ons(Network) ConfigurationAssistantAutomatesset up of serverforcommunicationwith clientsClientConfigurationAssistantDatabaseconnection configurationand testingCanrequestthat DB2Discoverysearch networkfor databasesODBC administrationDB2DiscoverySearchesforDB2 serversand databasesover thenetworkReturn

23、s information required forconnection to clientDB2家家族产品品全全面解决决方案TCP/IPIPX/SPXNETBIOSDOSWINDOWSWinNTWin95Win98OS/2AIXHP-UXSCOSUNSolarisSNISINIXSGIIrixMACWebBrowsersClientsDB2for OS/400DB2for AIXDB2for OS/2DB2for HP-UXDB2for HP-UX 11.0DB2for SUNSolarisDB2for SINIXDB2for NTDB2for SCODB2for SCOUnixware7S

24、erversDB2ConnectDatajoinerNet.DataMiddlewareParallelComplexesDB2UDB EEEforAIXDB2UDB EEEforSUN SolarisDB2UDB EEEforWindowsNTDB2UDB forOS/390DB2for OS/400PersonalDB2for OS/2DB2for WinNTDB2for Win95DB2for Win98LotusApproachSatelliteEditionDB2EverywhereOracleSybaseInformixSQLServerIMSVSAMSourcesTivoliTM

25、E-10SatelliteEditionManagementHostsDB2UDB forOS/390DB2for VM andVSEDB2for OS/400TCP/IPSNAIPX/SPXWANCompleteSolutionsOnlineAnalyticalProcessing (OLAP)由IBM研究员员E.F.Codd提出，被业界界广泛采采用为计划和和分析优优化处理理多维视图图钻取切片满足用户户需求填补关系系型数据据库的不不足利用现有有投资后台交易易系统前台报表表系统OLAP:多多维分析析用维的方方法观察察数据产品，时时间，地地区，财财务指标标等数据模型型等同于于业务模模型结算分析归

26、属局被访局时间冲销结算北京上海天津北京广东.Q1Q4来访费用出访费用Q2Q3OLAP：多维维分析旋转：按按不同顺顺序组织织各个维维，对结结果进行行考察钻取：在在一个维维内部沿沿着从高高到低或或从低到到高的方方向考察察数据上钻下钻切片：在在确定某某些维数数据的情情况下对对其他维维进行观观察OLAP:多多维分析析时间归属局被访局2000年2000年1月2000年1月1日2000年1月2日2000年1月3日2000年2月考察一个个特定的的维时间维，包括每每一个归归属局到到各被访访局的冲冲销结算算关系钻取到下下面的层层次来考考察详细细情况OLAP：旋转转时间归属局被访局归属局被访局时间按照不同同的顺序

27、序组合维维，对数数据进行行考察OLAP：钻取取结算分析析时间归属局被访局冲销结算算199920002001北京上海.北京上海来访费用用出访费用用Q1Q2Q3Q4AprMayJun钻取到各各级数据据层次时间，年年，季，月，日日归属局，省局，地市OLAP：切片片时间归属局被访局时间被访局归属局一月份所所有归属属局对各各被访局局的冲销销结算关关系每个归属属局对被被访局北北京每个个月份的的冲销结结算关系系用切片的的方法从从不同的的角度观观察OLAPOLTPOLTP vs.OLAP：不同同的角色色纪录交易易情况有限的步步骤二维数据管理理数据处理理运行商业运作作确定任务务反复的过过程多维数据合并并信息综合

28、合推动商业计划划DB2UDB支持OLAP的高级级特性优化的SQL先进的基于成本的优化器(Starburst)查询重写图形化界面生成的低效SQL独特的星型连接算法ProductStoreMonth先进的索引技术110011101010111010111101101010101010110001101010101010On-Line Analytical ProcessingProductMonthStoreCube, Rollup 操作符表函数并行支持自动的摘要表复制的表IBMDB2 OLAPServer开放的系系统最终用户户OLAP工具具最终用户户查询/报表工工具易于实现现和管理理自动化的的数

29、据库库设计利用现有有的技能能和工具具系统管理理数据库管管理高度可伸伸缩性(Scalability)与IBM数据仓仓库体系系结合提供两种种存储方方式易于使用用的安全全权限限限制IBM DB2 OLAP Server EssbaseOLAPEngineIBMRelationalStorageInterfaceEssbaseMulti-dimensionalData Store开放的接接口标准准开放的应应用程序序接口和和工具C/C+API、JDBC、ODBC/CLIEmbeddedSQL、SQLJ、Java、C/C+、VB、Delphi/C+Builder、PowerBuilder 众多的客客户端工

30、工具DB2OLAPServerAnalyzerBusinessObjectBrioCognosExcel/Lotus123通用的运运行平台台AIXSolarisHP-UXWindows NT/2000LinuxS390AS400OLAP Server与数数据仓库库管理器器紧密集集成IBM的的数据仓仓库管理理器中带带有大量量与OLAPServer相关的的程序(vwp)：文件数据据加载到到OLAP数据库数数据加载载OLAP用文件数数据更新新维用数据库库数据更更新维计算用规则计计算客户可以以使用Web方方式访问问，不需需要安装装任何OLAP工具。Web浏览器应用服务器WWWOLAP Server数据

31、仓库TCP/IP客户端访访问和维维护完善的授授权机制制：应用程序序级数据库(Cube)级过滤器读、写、计算、设计权权限用户组图形化管管理界面面用户、权权限管理理完整的日日志纪录录数据挖掘掘数据仓库库选择的数据选择转换挖掘理解转换后的的数据可理解的的信息抽取的信信息一个过程程，从大大型数据据库中抽抽取以前前没有发发现，可可理解的的，可操操作的信信息，用用以支持持企业关关键性决决策。数据挖掘掘的典型型例子基于历史数据预测行为发现未知分群、规则和模式常用数据据挖掘算算法分为为三类Data Mining AlgorithmsNo PredictionPredictOne ThingTime Serie

32、s MatchingPredictEverythingAssociationsSequential PatternsDecision TreeRBFClassificationValue PredictionNeuralNeuralClusteringDemographicNeural常用数据据挖掘算算法Clustering (Segmentation)-nodependentvariableDemographicSegmentationNeuralSegmentation (Kohonen Map)Example:Identifycommon characteristicsina custo

33、mer database.Predictive/Classification Modeling-dependentvariableNonlinearregressionDecisiontreesNeuralnetworksRadial-basisfunctionsExample:PredictIBMsstockpricetomorrow.常用数据据挖掘算算法Link Analysis-transactiondataBasicassociations(or dissociation)Sequential associations(overtime)Example:Identifywhichfeaturesofaninsurance policysell together.Similar TimeSequence许多业务务问题可可以映射射到数据据挖掘技技术IntelligentMinerforDataV6.1IBMIntelligentMinerfor DataSequential PatternsAssociationsPredictive ModelingDeviation DetectionClusteringClassificationData Mining KernelsVisualization T