ibm商业智能解决方案简介

1、IBM电信业商业智能处理方案IBM企业软件部林南晖Telext 3909Email: linnh第1页议程数据分析与决议支持系统面临挑战IBM 商业智能处理方案介绍IBM 方案优势第2页电信企业需要帐务统计收益分析网络、基站运维分析绩效考评客户关系管理风险预测市场竞争分析.第3页帐务统计、分析日、月统计报表月结算报表营业收入统计、分析资费起源统计、分析业务量统计、分析.第4页收益情况分析收入总量分析及预测收入增量分析及预测ARPU分析及预测收入结构分析及预测大客户收入情况分析及预测客户交费情况分析及预测客户欠费情况及其结构分析及预测新增客户交/欠费情况分析及预测欠费

2、回收情况分析高额/欺诈分析销账分析 第5页市场竞争分析市场拥有率分析及预测市场需求分析及预测竞争对手发展情况分析及预测各竞争对手市场营销分析供给商市场行为特征分析合作商市场行为特征分析 第6页业务发展分析业务量发展分析及预测业务增量分析及预测MOU分析及预测新业务使用量分析及预测业务资源使用特征分析及预测大客户使用业务量特征分析及预测大客户使用业务特征分析及预测流量和流向特征分析及预测第7页客户分析客户总量分析及预测新增客户分析及预测客户净增量分析及预测客户流失量分析及预测客户转网量分析及预测大客户发展分析及预测客户消费能力分析及预测客户消费习惯/兴趣分析及预测客户信用度分析外来用户分析模拟用

3、户分析储值卡用户分析潜在用户分析零次用户分析一户多卡用户分析第8页客户关系管理及市场策略发觉优异客户发觉易流失客户群调整产品定价发觉客户行为模式开发新产品交叉销售.第9页网络、基站分析基站配置与话务量分布情况分析分析各时段各基站/交换机负载情况网络收益分析网络容量分析网络安全分析热点小区分析路由分析等第10页服务质量分析客户服务质量分析客户服务时限分析客户咨询查询焦点分析客户投诉焦点分析大客户服务质量分析客户满意度分析客户忠诚度分析 第11页营销管理分析市场价格分析营销渠道作用分析代销代办酬金分析营销人员素质分析营销宣传市场效果分析促销行为市场效果分析第12页综合决议分析决议取向模拟分析决议行

4、为市场操作模拟分析决议行为市场效果模拟分析第13页绩效考评分企业绩效考评营业部绩效考评营业员绩效考评.第14页当前状态计费系统网管系统财务系统营业系统结算报表CRM局长信息系统第15页挑战：信息孤岛财务系统市场促销数据客户数据营业数据呼叫中心数据第16页建立数据仓库、实施商业智能生产系统数据仓库OLAP智能挖掘第17页怎样实施商业智能分析复杂度和价值统计多维数据挖掘优化阶段 1 阶段 2 阶段 3 阶段 4 阶段 5分析阶段数据集市数据仓库发觉验证第18页IBM BI 处理方案产品业务系统1业务系统2业务系统3业务系统n数据仓库管理器/数据库 Warehouse Manager/DB2 UDB

5、DB2 OLAP Server报表工具QMFDB2 OLAP Server AnalyzerIntelligent Miner for Data其它应用第19页IBM BI体系结构DB2 UDBDB2 UDBDB2 Warehouse Manager数据仓库管理器Meta DataDB2 OLAP ServerDB2/Warehouse Control CenterOLAP Server App ManagerOLAP Server Analysis Server客户端工具支持WEB决议支持工具和应用程序DB2 FamilyORACLEInformixSybaseSQL ServerIMS &

6、 VSAMFilesData Joiner DB2 Intelligent Miner for Data数据智能挖掘服务器第20页什么是数据仓库数据仓库是指从业务数据中创建信息数据库，并针对决议和分析进行优化。 数据仓库中信息是面向主题、集成化、稳定、随时间改变数据集合，用以支持管理决议过程。数据来自多个数据源，并整合到一个数据库中。在数据整合过程中数据要经过聚合、摘要和清洗。第21页不一样数据用于不一样目标面向主题集成比较稳定包含历史数据支持管理决议面向应用有限集成经常更新仅有当前值支持日常业务运作业务数据信息数据业务数据和信息数据根本不一样！TrustAccountsCheckingAcc

7、ountsLoanAccountsLoanAccounts年月日Account History第22页建立数据仓库过程商业主题业务信息业务数据管理转换工具商业视图元数据组员映射商业视图Templates外部数据第23页DB2 Data Warehouse体系结构Log ServerKernelDispatcherSchedulerClientsWarehouse ServerWarehouse AgentsDatabasesRelationalSourceDB2 TargetDataMessageMessageNon-RelSourceEnd UsersDataDataDataDataNT/,

8、 OS/2, AIX, Sun, OS/390, AS/400DDDLogEditionsConfigurationControlDatabaseDB2MetadataMetadataType titleType textFlat FilesData Warehouse CenterMessageNT/NT/ AgentNT/, AIX, SunIncluded with DB2 UDB第24页数据仓库代理(Agent)技术数据仓库控制服务器(Warehouse Control Server)时间表开启从控制数据库中获取商业视图定义开启代理(经过代理后台进程)循环 : - 接收和统计结果 -

9、更新客户端显示数据仓库代理(Agent)响应VW管理器循环 : - 接收命令 - 执行命令 - 汇报状态第25页DB2 UDB高度并行海量数据库Cluster多个大缓冲区支持64位内存寻址内存管理单处理器对称多处理(SMP)Massively Parallel Processor (MPP)增强SMP并行支持MPP并行支持并行事务CPUSQLCPUSQLCPUSQLCPUSQL并行查询SQLCPUCPUCPUCPU第26页SQL QueryQuery OptimizerBest Query PlanThreaded CodeCompile -TimeRun - TimeAgentAgentAg

10、entPrefetchersSingle query involves1 coordinating agentn sub agentsm prefetchers (shared)All executing in parallel on available processorsCombination of.Data parallelismEach agent works on subset of dataData dynamically assigned so user not required to partition dataFunctional parallelism (pipelinin

11、g)Each agent works on different query function, e.g. scan, sortAlso enablesParallel Index CreateParallel Backup and RestoreAllows multiple processes to read or write data to/from the databaseParallel LOADExploitation of multiple processors during load, particularly for parsing/converting/formatting

12、data节点内部并行第27页Parallel Edition - style (shared-nothing) Data parallelism through hash partitioningPartitions can be. Physical on MPP or clusterLogical on SMPRun - TimeAgentPrefetchersAgentPrefetchersAgentPrefetchersnode 0node 1node nSQL QueryQuery OptimizerBest Query PlanThreaded CodeCompile -Time节点

13、间并行(数据库分区间并行)第28页.Single Database ViewParallel OptimizerUserQueryNode(CPU)Node(CPU)Node(CPU)Node(CPU)Shared-nothing software architecture supportsIndependent physical nodesSeparate CPU, memory, and diskIncluding SMP nodesORMultiple logical database partitions on single large SMP ServerInterpartition

14、 communication is cross memory, not cross networkData is partitioned across nodes automatically by hashingEverything operates in parallelSelectInsertUpdateDeleteBackup/restoreLoadCreate indexReorg充分利用分区数据库能力第29页Social Insurance NumberNameLocation123-456-789JoeBostonTorontoPartition Key value Hashed

15、to: 8VectorPosition0123456789101112.Node1231231231231.DB2DB2DB2Partition MapDetermines home for rowCan be adjusted for data skew using the REDISTRIBUTE utilityHash分区和分区映射表第30页Blends best of MPP and SMP style of parallelismIdeal for SMP clustersMost flexible hardware supportLeading Edge Query Optimiz

16、er!Run - Timenode 0AgentAgentAgentPrefetchersnode 1AgentAgentAgentPrefetchersnode 2AgentAgentAgentPrefetchersSQL QueryQuery OptimizerBest Query PlanThreaded CodeCompile -Time分区内及分区间并行第31页DB2 UDB: 更大容量表/视图/列/别名长度增加名字更轻易记忆更轻易移植SQL语句长度可达64KB更复杂查询和分类(如数据挖掘)由工具自动生成语句VARCHAR大小能够到达32KB更小依赖LONG VARCHAR，节约空间

17、并提升性能最大表/表空间大小64GB/128GB/256GB/512GB能够生成更大表而不需要分区(partition)索引字段总长度达1024byte能够对更多/更长字段加索引第32页DB2 UDB: 优化技术优化级别0-9查询重写增加隐含条件普通条件下压(pushdown)子查询该为JOIN消除无须要JOIN将量化条件转化为标量子查询将OR转为IN将IN转为JOIN视图合并消除无须要DISTINCT优化器扩展降低限制RID列表排序Index Oring执行计划分析防止Cartesian积增强JOIN大小预计非统一分布式统计I/O统计对随机和次序I/O不一样处理锁优化可修正CPU和I/O成本

18、估算可更新目录统计第33页DB2 UDB与商业智能集成新统计函数页面大小：4KB, 8KB, 16KB, 32KB更小I/O，降低索引层次优化器能够利用多个缓冲池(与页面大小)更多利用星型连接优化利用星型连接设计数据库性能更加好对数据仓库增强数据加载过程中自动建立索引LOAD TERMINATE/RESTART选项LOAD时递增建立索引利用LOAD INSERT将数据附加到已经存在数据表中第34页易用管理工具第35页DB2 Connect Enterprise EditionDRDA-Compliant ServerData ReplicationCaptureApplyVisualAge f

19、or JavaDB2 ExtendersVisual ExplainDevelopersClient Configuration AssistantUsersDB2 DiscoveryAdministratorCommand Center (GUI CLP) DB2 UDB ServerDB2 UDB ServerGovernorControl Center and Utilities Performance MonitorJob SchedulerPerformance SmartGuideNetwork Configuration SmartGuideAdministration Serv

20、erSatellite Administration集成化图形界面管理工具第36页Control Center第37页Command Center第38页Performance Monitor第39页Performance Smart Guide第40页Index SmartGuide第41页Other Tools Integrated with the DB2 Control CenterDB2 Script CenterAllows users to create and schedule scripts for regular database activitiesDB2 Journal

21、Provides users with a view of activities which have occured in the DBMSDB2 License CenterAllows users to monitor license complianceDB2 Information CenterProvides users with the entire DB2 UDB Technical Library onlineServer Communications (Network) Configuration AssistantAutomates set up of server fo

22、r communication with clientsClient Configuration AssistantDatabase connection configuration and testingCan request that DB2 Discovery search network for databases ODBC administrationDB2 DiscoverySearches for DB2 servers and databases over the networkReturns information required for connection to cli

23、ent 第42页DB2家族产品全方面处理方案TCP/IPIPX/SPXNETBIOSDOSWINDOWSWinNTWin95Win98OS/2AIXHP-UXSCOSUN SolarisSNI SINIXSGI IrixMACWeb BrowsersClientsDB2 for OS/400DB2 for AIXDB2 for OS/2DB2 for HP-UXDB2 for HP-UX 11.0DB2 for SUN SolarisDB2 for SINIXDB2 for NTDB2 for SCODB2 for SCO Unixware 7ServersDB2 ConnectDatajoi

24、nerNet.DataMiddlewareParallel ComplexesDB2 UDB EEE for AIXDB2 UDB EEE for SUN SolarisDB2 UDB EEE for Windows NTDB2 UDB for OS/390DB2 for OS/400PersonalDB2 for OS/2DB2 for WinNTDB2 for Win95DB2 for Win98Lotus ApproachSatellite EditionDB2 EverywhereOracleSybaseInformixSQL ServerIMS VSAMSourcesTivoli T

25、ME-10Satellite EditionManagementHostsDB2 UDB for OS/390DB2 for VM and VSEDB2 for OS/400TCP/IPSNAIPX/SPXWANCompleteSolutions第43页Online Analytical Processing (OLAP)由IBM研究员E.F. Codd提出，被业界广泛采取为计划和分析优化处理多维视图钻取切片满足用户需求填补关系型数据库不足利用现有投资后台交易系统前台报表系统第44页OLAP: 多维分析用维方法观察数据产品，时间，地域，财务指标等数据模型等同于业务模型结算分析归属局被访局时间冲

26、销结算北京上海天津北京广东.Q1Q4来访费用出访费用Q2Q3第45页OLAP：多维分析旋转：按不一样次序组织各个维，对结果进行考查钻取：在一个维内部沿着从高到低或从低到高方向考查数据上钻下钻切片：在确定一些维数据情况下对其它维进行观察第46页OLAP: 多维分析时间归属局被访局1月1月1日1月2日1月3日2月考查一个特定维时间维，包含每一个归属局到各被访局冲销结算关系钻取到下面层次来考查详细情况第47页OLAP：旋转时间归属局被访局归属局被访局时间按照不一样次序组合维，对数据进行考查第48页OLAP：钻取结算分析时间归属局被访局冲销结算1999北京上海.北京上海来访费用出访费用Q1Q2Q3Q4

27、AprMayJun钻取到各级数据层次时间，年，季，月，日归属局，省局，地市第49页OLAP：切片时间归属局被访局时间被访局归属局一月份全部归属局对各被访局冲销结算关系每个归属局对被访局北京每个月份冲销结算关系用切片方法从不一样角度观察第50页OLAPOLTPOLTP vs. OLAP：不一样角色纪录交易情况有限步骤二维数据管理数据处理运行商业运作确定任务重复过程多维数据合并信息综合推进商业计划第51页DB2 UDB支持OLAP高级特征优化SQL先进基于成本优化器(Starburst)查询重写图形化界面生成低效SQL独特星型连接算法ProductStoreMonth先进索引技术110011101

28、010111010111101101010101010110001101010101010On-Line Analytical ProcessingProductMonthStoreCube, Rollup 操作符表函数并行支持自动摘要表复制表第52页IBM DB2 OLAP Server开放系统最终用户OLAP工具最终用户查询/报表工具易于实现和管理自动化数据库设计利用现有技能和工具系统管理数据库管理高度可伸缩性(Scalability)与IBM数据仓库体系结合提供两种存放方式易于使用安全权限限制IBM DB2 OLAP Server EssbaseOLAPEngineIBMRelation

29、alStorageInterfaceEssbaseMulti-dimensionalData Store第53页开放接口标准开放应用程序接口和工具C/C+ API、JDBC、ODBC/CLIEmbedded SQL、SQLJ、Java、C/C+、VB、Delphi/C+ Builder、Power Builder 众多客户端工具DB2 OLAP Server AnalyzerBusiness ObjectBrioCognosExcel/Lotus 123第54页通用运行平台AIXSolarisHP-UXWindows NT/LinuxS390AS400第55页OLAP Server与数据仓库管

30、理器紧密集成IBM数据仓库管理器中带有大量与OLAP Server相关程序(vwp)：文件数据加载到OLAP数据库数据加载OLAP用文件数据更新维用数据库数据更新维计算用规则计算第56页 客户能够使用Web方式访问，不需要安装任何OLAP工具。Web浏览器应用服务器WWWOLAP Server数据仓库TCP/IP客户端访问和维护第57页完善授权机制：应用程序级数据库(Cube)级过滤器读、写、计算、设计权限用户组图形化管理界面用户、权限管理第58页完整日志纪录第59页数据挖掘数据仓库选择数据选择转换挖掘了解转换后数据可了解信息抽取信息一个过程，从大型数据库中抽取以前没有发觉，可了解，可操作信息

31、，用以支持企业关键性决议。第60页数据挖掘经典例子基于历史数据预测行为发觉未知分群、规则和模式第61页惯用数据挖掘算法分为三类Data Mining AlgorithmsNo PredictionPredictOne ThingTime Series MatchingPredictEverythingAssociationsSequential PatternsDecision TreeRBFClassificationValue PredictionNeuralNeuralClusteringDemographicNeural第62页惯用数据挖掘算法Clustering (Segmentat

32、ion) - no dependent variableDemographic SegmentationNeural Segmentation (Kohonen Map)Example: Identify common characteristics in a customer data base.Predictive/Classification Modeling - dependent variableNonlinear regressionDecision trees Neural networks Radial-basis functionsExample: Predict IBMs

33、stock price tomorrow.第63页惯用数据挖掘算法Link Analysis - transaction dataBasic associations (or dissociation)Sequential associations (over time)Example: Identify which features of an insurance policy sell together.Similar Time Sequence第64页许多业务问题能够映射到数据挖掘技术第65页Intelligent Miner for Data V6.1第66页IBM Intelligent Miner for DataSequential PatternsAssociationsPredictive ModelingDeviation DetectionClusteringClassificationData Mining KernelsVisuali