IBM电信业商业智能解决方案.ppt

1、IBM电信业商业智能解决方案,议程,数据分析与决策支持系统面临的挑战 IBM 商业智能解决方案简介 IBM 方案优势,电信企业的需要,帐务统计 收益分析 网络、基站运维分析 绩效考核 客户关系管理 风险预测 市场竞争分析 .,帐务统计、分析,日、月统计报表 月结算报表 营业收入统计、分析 资费来源统计、分析 业务量统计、分析 .,收益情况分析,收入总量分析及预测 收入增量分析及预测 ARPU分析及预测 收入结构分析及预测 大客户收入情况分析及预测 客户交费情况分析及预测 客户欠费情况及其结构分析及预测 新增客户交/欠费情况分析及预测 欠费回收情况分析 高额/欺诈分析 销账分析,市场竞争分析,市

2、场占有率分析及预测 市场需求分析及预测 竞争对手发展情况分析及预测 各竞争对手的市场营销分析 供应商市场行为特征分析 合作商市场行为特性分析,业务发展分析,业务量发展分析及预测 业务增量分析及预测 MOU分析及预测 新业务使用量分析及预测 业务资源使用特征分析及预测 大客户使用业务量的特征分析及预测 大客户使用业务的特征分析及预测 流量和流向特征分析及预测,客户分析,客户总量分析及预测 新增客户分析及预测 客户净增量分析及预测 客户流失量分析及预测 客户转网量分析及预测 大客户发展分析及预测 客户消费能力分析及预测 客户消费习惯/爱好分析及预测客户信用度分析 外来用户分析 模拟用户分析 储值卡

3、用户分析 潜在用户分析 零次用户分析 一户多卡用户分析,客户关系管理及市场策略,发现优秀客户 发现易流失客户群 调整产品定价 发现客户行为模式 开发新产品 交叉销售 .,网络、基站分析,基站配置与话务量分布情况分析 分析各时段各基站/交换机的负载情况 网络收益分析 网络容量分析 网络安全分析 热点小区分析 路由分析等,服务质量分析,客户服务质量分析 客户服务时限分析 客户咨询 查询焦点分析 客户投诉焦点分析 大客户服务质量分析 客户满意度分析 客户忠诚度分析,营销管理分析,市场价格分析 营销渠道作用分析 代销代办酬金分析 营销人员素质分析 营销宣传市场效果分析 促销行为市场效果分析,综合决策分

4、析,决策取向模拟分析 决策行为市场操作模拟分析 决策行为市场效果模拟分析,绩效考核,分公司绩效考核 营业部绩效考核 营业员绩效考核 .,当前状态,营业系统,结算报表,CRM,局长信息系统,挑战：信息孤岛,财务系统,市场促销数据,客户数据,营业数据,呼叫中心数据,建立数据仓库、实施商业智能,生产系统,数据仓库,OLAP,智能挖掘,如何实施商业智能,IBM BI 解决方案产品,IBM BI体系结构,什么是数据仓库,数据仓库是指从业务数据中创建信息数据库，并针对决策和分析进行优化。 数据仓库中的信息是面向主题的、集成化的、稳定的、随时间变化的数据集合，用以支持管理决策的过程。 数据来自多个数据源，并

5、整合到一个数据库中。 在数据整合的过程中数据要经过聚合、摘要和清洗。,不同的数据用于不同的目的,面向主题 集成 比较稳定 包含历史数据 支持管理决策,面向应用 有限集成 经常更新 仅有当前值 支持日常业务运作,业务数据,信息数据,业务数据和信息数据根本不同！,Trust Accounts,Checking Accounts,Loan Accounts,Loan Accounts,年,月,日,Account History,建立数据仓库的过程,DB2 Data Warehouse体系结构,数据仓库代理(Agent)技术,数据仓库控制服务器(Warehouse Control Server) 时间

6、表启动 从控制数据库中获取商业视图定义 启动代理(通过代理后台进程) 循环 : - 接受和记录结果 - 更新客户端显示,数据仓库代理(Agent) 响应VW管理器 循环 : - 接受命令 - 执行命令 - 报告状态,DB2 UDB高度并行的海量数据库,SQL Query,Query Optimizer,Best Query Plan,Threaded Code,Compile -Time,Run - Time,Agent,Agent,Agent,Prefetchers,Single query involves 1 coordinating agent n sub agents m prefe

7、tchers (shared) All executing in parallel on available processors Combination of. Data parallelism Each agent works on subset of data Data dynamically assigned so user not required to partition data Functional parallelism (pipelining) Each agent works on different query function, e.g. scan, sort Als

8、o enables Parallel Index Create Parallel Backup and Restore Allows multiple processes to read or write data to/from the database Parallel LOAD Exploitation of multiple processors during load, particularly for parsing/converting/formatting data,节点内部并行,Parallel Edition - style (shared-nothing) Data pa

9、rallelism through hash partitioning Partitions can be. Physical on MPP or cluster Logical on SMP,Run - Time,Agent,Prefetchers,Agent,Prefetchers,Agent,Prefetchers,node 0,node 1,node n,SQL Query,Query Optimizer,Best Query Plan,Threaded Code,Compile -Time,节点间并行(数据库分区间并行),.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.

10、,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,Single Database View,Parallel Optimizer,User Query,Node (CPU),Node (CPU),Node (CPU),Node (CPU),Shared-nothing software architecture supports Independent physical nodes Separate CPU, memory, and disk Incl

11、uding SMP nodes OR Multiple logical database partitions on single large SMP Server Interpartition communication is cross memory, not cross network Data is partitioned across nodes automatically by hashing Everything operates in parallel Select Insert Update Delete,Backup/restore Load Create index Re

12、org,充分利用分区数据库的能力,Social Insurance Number,Name,Location,123-456-789,JoeBoston,Toronto,Partition Key value Hashed to: 8,Vector Position,0,1,2,3,4,5,6,7,8,9,10,11,12,.,Node,1,2,3,1,2,3,1,2,3,1,2,3,1,.,DB2,DB2,DB2,Partition Map Determines home for row Can be adjusted for data skew using the REDISTRIBUTE

13、 utility,Hash分区和分区映射表,Blends best of MPP and SMP style of parallelism Ideal for SMP clusters Most flexible hardware support Leading Edge Query Optimizer!,Run - Time,node 0,Agent,Agent,Agent,Prefetchers,node 1,Agent,Agent,Agent,Prefetchers,node 2,Agent,Agent,Agent,Prefetchers,SQL Query,Query Optimize

14、r,Best Query Plan,Threaded Code,Compile -Time,分区内及分区间并行,DB2 UDB: 更大的容量,表/视图/列/别名长度增加 名字更容易记忆 更容易移植 SQL语句长度可达64KB 更复杂的查询和分类(如数据挖掘) 由工具自动生成的语句 VARCHAR大小可以达到32KB 更小依赖LONG VARCHAR，节省空间并提高性能 最大表/表空间大小64GB/128GB/256GB/512GB 可以生成更大的表而不需要分区(partition) 索引字段总长度达1024byte 可以对更多/更长的字段加索引,DB2 UDB: 优化技术,优化级别0-9 查询

15、重写 增加隐含的条件 一般条件下压(pushdown) 子查询该为JOIN 消除不必要的JOIN 将量化的条件转化为标量子查询 将OR转为IN 将IN转为JOIN 视图合并 消除不必要的DISTINCT,优化器扩展 减少限制 RID列表排序 Index Oring 执行计划分析 避免Cartesian积 增强的JOIN大小估计 非统一的分布式统计 I/O统计 对随机和顺序I/O不同处理 锁优化 可修正的CPU和I/O成本估算 可更新的目录统计,DB2 UDB与商业智能集成,新的统计函数 页面大小：4KB, 8KB, 16KB, 32KB 更小的I/O，减少索引的层次 优化器可以利用多个缓冲池(

16、与页面大小) 更多的利用星型连接优化 利用星型连接设计的数据库性能更好 对数据仓库的增强 数据加载过程中自动建立索引 LOAD TERMINATE/RESTART选项 LOAD时递增的建立索引 利用LOAD INSERT将数据附加到已经存在数据的表中,易用的管理工具,DB2 Connect Enterprise Edition,DRDA-Compliant Server,Data Replication Capture Apply,VisualAge for Java,DB2 Extenders,Visual Explain,Developers,Client Configuration As

17、sistant,Users,DB2 Discovery,Administrator,Command Center (GUI CLP),DB2 UDB Server,DB2 UDB Server,Governor,Control Center and Utilities,Performance Monitor,Job Scheduler,Performance SmartGuide,Network Configuration SmartGuide,Administration Server,Satellite Administration,集成化的图形界面管理工具,Control Center,

18、Command Center,Performance Monitor,Performance Smart Guide,Index SmartGuide,Other Tools Integrated with the DB2 Control Center,DB2 Script Center Allows users to create and schedule scripts for regular database activities DB2 Journal Provides users with a view of activities which have occured in the

19、DBMS DB2 License Center Allows users to monitor license compliance DB2 Information Center Provides users with the entire DB2 UDB Technical Library online Server Communications (Network) Configuration Assistant Automates set up of server for communication with clients Client Configuration Assistant D

20、atabase connection configuration and testing Can request that DB2 Discovery search network for databases ODBC administration DB2 Discovery Searches for DB2 servers and databases over the network Returns information required for connection to client,DB2家族产品全面解决方案,TCP/IP IPX/SPX NETBIOS,DOS WINDOWS Wi

21、nNT Win95 Win98 OS/2 AIX HP-UX SCO SUN Solaris SNI SINIX SGI Irix MAC Web Browsers,Clients,DB2 for OS/400 DB2 for AIX DB2 for OS/2 DB2 for HP-UX DB2 for HP-UX 11.0 DB2 for SUN Solaris DB2 for SINIX DB2 for NT DB2 for SCO DB2 for SCO Unixware 7,Servers,DB2 Connect Datajoiner Net.Data,Middleware,Paral

22、lel Complexes,DB2 UDB EEE for AIX DB2 UDB EEE for SUN Solaris DB2 UDB EEE for Windows NT DB2 UDB for OS/390 DB2 for OS/400,Personal,DB2 for OS/2 DB2 for WinNT DB2 for Win95 DB2 for Win98 Lotus Approach Satellite Edition DB2 Everywhere,Oracle Sybase Informix SQL Server IMS VSAM,Sources,Tivoli TME-10

23、Satellite Edition,Management,Hosts,DB2 UDB for OS/390 DB2 for VM and VSE DB2 for OS/400,TCP/IP SNA IPX/SPX,WAN,Complete Solutions,Online Analytical Processing (OLAP),由IBM研究员E.F. Codd提出，被业界广泛采用 为计划和分析优化处理 多维视图 钻取 切片 满足用户需求 填补关系型数据库的不足 利用现有投资 后台交易系统 前台报表系统,OLAP: 多维分析,用维的方法观察数据 产品，时间，地区，财务指标等 数据模型等同于业务

24、模型,OLAP：多维分析,旋转：按不同顺序组织各个维，对结果进行考察 钻取：在一个维内部沿着从高到低或从低到高的方向考察数据 上钻 下钻 切片：在确定某些维数据的情况下对其他维进行观察,OLAP: 多维分析,考察一个特定的维 时间维，包括每一个归属局到各被访局的冲销结算关系 钻取到下面的层次来考察详细情况,OLAP：旋转,按照不同的顺序组合维，对数据进行考察,OLAP：钻取,结算分析,时间,归属局,被访局,冲销结算,1999,2000,2001,北京,上海,.,北京,上海,来访费用,出访费用,Q1,Q2,Q3,Q4,Apr,May,Jun,钻取到各级数据层次 时间，年，季，月，日 归属局，省局

25、，地市,OLAP：切片,时间,归属局,被访局,时间,被访局,归属局,一月份所有归属局对各被访局的冲销结算关系,每个归属局对被访局北京每个月份的冲销结算关系,用切片的方法从不同的角度观察,OLAP,OLTP,OLTP vs. OLAP：不同的角色,纪录交易情况 有限的步骤 二维 数据管理 数据处理 运行 商业运作,确定任务 反复的过程 多维 数据合并 信息综合 推动 商业计划,DB2 UDB支持OLAP的高级特性,IBM DB2 OLAP Server,开放的系统 最终用户OLAP工具 最终用户查询/报表工具 易于实现和管理 自动化的数据库设计 利用现有的技能和工具 系统管理 数据库管理 高度可

26、伸缩性(Scalability) 与IBM数据仓库体系结合 提供两种存储方式 易于使用的安全权限限制,开放的接口标准,开放的应用程序接口和工具 C/C+ API、JDBC、ODBC/CLI Embedded SQL、SQLJ、Java、C/C+、VB、Delphi/C+ Builder、Power Builder 众多的客户端工具 DB2 OLAP Server Analyzer Business Object Brio Cognos Excel/Lotus 123 ,通用的运行平台,AIX Solaris HP-UX Windows NT/2000 Linux S390 AS400,OLAP

27、 Server与数据仓库管理器紧密集成,IBM的数据仓库管理器中带有大量与OLAP Server相关的程序(vwp)： 文件数据加载到OLAP 数据库数据加载OLAP 用文件数据更新维 用数据库数据更新维 计算 用规则计算,客户可以使用Web方式访问，不需要安装任何OLAP工具。,客户端访问和维护,完善的授权机制： 应用程序级 数据库(Cube)级 过滤器 读、写、计算、设计权限 用户组 图形化管理界面,用户、权限管理,完整的日志纪录,数据挖掘,数据仓库,选择的 数据,选择,转换,挖掘,转换后的数据,可理解的信息,抽取的信息,一个过程，从大型数据库中抽取以前没有发现，可理解的，可操作的信息，用以支持企业关键性决策。,数据挖掘的典型例子,常用数据挖掘算法分为三类,常用数据挖掘算法,Clustering (Segmentation) - no dependent variable Demographic Segmentation Neural Segmentation (Kohonen Map) Example: Identify common characteristics in a customer da