亚信的CRM方案介绍教学提纲_第1页
亚信的CRM方案介绍教学提纲_第2页
亚信的CRM方案介绍教学提纲_第3页
亚信的CRM方案介绍教学提纲_第4页
亚信的CRM方案介绍教学提纲_第5页
已阅读5页,还剩79页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

亚信的CRM方案介绍

产品介绍

ABaCus产品说明

AsiaINFO.

亚信科技(中国)有限公司

亚信科技(中国)有限公司

2010年6月20日

目录

1ABACUS产品概述............................................................7

1.1产品定义DEFINITION.....................................................................................................7

1.2总体功能结构.............................................................8

1.3实现技术架构............................................................10

1.4开发及运行环境..........................................................11

1.4.1主机...................................................................11

1.4.2网络...................................................................12

1.4.3存储....................................................................12

1.4.4案例....................................................................13

1.5产品性能................................................................17

1.5.1ABaCus产品性能开发策略.................................................17

1.5.2ABaCus产品性能数据存储策略............................................23

1.5.3ABaCus产品性能表现....................................................27

1.6名词术语................................................................28

2APPFRAME.......................................................................................................................29

2.1概述OVERVIEW...........................................................................................................30

2.2总体结构................................................................30

2.3WEBFRAME..................................................................................................................31

2.3.1概述overview......................................................................................................31

2.3.2功能functionality................................................................................................32

2.3.3其他相关relationship.........................................................................................34

2.4BLFRAME....................................................................................................................34

2.4.1概述overview.....................................................................................................34

2.4.2功能functionality................................................................................................35

2.4.3其他相关relationship.........................................................................................37

2.5OPFRAME...................................................................................................................37

2.5.1概述overview.....................................................................................................37

2.5.2功能functionality................................................................................................38

2.5.3其他相关relationship.........................................................................................38

2.6TLFRAME....................................................................................................................38

2.6.1概述overview.....................................................................................................38

2.6.2^^functionality................................................................................................39

2.6.3其他相关relationship.........................................................................................40

2.7模块间接口描述.........................................................40

2.8数据模型...............................................................41

2.9安装部署................................................................41

3COMFRAME.....................................................................................................................42

3.1概述...................................................................42

3.2总体结构................................................................43

3.3接口框架................................................................44

3.3.1客户端接口............................................................44

3.3.2IWorkflowHandle................................................................................................47

3.3.3ITaskHandle.......................................................................................................48

3.4淘呈定义APPSTUDIO..................................................................................................48

3.5流程调度与触.........................................................48

3.5.1服务注册和远程调用机制................................................48

3.5.2ComFrame管理界面....................................................48

3.5.3特殊任务处理机制.......................................................49

3.5.4分布式业务服务调用状................................................49

3.5.5Comframe-AutoForm自动表单系统......................................49

3.6扩展框架...............................................................50

3.6.1Comframe-Wrap呈引擎的封装........................................50

3.6.2Comframe-Wrap又寸流程定义的封装........................................50

3.6.3Comframe-WrapAPI调用的封装...........................................50

4BCE............................................................................................................................................51

4.1概述...................................................................51

4.2总体结构...............................................................52

4.3SECFRAME..................................................................................................................53

4.3.1概述。verView....................................................................................................53

4.3.2总体架构................................................................54

4.3.3主要功能................................................................55

4.3.4模块间接口描述.........................................................57

4.3.5数据模型................................................................60

4.3.6安装部署................................................................61

4.4OMFRAME..................................................................................................................61

4.4.1概述OverView....................................................................................................61

4.4.2总体架构............................................................62

4.4.3主体功能............................................................63

4.4.4模块间接口描述......................................................65

4.4.5数据模型............................................................70

4.4.6实施过程............................................................72

4.5PCE..........................................................................................................................72

4.5.1^OverView....................................................................................................72

4.5.2总体架构............................................................73

4.5.3主体功能............................................................75

4.5.4接口描述............................................................77

4.5.5数据模型............................................................79

4.5.6安装环境............................................................81

4.5.7实施过程............................................................82

总结.......................................................................83

1ABaCus产品概述

1.1产品定义definition

CRM系统总体流程包括三个方面的内容,即客户交互管理流程、市场与客

户洞察流程以及产品管理流程,正是这三大流程构成了客户营销支撑的基础。

通过对三大流程的梳理和分析,我们发现要使CRM系统真正符合客户需

求有三个方面的基础要求,其首要基础是要求有完备的数据和信息,这些数据

和信息包括最为重要的客户信息,运营商的产品信息,以及其他配置信息等。

基于这些数据和信息,运营商的的操作流程即是CRM系统所表现出来的功

能。不同运营商的操作流程差异较大,而且即便是同一运营商由于不同时期的

竞争市场环境的差异也会带来操作流程的变化,大多数的运营商的实际情况是

部门内的流程一般比较清晰,而跨部门流程往往比较模糊,随着时间,人员的

变化会不停作出调整,从根本上说,业务流程要求与组织技能进行动态的匹

配。这些因素,从根本上决定了CRM系统需要具备随需应变的特性。

传统项目开发模式往往不能适应CRM随需应变的特性,运营商需要的

CRM是一个能够随需应变的营销管理支撑平台,而不是"头痛医头,脚痛医

脚"的临时"现场功能开发服务"。基于统一的基础CRM技术开发平台,一

方面提高代码复用率,在减少工作量的同时提高系统适应需求变化的能力,另

一方面通过平台化的技术手段来增强系统的可管理性,保证在系统变化过程中

的稳定性。

Abacus是亚信公司研发中心在中国电信运营支撑系统市场长期从事CRM

系统建设、维护过程中逐步积累出来的一套CRM系统基础开发框架,他从不

同的运营企业复杂的CRM系统需求中,抽取稳定的功能构件,基于统一的技

术开发平台进行快速开发,把流程以及业务规则和主体的业务进行分离,把变

化抽取为模板进行管理,并通过底层面向SOA架构的实现,来保证CRM系统

的高扩展性和高稳定性。

1.2总体功能结构

Appframe.ComFrame的技术基础框架和BCE业务框架构建了新一代的

CRM基础开发框架—ABaCuso

A

ABaCus希望基于其构建的CRM系统能够像算盘的珠子一样充分结合发

挥巨大的作用,这个命名里A、B、C三个字母,A是AppFrame,是一套技术

开发平台,B是BCE,指的一系列基于SID模型构建的基础框架和基础构件,

C是ComFrame,和AppFrame相结合,提供全面的面向业务流程的开发能

力。下图是ABaCus的功能结构图:

ABaCus具有明显的特点:首先它真正实现了面向流程开发,他是一套具

备完整SOA理念的架构;其次ABaCus是一个业务组件的工厂,随着业务组

件的积累,功能构件被逐步地增加到BCE业务框架中,随着这些功能构件和配

置模板的逐步丰富,CRM产品化也就水到渠成。因此,ABaCus聚集了一系列

CRM系统实践的经验,基于ABaCus的CRM系统,将全面提升向运营商客户

交付解决方案的能力,缩短提交时间。

1.3实现技术架构

如下图:

ABaCus完全基于开放的J2EE技术构架,它通过定义一个基于构件的分

布式系统架构和一套服务,以即插即用的方式来开发、部署和修改CRM构

件。是一个松耦合、构件化的、分布式的、逐步演化的系统。

ABaCus是一个多层架构的系统,分为界面展现层,接入控制层,核心服

务层,数据访问层及数据储存层。

ABaCus提供和外部系统基于WEBSERVICE,CORBA,SOCKET,FTP等所

有方式的完全接口能力。

ABaCus通过自有开发平台提供的MONITOR功能提供系统完善的监控和

管理能力。

营业终端WEB客服其他外部接口

界面

界面定制展现控制数据处理

展现

|HTTP

接入阴文接触管理接入控制路由控制协议适无

数据

数据路由数据映射事物处理

访问

数据

存储

1.4开发及运行环境

141主机

ABaCus产品完全基于J2EE架构,其B/S结构的分布式系统架构,决定

了产品的平台无关性,即对主机类型以及操作系统类型无依赖关系。

目前ABaCus运行或者测试过的主机类型包括:

•WEB主机:HPRX小型机序列,HPRP小型机序列,HPBL刀片序

列,SUNFireV小型机序列,HPsd小型机序列;

•应用主机:SUNFireE小型机序列,SUNFireV小型机序列,HPRX

小型机序列,HPRP小型机序歹I」,HPBL刀片序列,HPsd小型机序

列;

•数据库主机:SUNFireE小型机序列,HPRX小型机序列,HPsd小

型机序列;

ABaCus产品对主机配置要求是根据运营商用户数量来进行估算的,根据

估算模型计算需要的tpmCo

1.4.2网络

ABaCus产品对网络的基本要求和建议如下:

•产品应用所需的网络能力根据处理量进行估算。

•从安全角度出发,建议WEB域、应用域、互联网域、接口域分离,通过防

火墙访问。

143存储

ABaCus产品对存储设备类型、存储网络结构没有依赖性,目前该产品所应用

的案例存储都是基于SAN网络结构的:

•应用中数据库主机、文件处理主机需要连接SAN存储网络,所有需要连接

SAN存储网络的生产系统主机,每台安装4块HBA卡,分别连接两台存储

交换机,这样既保证了性能,又保证了无任何单路径故障。实现主机到存

储路径的互相保护和工作量负载均衡。

•对于开发测试主机,因为对性能的要求不是太高,每台主机安装2块HBA

卡,分别连接两台存储交换机,这样保证了无任何单路径故障,同时可以

保证在一块硬盘损坏的时候数据的不丢失。

•所有需要利用磁带库进行文件系统或数据库备份的重要生产主机在之前的4

块HBA卡的基础上再安装一块HBA卡,用于系统备份的数据通道。

1.4.400

ABaCus产品在国内某省运营商实施情况。

运营商概况:

•用户数约5000万

•业务终端约15000个

•提供服务包括GSM,其他还包括TD-CDMA、LAN等

•CRM各渠道业务处理量约3.3亿次/月,包括销售代表终端、互联网自助服

务、CALLCENTER,短信、WAP等

CRM主机配置情况:

•应用主机:28台HPBL685cAMDCPU16*2.2GMEM64G

•WEB主机:40台HPBL460CIntel8*2.33G16G

•数据库主机:4台HPRP864032*1.6G192G;2台HPRP842024*1.1G

96G

CRM主机软件配置情况:

•主机操作系统一HP-UXV11.23

•高可用集群软件HPMC/ServiceGuard

•数据库软件-Oracle9i

•J2EE服务器软件-IBMWebSphereV6.1nd

•磁带库管理及备份软件一HPDataProtector

系统部署层次:

CRM系统采用WEB-EJB-DB的三层结构的方式部署。

•WEB层由40台刀片服务器组成,部署为10个集群。

•EJB层有24台刀片服务器组成,部署为12个集群。其中前5个集群提供

给WEB层访问,每两个WEB集群访问一个EJB集群。剩余的集群提供其

他应用访问。

•DB层采用RAC机制,按地市分为1,2两个中心,每个中心的数据库存储

一半地市的数据。这样每个中心的数据库RAC节点只需要对四分之一地市

的数据查询提供CPU计算能力。

数据库连接方式:

•数据库连接方式采用jdbc:oracle:thin驱动进行连接,使用apache的dbcp

和pool管理连接池,连接串采用关闭load_balance指定超时及重试次数的

failover方式。

•数据库事务采用lastresourcecommit(最近资源提交)的方式进行提交。

LRC是一种性能优化技术,因为XA驱动程序一般来说没有非XA驱动程序

效率高,而且由于网络通信量和磁盘IO,XA协议本身也给系统增加了开

销。

负载均衡:

•采用旧MWebsphere中间件管理的负载均衡方式,在初始化时配置了多个

vider.url连接串,由Websphere在运行中进行动态管理。

当其中一个EJB服务器出现问题时,Websphere集群管理器会自动发现异

常的EJB服务器,并且标识为

WLMKEY_SERVER_MARKED_UNUSABLE状态,直至服务器恢复正

常。这期间所有的EJB调用均不会发往异常的服务器上。

网络结构分为几个域:

•核心域:包含CRM应用/数据库服务器、在线/离线存储设备、核心

交换机和负载均衡交换机、主机心跳交换机和主机监控交换机;

•内部接口子域:包含接入交换机、防火墙、负载均衡交换机

•外部接口子域:包含接入交换机、防火墙、路由器

•维护终端子域:包含开发测试接入交换机、开发测试接入交换机

•开发测试子域:包含开发测试接入交换机、开发测试接入交换机

•WEB子域:包含接入交换机、防火墙、负载均衡交换机

•互联网子域:包含接入交换机、防火墙、负载均衡交换机

网络设备清单如下:

类型设备型号数量单台配置

核心域核心交换机

2*3000W电源(16A),双引擎,1*4口10GB的多模板卡

+4XENPAKS,1*480RJ-4510/100/1000板卡,1*48口GE板卡

交换机C65092

+48SFPs(多模),1*4口10G单模光接口板(长距)+10G长距

光模块

核心域CRM系统

2*3000W电源(16A),双引擎,1*4口10GB多模板卡+4

交换机C65092XENPAKs,2*48口RJ-4510/100/1000板卡,3*48口SFP光接

口板+130多模+14单模

双电源,双交换路由模块,1*480RJ-45电接口板,2*48端口干

交换机S65032兆以太网光接口业务板,2*SFP电接口模块+46*SFP多模光口模

2*1000W电源,单弓|擎,48口RJ-4510/100模块,2*48口GE

交换机C45031

电口板卡

生产维护系统

Eudemon自带两100M电口,1*8端口10OMRJ-45模块,2*2端口GE光

防火墙2

500口模块(带SFP),1*IP安全加密处理模块

2*1000W电源,单引擎,48口RJ-4510/100模块,2*48口GE

交换机C45031

电口板卡

开发测试系统

Eudemon自带两100M电口,1*8端口10OMRJ-45模块,2*2端口GE光

防火墙2

500口模块(带SFP),1*IP安全加密处理模块

双电源,双交换路由模块,1*48口RJ-45电接口板,2*48端口干

交换机S65032兆以太网光接口业务板,2*SFP电接口模块+46*SFP多模光口模

互联网接口域

双电源,1*系统管理单元,3*多业务安全业务单兀,3*4GE(SFP)

Eudemon

防火墙2接口板,8*光纤连接器-FC/PC-LC/PC-多模-2mm-10m,4*SFP电

8080

接口模块,4*SFP多模光接口模块,4*SFP单模光接口模块

2*2000W电源模块,双交换路由处理板,2*48端口千兆以太网光

交换机S85082

接口业务板,4*SFP电接口模块+92*SFP多模光口模块

2*4000W电源,双引擎,1*48端口SFP光接口卡+38多模

C6506+FW

防火墙2SFP+10单模SFP,1*48口3£电口板卡,2*77$6丫€;干\/71\?1-1-

SM

K9.

外部接口域

Eudemon自带两100M电口,1*8端口10OMRJ-45模块,2*2端口GE光

防火墙2

500口模块(带SFP),1*IP安全加密处理模块

2F000W电源,单弓|擎,48口RJ-4510/100模块,1*48口GE光

交换机C45032

板卡

防火墙ASA55502双电源,8GE+1FE,4*多模SFP

双电源,双路由交换板,1*4端口SFP光接口线路板_WAN,3*灵

路由器NE40-42活插卡线路板,6*8端口RJ45通道化E1灵活插卡,4*SFP多模

光口模块,8*光纤连接器-FC/PC-LC/PC-多模-2mm-10m

内部接口域

双电源,1*系统管理单元,3*多业务安全业务单元,3*4GE(SFP)

Eudemon

交换机2接口板,8*光纤连接器-FC/PC-LC/PC-多模-2mm-10m,4*SFP电

8080

接口模块,4*SFP多模光接口模块,4*SFP单模光接口模块

2*2000W电源模块,双交换路由处理板,2*48端口千兆以太网光

交换机S85082

接口业务板,4*SFP电接口模块+92*SFP多模光口模块

C6506+FW2*4000W电源,双引擎,1*48端口SFP光接口卡+38多模

交换机2

SMSFP+10单模SFP,1*48□GE电口板卡,2*WS-SVC-FWM-1-K9

存储设备清单如下:

设备名称数量设备配置

单台配置:实配裸盘容量80008GB,Raid0+1方式,有效

容量40004GB,cache容量72GB,548个146GB硬盘,

HPXP12000264个4Gbps光纤端口,冗余电源模块,1个机t巨(含1个

控制柜和2个磁盘柜),1个控制台(含鼠标/键盘/显示

器)

单台配置:实配非压缩可用容量300TB,12个LTO3驱动

HPESL712e1器,750个LTO3磁带,单盘容量400GB,7个4Gbps光

纤端口,冗余电源模块,1个机柜,1个控制台。

HPSANDirector4/2562光纤交换机扩容,单台配置:实配160个4Gbps端口

HPXP10241容量100TB

1.5产品性能

1.5.1ABaCus产品性能开发策略

1.5.1.1整体描述

•开发主要分为web、app服务层、da。、独立进程、接口程序、公共数据刷入、

路由决策技术层面。

•Web层次建立在web容器基础上,提供jsp、servlet和tag的能力。

•App服务层建立在ejb容器基础上,提供远程方法调用、线程池处理和事务管理

的能力。

•独立进程依托需要倒换的数据,进行跨库之间的数据倒换,主要是为了避免分布

式事务。

•接口程序建立在socket服务器的基础上,提供socket通讯和应用服务的能力。

•公共数据刷入提供静态数据刷入到各个分库和分中心数据库。

•路由决策分为选择和使用,在web端选择,在app和dao层次使用。

WEB层

•Web为所有B/S结构的入口点,应从web的各个角度和层次去优化和开发这些

代码,保证客户的体验度。

•使用粗粒度的服务调用,减少每次web响应到app层次的网络I0和对象序列

化。

•尽量使用分页等减少数据集的数据,避免大数据量对db、app和web的压力,也

能提高客户的体验度。

•不使用session保存业务数据,以免清除不即时和不彻底,导致web服务器内存

溢出。

•Web层不能直接调用dao和数据库层,更不能在web端直接操作数据库,为后

期的维护提供方便。

•路由决策分为选择和使用,在web端选择,在app和dao层次使用。

•Web需要路由的action采用BaseCenterAction,提供路由类型和路由数据,由

它决定中心和数据传递。

•URL使用带ContextPath方式的绝对地址,能提高部署的灵活性。

•减少页面的复杂度,不要一次性的把所有的功能点罗列在一个页面上,往往使用

的只是20%的页面功能,能减少网络10和应用服务器的压力。

•平台提供的tag,尽量不要使用直接初始化的方式,避免每次打开这个页面都需

要调用服务层,增大了页面响应的时间,增大了web和app服务器的压力。

•对于DS下拉数据源,所有静态的下拉数据源,全部采用静态方式,直接cache

在web端,减少页面响应时间。

•对于Set显示,尽量罗列需要显示的列,而不要把所有的列直接放置在tag里通

过隐藏的方式

•静态类型文件,比如:图片、js、css、htmkvbs等等,缩小每个文件的大小,

减少第一次访问页面的时候等待大量的时间,减少了web容器并发的响应能力

•缩小动态jsp文件的大小,减少网络传输的10。

•在action中避免使用同步变量和同步方法。

•对于在action中的缓存数据统一规划,避免想法和做法的疏忽导致web容器的性

能明显下降。

•所有代码中的日志采用先判断日志级别是否打开,在进行日志输出的方式,避免

每次都生成日志数据而不显示,减少对内存的开销。

APP服务层

•服务层的开发不使用和应用中间件相关的库,完全拆开开发与部署之间的耦合

性。

•服务层严格要求一个事务中仅仅只能操作一个数据库的物理连接,如果操作多个

物理数据库连接,在开发阶段就会出错。

•服务模块的定义在指定的package下,不能随意修改、更不能转移到别的模块

下。

•服务模块中的方法尽量采用粗粒度的方法,而不要一次调用一个服务,这个服务

再去批量的调用其它的服务。

•服务层的日志使用模式与web层一样,对于少量的采用info级别,调试采用

debug级别,错误采用error级别。

DAO

•dao层的开发完全基于数据库的表操作,脱离与具体业务相关的操作。

•对于超过500万行记录的表,在dao层次必须使用分表。

•每条sql必须使用绑定变量方式。

•sql必须使用表中的索引。

•尽量减少超大表之间的表关联查询。

•对于批量操作,采用批量提交的模式。

独立同步数据进程

•数据同步量很大,必须支持多进程和多线程的并发处理模式。

•数据同步表很多,所有的定义在公共数据库中。通过定时扫描同步影子表,去更

新真正物理表。影子表采用当前表和历史表配合使用。

•数据同步方式一定采用批量数据提交方式,抽取数据必有有行数限制,可以针对

优先级进行配置。

•由一个单独守护进程检查每个进程的执行情况,防止进程僵死后,部分数据分片

数据没有处理。

路由决策

•所有的路由决策在web端决定,在服务端使用。

•所有的路由数据全部加载在cache中,以提高性能。

•对于流水号和各种路由使用到的编码,由路由决策生成,各个模块使用。比如:

订单号、客户编码、帐户编码等。

socket接口

•采用基于J2EE的socket服务器。

•提供长连接和短连接的可配置方式。

•提供最大连接告警和连接超时可配置方式。

•提供协议格式和编码的配置化方式。

•提供i。方式和执行线程的配置化方式。

•Socket接口仅仅提供socket的发送包和响应包,实际业务过程由应用服务器完

成。

•帐务管理的缴费和充值业务过程融合在socket服务器中,提高实时响应的能力。

报表

•报表必须分散与业务系统的耦合。

•传统报表统计的时候去查询各个业务数据表,导致统计时间过长,影响业务的正

常办理。

改进报表统计实时业务办理的时候,插入或更新报表数据表,与报表数据

表耦合性很大。

异步报表统计,在办理业务的时候,插入报表统计接口表。后台进程去处

理接口表中需要处理的报表数据。本次建设建议采用异步方式,减少耦合性。

业务数据cache

•对于静态数据和准静态数据建议全部采用cache方式。

•cache的方式是如果没有数据,锁住对象,去数据库查询数据,装载数据进入内

存;查询cache的时候,没有任何的锁。

•cache的清除使用两种方式,定时清除和手工实时清除。

•cache的数据量必须在一定的范围内,避免每次垃圾回收对jvm的暂停的时间。

0产品数据cache

•初步预估产品的关系数据在300万左右,JVM的内存最大是2G,必须对关系数

据进行优化。

•对字段进行精简,把需要的字段加载到内存中。

•对字段类型进行优化,采用byte、short,int,long等原始类型,不要采用

BigDecimal类型。

•产品cache提供粗粒度和细粒度的返回数据的方式,减少网络I0和对象序列化

和反序列化造成的JVM的大压力。

1公共数据刷入

•为了提高对于静态数据关联查询的性能,需要将公共库中的静态数据定时的刷入

到营业库和帐务库。

•这块代码可以考虑采用存储过程。

•定时的每天由公共数据库刷入到各个需要静态数据库中,方式是增量比对的方

式。

151.12典型案例描述

•营业预占号码采用服务调用、实占号码采用同步表。

•营业插入营业数据库业务开通表,业务开通表倒换到统一开通表采用同步表。

•营业应用关联静态数据查询,直接从营业库的静态数据影子表关联查询。

•营业开户,使用权限服务、使用统一产品服务、插入营业数据库实例数据、订单

数据、开通数据、插入下发mdb数据、插入下发账管数据。

•帐务管理充值开通,操作帐务管理数据库账本表,生成缴费接口表记录,后台扫

描接口表,更新营业用户表和插入营业开通表。

1.5.2ABaCus产品性能数据存储策略

以oracle数据库为例。

•按照数据模型建立各个表空间。

•对于超过500万的数据表采用分表,并按照需要进行分区。

•合理的建立主表和影子表

•对于热表建立当前和历史表,要求更高的采用AB表的模式。

•合理的建立和使用索引。

•禁止使用dblink0

•少量的使用view..

•少量的使用存储过程。

面向性能、扩展性、维护性的数据分布策略:

>分库驱动力

>降低单库对于主机过高的要求

>降低数据全部集中在单库的风险,提供至少一半的可用性

>降低资源争用,提高系统性能

>便于企业建立数据中心

>分库影响

>提高了对于系统整体架构的能力

>提高了系统开发人员对于系统的了解能力

>增加了主机数量、数据库的license数量和维护的要求

>分库的方式

>纵向拆分:将数据库按照业务域进行拆分,例如:公共、产品、

权限、渠道、资源、erm、帐务、计费

>横向拆分:将数据库按照某一特性进行拆分,比如:erm用户资

料数据,按照地域进行拆分。对于某些数据,可以进行hash拆

>对于数据库的分库,大型或者超大型系统是必须要面对的,从以前的

scaleup到现在的scaleout,逐渐降低由于主机的限制带来的系统瓶

颈。数据库分库一旦实施完毕,对于系统的高可用和高性能提高了强有

力的保证,保证了系统的连续性,提升了企业的品牌和价值

>分表的目的:

>数据库中的大表(大于500万条数据)对于数据库本身的开销是非

常巨大的,系统往往最终的瓶颈在数据库的10±,如果将数据库

的10能很好的解决,系统的性能将会明显提高,稳定性增强和维

护的方便。

>Oracle数据库引入的了分区机制,在一定层面解决了庞大数据的

问题,如果应用一开始就采用分区,而不是从分表上解决问题,

将会缩小以后的数据清洗、数据整理以及日常维护的空间。同时

考虑采用OracleRAC的数据库,如果大量采用分区,由于本地

分区键的限制,可能会造成数据库级别的gcbufferbusy,这个是

数据库RAC的杀手。

>采用应用级别的分表,加上后期管理和维护的分区,将为DBA提

高很多的优化和修改的途径。将从物理上缩小单表的数据容量,

降低数据库10的压力。将为系统的分库、分中心带来极大的便

利。将为历史数据、陈旧数据以及新数据带来物理上的隔离,降

低维护的开销和失误,提高数据库的性能。

分表方式:按照地域属性、按照业务属性(ID、状态等等)、按照时间

属性,以及他们的组合

>地域:电信行业系统有着鲜明的特点,所有的用户都有着地域属

性,从省、地市到县区,用户地域很少进行交叉。所以对于大部

分的数据表可以按照地域属性进行分表(三户、订单、账单、资

金、资源等)这些模型都是可以依据地域属性悉进行分表。按照

地域分表后,对于全省业务或者地市关联业务要重点和仔细的考

虑,分表带来的业务和技术的冲击必须考虑清楚。

>业务属性:按照地域模型进行分表后,往往会存在大表,比如:

省会所在的城市,往往是本省经济最发达的地区,省会城市对应

的用户量可能占据了30%以上的用户量。对于这种情况,可以进

行二次分表,采用业务模型方式,按照用户ID的位数或者用户的

编码的Hash值等等进行分表。将省会城市的地域分表按照业务

的二次分表后,系统的稳定性也会提高。比如:B地市的某个表

损坏、执行计划错误影响范围仅仅在B地市,如果要维护B地市

的数据,也仅仅限于B地市,不会对其它地市有影响。

>时间:电信行业存在大量的历史数据或者陈旧数据,对于生产系

统而言,运行的数据环境应该是一个热数据环境。将数据按照时

间的属性进行区分,能极大的减少热数据的数据量,极大的提高

系统的性能。如账单数据、订单数据、业务操作日志、工单数据

等。所有这些数据都具备鲜明的特点,数据会随着每笔业务或者

每个周期增长,这些数据的增长积累到一定程度后,数据量将会

非常大,并且历史数据的存在增加了生产数据的各种压力。对于

这些数据应该进行时间属性的分表,提供系统的可维护性。

>组合方式:比如:用户的修改历史表,可以采用地市加上时间属

性进行分表。工单数据历史表,可以采用地市+状态+时间属性进

行分表。接触记录,可以采用地市+用户ID(Hash)+时间属性进

行分表。

>热表的处理:电信行业的系统,为了解耦和提高实时性,往往有很多接

口表或者工单表,这类表有个共同的特点,就是不停的插入数据,不停

的处理数据,处理完数据后删除数据。如果是一个线性的操作,那么这

类表的水位只取决于最大的流量,一般而言不会太大,几乎都是全表查

询。但是,当业务发生中断或者业务量突然增加,这类表的水位就会明

显增加,迅速的消耗数据库的资源。对于这类表,可以采用ab表,也就

是每天切换一个表(注意月底和月头,可能使用的是同一张表),人为的

将表进行切换,切换出来的表进行表收缩和表分析。我们在ab表的基础

上,进行了改进,采用每天一个分区,仅仅处理最近2天的数据,然后

结合告警监控2天以前的数据。ab表的处理需要人为干预,按天分区的

方式全自动方式。

>综述:Oracle数据库是个复杂、庞大的软件,对于oracle的使用应该从

开发和维护两个层面上进行,不光仅仅有维护的DBA,而应该从开发阶

段就应该介入,等到了维护的DBA的手中的时候,往往问题可能比较严

重,处理的方法或者方式比较复杂和麻烦。

1.5.3ABaCus产品性能表现

以1.4中所举案例为参照,主机性能表现:

•WEB主机:CPU平均利用率在5%左右,峰值利用率20%

•应用主机:CPU平均利用率在15%左右,峰值利用率20%

•数据库主机:CPU平均利用率在30%左右,峰值利用率60%

以1..4中所举案例为参照,业务量性能表现举例:

营业厅缴费业务受理的系统处理时限(从营业终端指令输入完毕到显示交

易响应信息所花费的时间):2秒。

营业厅产品订购业

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论