广东移动自营业务数据库云平台方案V5.0

广东移动自营业务数据库云平台方案V5.0Oracle销售顾问部和企业架构部项目背景–自营业务云平台广东移动数年前已经开始建立内部的云计算平台，以降低维护成本，和实现资源的动态调配在操作系统以及应用层面，目前已经采用云技术进行虚拟化和资源的动态分配数据库建设方式目前是每个系统单独建立自己的数据库，数据库不放在虚拟服务器中，每个数据库之间不能共享计算资源项目需求–建立数据库云技术架构建立一个数据库云技术架构，降低应用数据库建设成本，便于集中管理和维护新建立的数据库云技术架构需要实现系统之间的数据隔离，实现资源的动态调配，保障每个应用在使用数据库的时候获得充足的计算资源新建立的数据库云技术架构是易于扩展的，并可以连续提供数据库服务，满足每个应用的服务承诺DBaaSVs传统IT操作传统的应用开发

(管理驱动)PaaS部署方式

(最终用户驱动)指明并获得

硬件资源硬件资源配置部署硬件资源部署中间件

和数据库部署应用

并且进行配置按需增加硬件资源

并进行重配置通过云

申请数据库部署根据需求的改变调整容量/生产力Self-ServiceProvisioning不再使用的

应用程序可以撤除MiddlewareOS/MachinesDatabaseDEPLOYMENTPORTAL底层基础架构

对用户透明Databases数据库云技术架构发展方向建议当前DBaaSEXADATAOSERPDWCRMOSDBSchema/DatabaseShareddatabaseschemas

/Sharedatabases云服务平台总体架构示意

应用层、数据库层和存储层应用层数据库层存储层云服务平台总体架构示意

应用层和数据库层应用层数据库层云服务平台总体架构示意

数据库层和存储层数据库层存储层SOX

数据库电子报账平台

数据库开源报表

数据库OA

数据库IT服务

数据库人力资源

数据库财务集中

数据库资产管理数据基建工程数据新应用

数据图示系统仅为举例云服务平台总体架构示意（远期规划）

应用层、数据库层和存储层应用层数据库层+存储层数据库云平台架构优势资源整合-数据库云平台充分可以充分利用整合的数据库服务器以及存储资源，并兼顾服务器和存储容灾提升性能-数据库服务器使用真实的物理CPU、内存和网卡，减少虚拟化损耗集中管理-

实现数据库的集中监控，并根据监控结果适时调整资源分配方便伸缩-云平台中的节点增删都是相当方便的，几乎不影响当前应用以及数据库的运行数据隔离-各个应用数据在云平台中是相互隔离的，用户之间不能查看没有经过授权的数据数据库云平台使用的Oracle软件资源申请分配自服务门户统一监控/操作/快速部署平台中央软件库OracleClusterware11g提供OracleCluster提供OracleAutomaticStorageManagementOracleDatabase11gRealApplicationClustersPartitioningetc.OracleEM12c在云平台中的作用

完全涵盖应用生命周期的所有阶段规划设置构建测试部署监视管理计量和计费优化自营业务数据库云平台

识别所有IT资产决定应用程序、成本模型、策略、角色等数据库整合规划集群、数据库等基础架构设置设置共享服务应用程序测试（ATS）数据库测试（RAT）数据库部署模板测试数据库脱敏（DataMasking）创建数据子集（Subsetting）自助式资源管理云资源和请求监视

应用程序到磁盘的体系管理集中时间和配置管理最终用户、业务级、应用程序监视计量资源利用和云使用选择性地想应用程序所有者、最终用户和/或业务部门收费优化云性能、容量、QOS、敏捷性、地理位置、人员、成本等OracleEM12c在云平台中的作用

完全涵盖应用生命周期的所有阶段OracleEM12c在云平台中的作用

完全涵盖应用生命周期的所有阶段DBaaS的两种常用方式

可以在一个数据库集群里面包含这些实现方式SchemaasaService各个应用数据在数据库中以不同的schema/用户分隔各个应用采用不同的服务名（ServiceName）连接数据库数据库可以对不同的服务进行资源管理，如CPU时间，内存分配等适用于数据量不大、服务承诺级别较低、重要性偏低、资源消耗较少的系统进行整合DatabaseasaService各个应用数据分别存放在独立的数据库中各个应用数据有自己的数据库连接串数据库可以控制使用当前服务器的CPU和内存资源适用于数据量较大、服务承诺级别较高、重要性偏高、资源消耗较大的系统SchemaasaServiceSchema层多个SCHEMA共享数据库资源依赖于RAC统一操作系统平台最高整合粒度：服务器、存储、OS、数据库实例最高性能：最少数据库实例最高ROI：但是需要应用配合改造OSOSDBCluster采编平台报表管理平台、展现平台StoragePool数据库服务器资源池与存储资源池

DatabaseServerPools

&StoragePools数据库云平台综合告警

Service

综合资源ServiceOSS服务器池CRMServiceBSS服务器资源池MSS服务器池空闲资源池DatabaseADatabaseBERPService通过业务策略动态管理数据库服务资源可以通过制定最大资源、最小资源、重要程度策略等，动态管理服务可用性和服务质量统一管理跨大规模、多主机的复杂数据库环境，易于实现“大分小”和“下合大”两种资源管理需求HRServiceCallCenterService帐务Service在资源池内灵活定义服务资源分配计划OSSBSSMSSFreeOSSBSSMSSFreeRACOneNodeDcpu_count=1RACOneNodeCcpu_count=1RACOneNodeBcpu_count=2RACOneNodeAcpu_count=48coreserver数据库资源池存储资源池Instance

Caging技术灵活隔离数据库实例19Instancecaging允许管理员限制每个例程使用的CPU资源可以防止运行在一个例程中的失控进程影响到运行在服务器上的其它例程当数据库运行时可以动态调整.•参数cpu_count•支持分割方式和过度配置与ResourceManager一起工作ShareasSchema关键点分析CPU资源数据库中通过ResourceManager对每个应用使用的CPU资源进行控制IO能力数据库中通过ResourceManager对每个应用使用的IO资源进行控制（11g新功能，只在Exadata或者Oracle存储设备上提供）数据隔离应用数据存放于同一个数据库中，数据在Schema层面被隔离。如果没有经过授权，数据库用户只能访问自己Schema中的内容，而不能访问其他数据库用户下的Schema内容。如果应用程序之间存在数据交互，可以对用户Schema中的对象单独进行访问授权ShareasSchema关键点分析存储划分所有的存储都划分给单一的数据库，数据库通过ASM进行存储管理，分散IO，以及制定冗余策略添加新应用在数据库中创建新的用户Schema，提供所使用的数据库空间资源，并使用ResourceManager进行计算资源规划数据库管理通过EnterpriseManager进行集中管理分配计算资源的场景

在现有数据库中分配计算资源vs新建独立的数据库一个新应用需要申请数据库计算资源，在目前Oracle11g数据库的平台上一般会有两种方法：应用数据将使用现有数据库的一个新用户存放（SchemaasaService）应用数据将使用数据库集群中新建的独立数据库来存放数据（DatabaseasaService）建议应用使用数据库的服务来进行数据库的连接，一个应用可以对应一个数据库服务，也可以多个类似的应用对应一个数据库服务分配计算资源的场景

在现有数据库中分配计算资源vs新建独立的数据库使用哪种方式来分配资源的影响因素应用数据规模需要考量应用的初始数据规模，以及估计的日增/月增数据量。如果应用的初始数据规模已经是超百GB级别，可以考虑单独建立数据库方式系统承诺的服务时间有些应用的服务承诺是7×24小时，有些则是5×8，不同服务承诺的应用不建议整合在一起。可以考虑一开始的时候就做两个数据库，用于整合两种不同服务承诺的小型数据库应用使用数据库用户/schema的数量一般数据量不大的小型应用是不需要使用很多数据库用户/schema的，在做整合的时候需要考虑是否与现有的用户/schema重名，出现重名情况可以协调新应用进行简单修改即可。如果一个应用使用了很多的数据库用户/schema，则需要考虑单独建立数据库方式云平台现时设置的两种数据库服务级别

测试阶段根据自营业务特征设计服务等级铜牌银牌整合粒度应用数据以新用户/schema整合到现有数据库中新建独立数据库存放应用数据DB/HA单节点

(集群保障HA)单节点或RAC可靠性90%99%存储在RAID0+1上的ASM在RAID0+1上的ASM性能要求可接受较高备份整个整合的数据库统一进行RMAN备份整个数据库进行RMAN备份恢复可以在统一的备份集中恢复出单个用户数据进行整个数据库恢复数据导入导出用户可以导入导出本用户以及授权访问的数据数据可以导入导出限制条件▪用户不能进行数据库集群操作

▪用户不能进行数据库起停操作

▪用户不具有DBA权限，不能进行数据库管理方面操作

▪在没有其他用户授权的情况下，用户不能查看其他用户的数据

▪用户可以导出（exp/expdp）自己以及授权访问的数据，但不能进行数据库备份，如果用户需要从备份集中恢复数据，需要经过集群DBA操作获得▪不能进行数据库集群操作

▪建议留给局方进行统一的数据库管理、备份等操作云平台现时设置的数据库规模级别

测试阶段根据自营业务特征设计在新的应用需要分配数据库资源的时候，综合考虑应用的规模等级小型/中型/大型数据库资源分配等级铜牌/银牌通过EM12c进行统一的资源申请和资源快速分配提供等级CPU

核数内存存储小型212GB最小200GB中型424GB最小300GB大型848GB最小400GB分配计算资源的场景

在现有数据库中分配计算资源vs新建独立的数据库可以使用下面的表格来进行新增应用的调研，从而决定是在现有数据库中分配计算资源，还是新建独立的数据库应用申请填写应用名开发商服务承诺

（7×24/5×8/其他）最终用户数最长停机时间初始数据规模

（GB）估计月增规模

（GB）使用中间件连接（3-tier）

/直接连接数据库(CS)数据库用户/

schema测试环境

/原运行环境

CPU数目和内存数量压力测试

/原运行

CPU峰值是否需要访问数据视图

分配计算资源的场景

在现有数据库中分配计算资源vs新建独立的数据库对调研的结果进行评估应用评估填写资源提供方式□

在当前数据库中分配计算资源（SchemaasaService）□

在集群中新建数据库（DatabaseasaService）审核原因□

较低的服务承诺级别

□

近期数据量规模较低

□

压力测试/原运行资源消耗较低□

应用需要很高隔离度

□

数据规模较高

□

应用使用大量数据库用户且无法减少

□

压力测试/原运行资源消耗比较高

□

服务承诺级别很高数据库名□

7×24数据库

新建数据库名

□

5×8数据库

数据库服务名

数据库用户名

数据库表空间及分配空间

服务资源控制

CPU数目控制

铜牌资源服务分配在EM12c中，通过预先设计好的服务模板，可以实现在现有数据库中快速分配用户/schema资源，其中需要填入的信息在现有的哪个数据库实例上创建新用户/schema选择已经创建好的新建schema服务模板资源区域（Zone）名数据库服务（Service）名用户/schame名字以及密码资源控制信息（CPU和内存的配比）详情参见《EM12c_在现有数据库中申请计算资源.docx》银牌资源服务分配在EM12c中，通过预先设计好的服务模板，可以实现在现有数据库集群中快速创建新的数据库，其中需要填入的信息选择已经创建好的新建数据库模板资源区域（Zone）名操作系统用户名/密码新建数据库名字新建数据库选件数据库资源控制参数（如CPU_COUNT等）详情参见《EM12c_申请一个新的数据库.docx》DBaaS整合架构

EM12c支持的数据库版本从10gR2到12c虚拟机共享服务器专用的schema共享服务器，

操作系统和数据库加强整合力度专用的数据库共享服务器和

操作系统可插拔数据库共享服务器，

操作系统和数据库四种整合架构的比较虚拟机专用数据库专用Schema可插拔数据库整合程度低高极高极高维护非常复杂

（VM分配比较杂乱）简单简单到复杂

（视资源隔离需求而定）简单投资回报低

（仅仅是服务器和存储）高（服务器、存储和操作系统）极高（服务器、存储、操作系统和数据库）极高（服务器、存储、操作系统和数据库）隔离度非常好好最少好实施简单简单困难简单应用适合状况仅适用于有限范围适用与所有情况需要应用程序隔离适用于所有情况提供数据库服务的传统方式

耗时并低效研发申请数据库获得数据库访问管理层核准DBA申请硬件和存储资源配置网格架构（GI）和数据库（DB）系统管理员设置操作系统和网络存储管理员分配存储…耗时从数小时到数周…提供数据库服务的自助(云)方式

DBaaS在分钟级别交付数据库请求IT部门IT部门处理装配和供应硬件、操作系统和网络资源DBA安装Oracle11gR2，GridInfrastructure和RACDBA创建数据库请求

通过门户网页从服务目录（servicecatalog）中选择最终用于填写网页资料并设置密码数据库自动由“云”基础架构生成传统方式DBaaS提供数据库的耗时=从数小时到数周提供数据库的耗时=仅需数分钟DBaaS设置的方式概要文件（CreatingaDatabaseProvisioningProfile)UsingSnapshotsUsingRMANBackupUsingExistingRMANBackupUsingDBCATemplateUsingExportSchemaObjects服务模板CreatingServiceTemplateUsingSnapCloneProfileCreateServiceTemplateUsingRMANBackupProfileCreateServiceTemplateUsingDBCATemplateProfileCreatingaServiceTemplateforSchemaasaServiceDBaaS的设置定义角色和分配用户配置LDAP身份认证配置权限委派客户化自服务登录网页设置PaaS基础架构设置DBaaS云提供数据库软件部署数据库配置Oracle监听器注册和管理存储服务器DBaaS的设置(Cont.)设置DBaaS自服务门户创建一个数据库池配置请求设置设置限额设置Profiles以及服务模板

（ServiceTemplates）适用的Profile包括

SnapClone/RMAN备份/

DBCA模板配置Chargeback适用SchemaasaService

来配置schema运行请求前或请求后的脚本/

运行清理脚本DBaaS的设置(Cont.)使用DBaaS自服务门户请求数据库和schema检视数据库服务主页检视数据库实例主页检视集群数据库主页数据库云资源管理

场景1–新增数据库集群节点OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)？数据库云资源管理

场景1–新增数据库集群节点命令行传统方式将新增的服务器增加到集群里面，手工执行

$CRS_ORA_HOME/oui/bin/addNode.sh

脚本进行添加将RAC节点扩展到新增的集群机器，手工执行

$ORACLE_HOME/oui/bin/addNode.sh

脚本进行添加EnterpriseManager12c在管理目标中添加新增的服务器通过集群管理页面，将集群部署到新的服务器，并且扩展RAC节点到新增的集群机器数据库云资源管理

场景2–新应用申请在现有的数据库中申请计算资源OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)？SCHEMATABLESPACEQUOTAPREVILEGECPUMEMORY…数据库云资源管理

场景2–新应用申请在现有的数据库中申请计算资源命令行传统方式实现编写好脚本，根据实际需求在脚本里面进行修改用户如果需要申请调整计算资源，需要手工报告EnterpriseManager12c提供门户式管理，应用用户可以通过自助服务门户网站提出新的数据库资源申请，提出当前数据库资源调整请求数据库云管理员通过自主服务门户网站接收申请，通过预设的模板根据实际情况填入各项数值和资源指标，一键部署所需要的计算资源数据库云资源管理

场景3–新应用申请新建数据库作为计算资源OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)NEWDATABASE？SCHEMATABLESPACEQUOTAPREVILEGECPUMEMORYASMDISKGROUP…数据库云资源管理

场景3–新应用申请新建数据库作为计算资源命令行传统方式实现编写好脚本，根据实际需求在脚本里面进行修改用户如果需要申请调整计算资源，需要手工报告EnterpriseManager12c提供门户式管理，应用用户可以通过自助服务门户网站提出新的数据库资源申请，提出当前数据库资源调整请求数据库云管理员通过自主服务门户网站接收申请，通过预设的模板根据实际情况填入各项数值和资源指标，一键部署所需要的计算资源数据库云资源管理

EM12c提供数据库云资源管理的更多功能提供集中统一化的管理界面，通过统一的平台清楚了解各个数据库的运行情况，对各个数据库进行日常的管理事项，以及优化SQL语句提高执行效率EM12c提供ChargeBack功能，方便统计对外托管数据库的使用情况，根据不同的计费模型（按照CPU内存的数量，或者真实使用量）进行计费对于新迁入数据库云的应用，EM12c提供评估功能，通过收集应用一周或以上的运行情况评估整合之后的系统性能情况OracleRAC架构

Typicalsoftwaredeployment11gRelease2

OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)OracleRAC架构

Typicalsoftwaredeployment11gRelease2

OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)管理平台数据采编平台数据展现平台数据报表数据根据应用设立不同的数据库用户，应用数据存放在相应用户的schema中数据库用户根据应用需要进行适当授权，并注意避免权限过大通过ResourceManager为每个系统使用需要制定资源计划为每个应用设定自己的ServiceName制定每个ServiceName的LoadBalance和Failover策略管理平台采编平台展现平台报表应用应用通过各自的ServiceName连接数据库使用SCANIP进行连接数据库OracleRAC架构

Typicalsoftwaredeployment11gRelease2

OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)为每个应用设定自己的ServiceName制定每个ServiceName的LoadBalance和Failover策略OracleRAC架构

Typicalsoftwaredeployment11gRelease2

OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)管理平台采编平台展现平台报表应用应用通过各自的ServiceName连接数据库使用SCANIP进行连接数据库OracleMAA架构解决方案SystemFailuresDataFailuresSystemChangesDataChangesUnplanned

DowntimePlanned

DowntimeRealApplicationClustersASM

Flashback

RMAN&OracleSecureBackup

DataGuard

StreamsOnlineReconfiguration

RollingUpgradesOnlineRedefinitionOracleMAABestPracticesOffloadread-onlyqueriestoanup-to-datephysicalstandbyPerformfastincrementalbackupsonaphysicalstandby

/technology/deploy/availability/demonstrations.htmlActiveDataGuard

为生产数据库提供应急及容灾数据库Real-timeQueriesPhysicalStandbyDatabaseProductionDatabaseContinuousRedoShipping,Validation,andApplyReal-timeReportingFastIncrementalBackupsOracleRAC架构

完整的MAA架构

OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)生产数据库ActiveDataGuard应急/容灾数据库生产交易类应用只读类应用EM12c完整的云控制

完整的生命周期管理集成的云堆栈管理业务驱动的应用程序管理自助式IT简单和自动化业务驱动||IT资产发现

和资源供应初始化发现IT资产，并且将计算资源软件部署在IT资产上

持续变更管理端到端的补丁、升级、