数据中心运维管理

Industryspecific

coverimage数据中心运维管理数据中心运维管理全文共61页，当前为第1页。议程•数据中心运维管理面临的问题与挑战•数据中心运维管理探讨–数据中心运维管理的能力框架及建设演进–业务驱动IT管理–完整的平台管理–全生命周期管理•总结2数据中心运维管理全文共61页，当前为第2页。IT越来越复杂,带来的典型IT运营问题架构复杂•

复杂,多厂商•

难扩展•

需要多领域专家•

消除I/O瓶颈很复杂•

多厂商集成方案成本高、耗时整体性能难保证•

异构的数据库、Java层、消息层和Web层很难整体调优• 尤其在通常虚拟环境中，整体性能不高、整体可用性难保证•

异构环境可用性管理复杂•在通常的虚拟环境中，应用可用性更难管理•

不同厂商产品的可用性可以大大影响整体可用性运维管理复杂运维不好界解决过的升复杂不可预测••

异构环境增加复杂度，职责定• 问题诊断、程复杂•

不同厂商产品级、补丁过程数据中心运维管理全文共61页，当前为第3页。“稳定”和“安全”是IT运营的基本目标运维人员在多个环境里进行手工配

置和操作，难以避免人为操作风险日常监控服务响应

工作调度数据备份系统变更执行事故报告灾备操作

机房管理访问授权健康检查应用系统中间件

数据库开发测试生产灾备服务器与存储问题 变更 事件

配置 版本

可用性 容量管理 管理 管理 管理 管理 管理 管理网络变更影响分析通常凭

经验，也难以充分测

试，怎样控制和验证？怎样确定问题的根源？可以从业务影响发现问题吗？怎样避免问题的再次发生？真的了解运行状态吗？预警和主动监控能做到什么程度？

健康检查是否有效？如何快速定位和恢复故

障？应急演练是否有效？

备份的数据真的可用吗？怎样判断架构的高可

用性？当前的性能容

量能否支撑下阶段业

务发展？4数据中心运维管理全文共61页，当前为第4页。基础架构和运维的驱动•性能提升–资源利用率提升•弹性扩展–弹性/可靠性/性价比•快速应用部署–压缩环境准备和应用安装部署时间–提高工作效率•节能减排–机房空间效率–电力供应–平均CPU/存储利用率•追求更低的TCO和高ROI–降低软件、硬件、服务成本–简化运维工作，降低维护成本• 集中管控– 监控预警，实现主动管理– 故障诊断和性能优化– 可视化管理，面向服务质量• 风险控制– 降低操作风险– 系统安全提升数据中心不能成为问题中心5数据中心运维管理全文共61页，当前为第5页。来自业务的挑战CIO办公室对最终用户体验缺乏可见性业务要求IT可靠和透明业务经理要求以业务的语言来描述IT服务水平客户对服务中断和性能问题毫无耐心IT性能指标与业务毫不相干不能有效控制服务中断和性能下降缺乏通用语言基础关注点不一致IT运营“像业务一样经营IT”是CIO共同目标，目的是保障服务质量，提高IT对业务的贡献。6数据中心运维管理全文共61页，当前为第6页。IT服务管理最佳实践的新要求ITIL

v3帮助用户从业务角度完成整体设计、实施和持续优化IT服务管理，并通过IT服务管理将企业的业务需求和IT管理实现量化对接ISO

20000:2011供应商和客户之间的实质关系将影响服务管理过程如何实施业务战略指导落地，业务需求量化考核7数据中心运维管理全文共61页，当前为第7页。问题与挑战的总结思考来自业务的挑战•

灵活的支持业务发展；•

对业务量持续以及爆发性增长的需求；•

对于最终用户体验具备可见性；•

业务需求和IT管理实现量化对接运维的驱动•

具有面对服务需求峰值而不需要额外投入的能力；•

可提供7×24小时高水平服务等级的能力；•

需要具有丰富经验的资源；•

80%的企业软件费用花费在安装与维护；•

服务器对管理员的比例还维持在20-30:1的水平；•

部署新的应用时间太长。IT基础架构与基础设施的驱动•

数据中心空间优化与地点的选择；•

不断增长的数据中心基础架构的复杂度•

服务器的利用率介于10%～15%；•

数据中心往往需要耗费上千万的资金去建设，而且不能在现有设施上去扩展。IT的变革与创新•

IT基础架构集中与标准化；•

虚拟化、网格计算；•

自动化与持续可用；•

云计算/绿色IT。；日常监控服务响应工作调度数据备份系统变更执行事故报告灾备操作机房管理访问授权健康检查应用系统中间件数据库服务器与存储网络8保障稳定和安全•

业务连续性和高可用性建设；•

潜在问题的分析和规避；•

主动的客户体验监控；•

问题快速定位和解决。开发测试生产灾备数据中心运维管理全文共61页，当前为第8页。议程•数据中心运维管理面临的问题与挑战•数据中心运维管理探讨–数据中心运维管理的能力框架及建设演进–业务驱动IT管理–完整的平台管理–全生命周期管理•总结9数据中心运维管理全文共61页，当前为第9页。通过架构整合和简化、提升运营管理能力来解

决面临的IT运营问题与挑战构建完整平台管理，完善运营基础管理能力，同时帮助用户从业务角度优化IT服务管理，将企业的业务需求和IT管理实现量化对接提升运营管理能力10架构整合和简化软硬件资源池、横向整合和纵向整合结合的一体化整合方式、和云计算等架构优化手段驱动了运营水平的提高数据中心运维管理全文共61页，当前为第10页。Oracle

IT运营能力框架模型ITIL

v3.0COBITUSMBOKISO

20000TOGAFOracle

Unified

MethodSAS

70

Type

I

and

II业务11IT运营规划运营设计运营管理服务规划服务识别服务水平管理服务台组合设计、SLA实施、SLA趋势分析事件管理、知识管理、SLA报告配置与变更管理配置规划、配置执行、变更管理、跟踪与报告性能与可用性管理基线、测量、分析、解决用户体验财务目标架构规划发布管理利用率管理规划、协调、确认基线、虚拟化/集群、压缩安全管理服务开通与补丁管理平台架构政策、审计与报告、访问和识别管理可用性架构性能架构信息全生命周期管理规划、灾难恢复、归档政策、初始化资源、补丁升级数据中心运维管理全文共61页，当前为第11页。提升IT运营能力：技术成熟度模型有感知的

标准化程度低

架构与运维无法共享

只对关键资产使用状况有了解

>6周部署

普遍的单点故障

基本的监控集中与整合技术现代化阶段1认可的

关键的硬件/软件标准化

对于75%资产的使用状况了解

25%已经整合

<2周部署

N+1设计

基本的管理阶段2主动的

硬件/软件标准化

共享的架构与运维

运维资产

75%整合、部分虚拟化

100%了解资产使用状况

数天内部署

关键系统可靠性设

IT服务工具计

运维管理工具集虚拟化阶段3

集成的架构

75%虚拟化

数小时分配资源

持续的可用性服务型的自动化阶段4业务合作伙伴

高扩展、弹性的架构

新技术使用

90%虚拟化

整体的架构与运维

动态资源分配

灾难下的持续可用性

业务服务工具云计算阶段5我们在哪里？12数据中心运维管理全文共61页，当前为第12页。提升IT运营能力：人员成熟度模型有感知的

人员按技术分类

离散的

个人主义

较低的客户信心

非正式的审查组织型个人型阶段1认可的

分级支持

角色按流程定义

正式的职业发展规划

培训员工KPI阶段2主动的

以流程为中心

与HR的流程相结合

信任的服务

能力中心

预防模式

趋势分析以流程为中心阶段3

服务为中心

新的角色供应商

技能管理

以服务质量为目标

参照行业最佳实践服务型的以服务为中心阶段4业务合作伙伴

成为业务部门

虚拟团队

注重业务

高效的外包技能

业务与IT轮岗

创建行业最佳实践以业务为中心13阶段5我们在哪里？数据中心运维管理全文共61页，当前为第13页。提升IT运营能力：流程成熟度模型有感知的

救火队模式

工具定义流程

备件备份

以工具作为标准

没有流程文档运维流程工具使用阶段1认可的

事件管理

变更与问题管理

标准化

灾备管理

项目管理

较少的流程集成阶段2主动的

分析趋势

阀值设置

应用可用性监控

自动化

大部分ITIL流程已成熟服务交付流程阶段3

IT作为服务供应商

服务分类与定价保证的SLA

服务可用性监控

集成的流程

容量管理服务型的服务与客户管理阶段4业务合作伙伴

IT作为战略业务伙伴IT与业务KPI关联

提升业务流程协作

实时架构

业务变革以业务为中心阶段5我们在哪里？14数据中心运维管理全文共61页，当前为第14页。数据中心运维管理的能力建设演进完善运营管理基础能力•主动端到端监控•快速定位问题•集中配置管理•有效控制变更和

发布•自动化生命周期

管理•有效的应急和安全措施15实现业务驱动•用户体验•业务监控•业务指标云管理•全生命周期管理数据中心运维管理全文共61页，当前为第15页。用户体验管理业产品目录务 服订单管理务 管理业 务 交 易 管 理网络门户...其它业务服务客户与业务用户业务驱动IT管理完整的平台管理全生命周期云管理业务驱动IT管理–

以业务视角管理IT资源–

创建应用感知云，能够理解和适应实际业务需求完整的平台管理–

应用、中间件、数据库、硬件–

一体机

(Exalogic,Exadata)全生命周期云管理–

建立敏捷的IT管理以适应不断变化的业务需求–

使用同一软件进行统一的云服务全生命周期管理应用中间件数据库OS,VM,

Servers存储，网络Oracle支持服务云服务Apps,

PaaS,DBaaS,

IaaS..数据中心运维管理解决方案16数据中心运维管理全文共61页，当前为第16页。议程•数据中心运维管理面临的问题与挑战•数据中心运维管理探讨–数据中心运维管理的能力框架及建设演进–业务驱动IT管理–完整的平台管理–全生命周期管理•总结17数据中心运维管理全文共61页，当前为第17页。业务驱动型应用管理与能力框架的映射网络门户 产品目录业 务 服 务 管 理订单管理...其它业务服务客户与业务用户用户体验管理业

务

交

易

管

理业务驱动型应用管理完整的云平台管理全生命周期云管理应用中间件数据库OS,VM,Servers存储，网络Oracle支持服务云服务Apps,

PaaS,DBaaS,

IaaS..运营规划运营设计运营服务规划服务水平管理服务台配置与变更管理性能与可用性管理架构规划发布管理利用率管理安全管理供应与补丁管理信息全生命周期管理虚拟机服务器存储网络与基础设施数据中心运维管理全文共61页，当前为第18页。JVM

和DB诊断业务交易管理真实用户体验管理用户满意度怎么样？他的录入快速吗？下单情况怎么样？下单为什么卡住？为什么慢？怎么老超时？根本原因是什么？是核心的问题还是ECIF问题？19业务驱动的端到端应用管理数据中心运维管理全文共61页，当前为第19页。用户体验管理实时监测用户的“真实的”活动，优化业务响应率和转化率ExecutivedashboardBusiness

ReportingTransaction

PerformanceSLA管理与行政驾驶舱实时错误报告与分析KPI实时监控与报警定制业务服务实时监控实时交易漏斗监控整体页面浏览性能-绿色

=

满意-橙色

=

容忍-蓝色

=

失望用户满意度实时趋势分析实时用户体验跟踪用户出错页面重放实时系统性能分析数据中心运维管理全文共61页，当前为第20页。•

持续监控关键事务,

通过一系列的事务/操作序列来定义”业务交易”•

典型“业务交易”问题–

业务上定义的逻辑错误,

比如”信用额度不足”,“库存少于10件”,“审批周期超时”,“定单金额超过预定义金额”–

失控流程(Stalledprocesses),不正常跳转,非正常中断的交易流程等–

失控结果,定义范围以外的结果–

技术层面的问题,比如延时–

和EM其他模块互动,告警并解决问题Rejected

OrderAlertWebLogicServiceBusApplianceDBMSWebPartner

and

Cloud业务交易管理数据中心运维管理全文共61页，当前为第21页。221

服务水平协议Service

Level

Objective

(SLO)ForPlatinumcustomers:Ave.

Response

time

per

hour<

6

secWarning

threshold

<=

4

sec-

Action:

alerts利用率跟踪和分类–譬如：白金卡，金卡，银卡等23面向目标的性能监控5为白金客户提供稳定的响应时间4

在白金客户违规错误发生之前自动告警Gold面向客户可定制业务驱动的服务质量（QoS）交付数据中心运维管理全文共61页，当前为第22页。议程•数据中心运维管理面临的问题与挑战•数据中心运维管理探讨–数据中心运维管理的能力框架及建设演进–业务驱动IT管理–完整的平台管理–全生命周期管理•总结23数据中心运维管理全文共61页，当前为第23页。完整平台管理与能力框架的映射网络门户 产品目录业 务 服 务 管 理订单管理...其它业务服务客户与业务用户用户体验管理业

务

交

易

管

理业务驱动型应用管理完整的云平台管理全生命周期云管理应用中间件数据库OS,VM,Servers存储，网络Oracle支持服务云服务Apps,

PaaS,DBaaS,

IaaS..运营规划运营设计运营服务规划服务水平管理服务台配置与变更管理性能与可用性管理架构规划发布管理利用率管理安全管理供应与补丁管理信息全生命周期管理虚拟机服务器存储网络与基础设施数据中心运维管理全文共61页，当前为第24页。•

服务器与存储告警•

服务器故障管理•

物理层与虚拟基础设施层的依赖关系分析•完整的、深度数据库监控•数据库自服务管理

(ADDM,

AWR,ASH)•自动化SQL优化•监控

Weblogic,SOA,

Coherence•JVM诊断•服务拓扑与依赖关系分析•用户体验管理•业务交易管理•EBS，Siebel，PeopleSoft建模与监控25为云提供业务

驱动型应用监

控完整的、从应用到磁盘的资源监控数据中心运维管理全文共61页，当前为第25页。26类型(根本原因)Root

Cause(事故多发区)交易线针对交易线上每个环节，分析系统间接口、系统内资源使用、应用的复杂逻辑处理、以及部署、维护环节的实现机制与参数配置，可以深入分析问题的原因所在。问题现象/当前系统数据一体化的优化考虑、一站式的问题“会诊”系统间接口连接/超时系统内资源使用冲突系统内复杂逻辑处理部署/运行维护。。。DB系统间客户端连接内存CPU错误处理报文处理日志复杂交易数据中心运维管理全文共61页，当前为第26页。用户体验监控• 通过综合检测比对服务实际运行响应水平和预定义SLA的要求• 采用模型驱动的方法对应用进行基于上下文的下钻.支持Servlet/JSP,

•EJB,JDBC下钻• Java代码级的诊断

••跨层追踪至Oracle数据库内存泄漏分析复合应用管理JVM

诊断数据库管理监控和优化数据库• 提供关于数据库问题的建议27全面覆盖用户级/应用级/系统级等问题数据中心运维管理全文共61页，当前为第27页。数据库管理事件策略管理数据配置变更管理集中管理数据遮蔽集中监控ORACLE性能诊断与优化业务服务与SLA管理数据中心运维管理全文共61页，当前为第28页。集中的数据库监控管理数据中心运维管理全文共61页，当前为第29页。自动性能诊断通过数据库自管理获得最佳性能•

通过数据库自管理保持最佳性能•

使用自动负载信息库快照进行自上而下的分析•

使用自动数据库诊断监视器进行实时性能分析•

通过深入的根源分析加速解决性能问题•

基于性能调优经验的分类树•

性能专家提高管理员的工作效率消除性能瓶颈降低

IT

管理成本RAC问题提高服务质量自动负载信息库快照性能与管理顾问程序高负载SQLIO/CPU问题自诊断引擎数据中心运维管理全文共61页，当前为第30页。应用程序调优自动

SQL

调优可定制的应用程序

+

索引和

MV

+

分区应用程序自动调整优化程序•

自动

SQL调优•

捕获高负载SQL•

使用SQL配置文件调优SQL•

实施极大改进的SQL计划（可选）•

提供的建议带来的性能改进•

通过

SQLProfiling无需更改SQL代码即可调优执行计划•

对打包的应用程序启用透明调优打包的应用程序

+SQL

配置文件高负载可定制的应用程序

+SQL

建议已调优的

SQL数据中心运维管理全文共61页，当前为第31页。深入了解

SQL

执行情况•自动监视长时间运行的

SQL•即取即用且不影响性能•监视每个

SQL

执行•展示监视统计信息–全局执行级别–计划运行级别–并行执行级别•指导调优工作•作为活动报告•增强以监视

PL/SQL实时

SQL

监视数据中心运维管理全文共61页，当前为第32页。•针对RAC/HA设置的配置级汇总视图（内含图表）•对MAA实施提供建议•

单实例最小停机时间自动化实现MAA•显示全部配置中与可用性有关的事件•管理基于角色的备用数据库，如将物理备用数据库转为ActiveDataGuard高可用性数据中心运维管理全文共61页，当前为第33页。管理整体设计的系统•

集成的硬件和软件管理–

硬件示意图和警报–

集成和深入的软件管理–

硬件和软件拓扑、配置管理•

主动式支持–

“呼叫总部”–

健康检查–

补丁和最佳实践顾问程序数据库云服务器

(Exadata)

和中间件云服务器(Exalogic)数据中心运维管理全文共61页，当前为第34页。怎样做到数据保护的深度防御?如何做到：•

敏感数据“看不见”•

核心数据“拿不走”•

运维操作“能审计”加密和屏蔽访问控制审计和监视阻止和记录数据中心运维管理全文共61页，当前为第35页。数据安全架构数据库审计鉴机HR权密Re认公ba证开tes备份加密

传输加密数据加密数据伪装审敏计感

应用服务器网络SQL监控和阻止非法DBA行为

多因素鉴权和认证整合DB安全数据中心运维管理全文共61页，当前为第36页。构建实时业务数据中心数据中心数据中心

数据库…数据库1数据库2数据库N实时、高性能：从日志中实时获取最新变化数据，由于不直接访问数据库本身、对生产数据库附加压力很小日志日志日志高安全性：非侵入式方式，无需业务数据的用户密码，确保业务数据的安全性数据实时集中Oracle

GoldenGate高可靠性：支持断点续传高兼容性：支持在各种类型数据库之间交换数据•

招商证券•

齐鲁证券•

红塔证券安信证券平安证券Oracle

GoldenGate案例数据中心运维管理全文共61页，当前为第37页。•

一技多用•

保证业务不间断和实时报表/BI兼得。•高扩展性•快速部署•更低总拥有成本(TCO)，更高投资回报率(ROI)满足整个数据中心的实时数据需求基于Log的实时变化数据捕获(CDC)异构源系统企业数据仓库(EDW)ODSEDW容灾,数据保护备用库(处于打开

&活动状

态)零停机迁移或升级业务报表实时BI报表库OGGETLETL分担查询负载数据分发数据中心运维管理全文共61页，当前为第38页。议程•数据中心运维管理面临的问题与挑战•数据中心运维管理探讨–数据中心运维管理的能力框架及建设演进–业务驱动IT管理–完整的平台管理–全生命周期管理•总结39数据中心运维管理全文共61页，当前为第39页。全生命周期管理与能力框架的映射网络门户 产品目录业 务 服 务 管 理订单管理...其它业务服务客户与业务用户用户体验管理业

务

交

易

管

理业务驱动型应用管理完整的云平台管理全生命周期云管理应用中间件数据库OS,VM,Servers存储，网络Oracle支持服务云服务Apps,

PaaS,DBaaS,

IaaS..运营规划运营设计运营服务规划服务水平管理服务台配置与变更管理性能与可用性管理架构规划发布管理利用率管理安全管理供应与补丁管理信息全生命周期管理虚拟机服务器存储网络与基础设施数据中心运维管理全文共61页，当前为第40页。应用程序和业务服务平台即服务基础架构即服务规划预配构建测试部署监视管理计量和

计费优化DBaaSMWaaS全面的生命周期管理41数据中心运维管理全文共61页，当前为第41页。•

利用IP扫描技术发现资源•

选中被找到的主机后，可将代理部署以及对象发现等工作集成实现•

将目标状态从“未管理”标记为“已管理”•

可识别已被管理的资产自动发现资源数据中心运维管理全文共61页，当前为第42页。规划整合•

规划整合消除了–资源过剩或不足导致的对资源的低效使用–高使用成本•

管理维护费用•

能源与机房空间的开销•

数据中心的扩展产生的安保开销EnterpriseManager

提供了多样化的选择:–将数据中心里的物理服务器进行整合

(P2P)–从物理主机迁移到虚拟主机上(P2V)–迁移到

Exadata

(P2E)数据中心运维管理全文共61页，当前为第43页。打包多层企业应用程序Oracle

Virtual

Assembly

Builder捕获完整的

应用程序拓扑打包成一个组件部署自助服务元数据OVMHTTPOVMHTTPWLSOVM数据库OVMOracle

Enterprise

Manager上载到软件库数据中心运维管理全文共61页，当前为第44页。端到端的应用程序测试实现应用程序、中间件和数据库自动化测试测试应用程序更改测试基础架构更改测试数据和实验室管理Oracle

FunctionalTestingOracle

LoadTestingOracle

TestManagerSQL

PerformanceAnalyzer应用程序重放数据发现和建模创建数据子集数据库重放数据屏蔽生产负载合成负载测试数据管理数据中心运维管理全文共61页，当前为第45页。部署安全的测试系统Oracle

Data

Masking•

通过屏蔽敏感数据部署安全的测试系统•

敏感数据永不离开数据库•

用于自动化的可扩展模板库和策略•

高级屏蔽：基于条件的屏蔽、混合屏蔽、确定性屏蔽•

集成的屏蔽和克隆•

针对常见数据类型利用屏蔽模板•

利用Gateways实现异构数据库的数据遮蔽•

数据屏蔽操作支持命令行

(EMCLI)生产测试SALARY40,00060,000LAST_NAMESSNSALARYSMITH111—23-111160,000MILLER222-34-134540,000LAST_NAMESSNAGUILAR203-33-3234BENSON323-22-2943数据中心运维管理全文共61页，当前为第46页。SQL

计划

+

统计更改后的试验• 测试并预测系统更改对SQL查询性能的影响• 分析性能更改（提高或降低）情况• 全面的性能分析和报告• 在测试环境中重新执行SQL查询端到端的解决方案：STS、SQLPlanBaselines、SQLTuningAdvisorOracle

Real

Application

TestingSQL

Performance

AnalyzerSQL

负载STSSQL

计划

+

统计更改前的试验分析报告比较

SQL

性能数据中心运维管理全文共61页，当前为第47页。•

降低数据库更改的成本和风险•

完全自动化的工作流•

提供对以下的更改保证–数据库和

O/S

升级，如迁移到Exadata–配置更改，如从单个实例到RAC的转换–存储更改–O/S迁移，如从Windows

到

Linux•

支持从

Oracle9iR2

升级到

10gR2

和

11g！测试重放驱动程序捕获处理重放分析与报告生产客户端存储存储Oracle

Real

Application

Testing数据库重放数据中心运维管理全文共61页，当前为第48页。自助式访问自由、专业的自助式控制•

基础架构即服务(IaaS)x86

和

SPARC•

平台即服务(PaaS)数据库

(DBaaS)、Java，……–

物理和虚拟环境支持•

现成的门户和API数据中心运维管理全文共61页，当前为第49页。监视和管理运营•

跟踪资源流动、承租方、策略违规等•

监视请求和故障•

管理资源和容量利用率•

自动、策略驱动的灵活性数据中心运维管理全文共61页，当前为第50页。服务的计量、计费和优化•

从应用程序到磁盘的资源计量•

计费Oracle

Billingand

RevenueManagement(BRM)

集成•

优化性能、容量、QoS、成本……数据中心运维管理全文共61页，当前为第51页。了解现状资产发现自动化的库存硬件/软件配置•操作系统•硬件•数据库•打包的应用程序配置搜索关系实时监视实时检测•什么人于什么时间做了哪些更改合规性框架•SOX、PCI、CoBIT……更改调节•授权的或未授权的规范配置配置合规性偏差分析配置比较•跨整个系统•跨整个生命周期•基准和黄金标准•一对一、一对多偏差调节主动检查策略管理现成的策略用户自定义策略用户自定义组合规性信息板检测配置更改集中式配置与变更管理52数据中心运维管理全文共61页，当前为第52页。自动配置收集•

自动收集主机、操作系统、数据库、中间件、应用的指定信息•

允许用户自定义配置收集项–图形化设置界面和开箱即用的语法–可以修改已定义的所有配置收集项•

拓扑视图，显示相互关系–从系统层面管理–依存分析–影响分析–定制化视图和关系数据中心运维管理全文共61页，当前为第53页。•根据目标或者与目标相关的对象的配置属性设定灵活的检索条件•可以将常用的搜索条件保存为预定义的搜索配置检索快速回答复杂的