Oracle Coherence分布式数据缓存解决方案

1、Oracle Coherence分布式数据缓存解决方案分布式数据缓存解决方案刘晓宇甲骨文（中国）软件系统有限公司议程议程 Oracle Coherence和分布式数据网格和分布式数据网格 缓存和DB的交互关系 数据操作一致性和交易 缓存拓扑模式 缓存事件 缓存管理 集成方案 应用场景和案例 总结应用架构的变革应用架构的变革 集群 Oracle RAC(Real Application Cluster) Cluster File System/ASM Oracle Clusterware Weblogic 集群 负载均衡 .越来越不能满足越来越不能满足现实世界让数据供不应求现实世界让数据供不应求

2、Web 与应与应用服务器用服务器数据需求数据需求不断扩大的不断扩大的用户领域用户领域数据处理数据处理数据供应数据供应共享服务共享服务数据库数据库来自互联设备与共享服务来自互联设备与共享服务的数据呈爆炸式增长的数据呈爆炸式增长用户希望获得可用的系统、用户希望获得可用的系统、即时的结果即时的结果停机停机/缓慢缓慢 = 失去客户、损失去客户、损失收入失收入 应用系统潜在的处理瓶颈和热点应用系统潜在的处理瓶颈和热点高频业务多页查询复合型页面存储存储数据库数据库应用应用服务器服务器D各种不同类型业务相互影响数据库数据库DD数据库节点之间的锁存储的带宽即使很大，但是到每个数据库节点的带宽依然有限DDD同一

3、个数据项被反复操作X复杂请求无法有效地并行处理数据的分布情况对有效带宽影响很大性能问题解决途径性能问题解决途径高频业务多页查询复合型页面存存储储数据库数据库应用应用服务器服务器D按照业务类型分离数据库数据库DD减少数据库级的锁DDD减少重复访问提高并行处理能力应用应用服务器服务器D数据前提应用架构的变革应用架构的变革统一整个集群内统一的数据视图扩展扩大集群的规模即可在不影响性能的情况下增加容量并行计算分布式数据处理，造一个可扩展的平台，实现高性能内存中分析性能性能应用程序或应用程序或服务服务可伸缩性可伸缩性可靠性可靠性可用性可用性内存数据网格解决方案内存数据网格解决方案 分布式、内存中数据管理

4、分布式、内存中数据管理Oracle Coherence是什么？是什么？10应用层的数据网格解决方案OR分布式内存对象数据解决方案Oracle Coherence 分布式分布式内存数据网格是一个内存数据网格是一个专门为需要低响应时间、高吞吐量、可预见扩展专门为需要低响应时间、高吞吐量、可预见扩展性、持续可用性和信息可靠性的多服务器间共享性、持续可用性和信息可靠性的多服务器间共享的应用对象设计的数据管理系统。的应用对象设计的数据管理系统。Coherence的前世今生的前世今生Coherence的核心功能特性的核心功能特性 应用数据高速缓存 网格内的数据共享 网格内数据操作的一致性 数据网格的自动伸

5、缩 网格数据的持续可用 网格数据的持久化分布式环境下，应用集群的节点之间或者多个应用之间，数据对象缓存与共享相关的一系列问题。（Scalability,Reliability,Performance）缓存缓存分析分析事务事务事件事件Coherence集群集群对等性对等性 集群中的所有节点的角色都是一样的。集群中的所有节点的角色都是一样的。 无需人工干预，数据会均匀分布在各个节点上。无需人工干预，数据会均匀分布在各个节点上。 具有云资源特性具有云资源特性即客户端不许关心数据存在即客户端不许关心数据存在哪个节点上，哪个节点上，客户端客户端从任何一个节点就能透明地从任何一个节点就能透明地逻辑访问任何

6、数据。逻辑访问任何数据。Coherence集群集群可靠性可靠性 集群自动选择某一节点保存主数据。集群自动选择某一节点保存主数据。 主数据会分布式地备份到其它节点。主数据会分布式地备份到其它节点。 每个节点都和其他节点校验节点的健康性每个节点都和其他节点校验节点的健康性 当一个节点不正常的时候，其他节点会进行状当一个节点不正常的时候，其他节点会进行状态诊断态诊断 非健康节点会被集群隔离非健康节点会被集群隔离 剩下的节点会重新分布非健康节点主数据剩下的节点会重新分布非健康节点主数据XCoherence集群集群分布式并行计算分布式并行计算基于数据查询和数据操作处理可在分散到Coherence集群的各

7、个缓存节点上并行执行。并行执行提高了硬件资源利用率、有效缩短了数据处理所消耗时间。Coherence的并行处理能力可以无限制地线性扩展。Coherence集群集群扩展性扩展性存储容量扩展存储容量扩展 只要有足够的内存，存储容量就可线性增长。 如果内存有限，可将数据可自动持久化到SSD存储中，从而提高存储容量。处理能力扩展处理能力扩展 由于采用分布式并行计算架构，因此只要有足够的处理器，处理能力就可线性增长。议程议程 Oracle Coherence和分布式数据网格 缓存和DB的交互关系 数据持久化数据持久化 Hot Cache 数据操作一致性和交易 缓存拓扑模式 缓存事件 缓存管理 集成方案

8、应用场景和案例 总结Oracle Coherence:数据持久化模式数据持久化模式 旁路缓存旁路缓存 由开发人员管理缓存由开发人员管理缓存 在读取数据源前检查缓存 在读取数据源后放入缓存 在更新数据源后更新缓存 直读直读/直写直写 （Read Through/Write Through） 所有数据读取/写入操作都通过缓存 缓存内没有数据时自动从数据源装载 更新缓存并同步方式写入数据源 后写入（后写入（Write Behind） 所有数据写入操作都通过缓存 更新缓存并异步方式写入数据源 定时刷新（定时刷新（Refresh-Ahead） 为缓存定义过期时间和提前加载时间 在过期前访问缓存，采用异步

9、更新加载 在过期后访问缓存，采用同步更新加载实现数据持久化实现数据持久化 支持TopLink, Hibernate, JDO等RACJVMCacheCachestoreJPAJVMCacheCachestoreJPAStoreLoad内存Coherence集成议程议程 Oracle Coherence和分布式数据网格 缓存和DB的交互关系 持久化 Hot Cache 数据操作一致性和交易 缓存拓扑模式 缓存事件 缓存管理 集成方案 应用场景和案例 总结Hot Cache可将变化的数据推送到可将变化的数据推送到Coherence中中通过JPA实现数据映射只更新变化的数据延时极低不需要轮训更新数据

10、DatabaseCoherenceCoherence ApplicationCoherence ApplicationCoherence Application3rd PartyApplicationRead / WriteGoldenGate Hot CacheGoldenGateRead / Write议程议程 Oracle Coherence和分布式数据网格 缓存和DB的交互关系 数据操作一致性和交易数据操作一致性和交易 缓存拓扑模式 缓存事件 缓存管理 集成方案 应用场景和案例 总结确保集群范围内的数据操作一致性确保集群范围内的数据操作一致性 Coherence通过以下机制确保集群范围

11、内对数据更新的一致性： 锁机制 性能较低 队列机制 实现Entry Processors接口 对同一Key的操作放在队列中执行，避免锁。 执行效率更高确保集群范围内的数据操作交易完整性确保集群范围内的数据操作交易完整性可将可将Coherence的对象操作的对象操作加入到加入到JTA分布式事物中进行管理分布式事物中进行管理议程议程 Oracle Coherence和分布式数据网格 数据缓存和DB的交互关系 数据操作一致性和交易 缓存拓扑模式缓存拓扑模式 缓存事件 缓存管理 集成方案 应用场景和案例 总结Coherence缓存的拓扑类型缓存的拓扑类型本地缓存本地缓存(Local Cache)复制缓

12、存复制缓存(Replicated Cache)分布式缓存分布式缓存 (Partitioned Cache)就近缓存就近缓存(Near Cache)本地缓存本地缓存(Local Cache) 非集群本地缓存非集群本地缓存 在应用自身的堆内存中保持在应用自身的堆内存中保持POJO对象的对象的引用引用 目的目的: 取代私有的缓存机制取代私有的缓存机制 兼容并与其它兼容并与其它Coherence Schemes协作协作 可配置的过期策略可配置的过期策略: LFU, LRU, Hybrid (LFU+LRU), Time-based, Never, Pluggable复制缓存复制缓存(Replicate

13、d Cache) 集群缓存的强力实现集群缓存的强力实现 在所有成员复制并管理所有数据在所有成员复制并管理所有数据 为所有数据提供零延迟的本地访问为所有数据提供零延迟的本地访问 复制和同步过程对开发者透明复制和同步过程对开发者透明 目的目的: 为提供极限读性能设计为提供极限读性能设计 可配置的过期策略可配置的过期策略 LFU, LRU, Hybrid (LFU+LRU), Time-based, Never, Pluggable分区式缓存分区式缓存 (Partitioned Cache) 集群的缓存集群的缓存 透明的分区，分布存储，在所有成员间备透明的分区，分布存储，在所有成员间备份数据份数据

14、目的目的 为提供极限扩展性设计为提供极限扩展性设计 可配置的过期策略可配置的过期策略 LFU, LRU, Hybrid (LFU+LRU), Time-based, Never, Pluggable就近缓存就近缓存(Near Cache) 前端后端缓存方案的组合前端后端缓存方案的组合 提供提供L1、L2缓存缓存 (缓存的缓存缓存的缓存) 目标目标 在线动态组建分区拓扑在线动态组建分区拓扑 本地缓存本地缓存(L1)构建在构建在partition缓存基础缓存基础上上(L2) 获得可扩展和性能的最佳方案获得可扩展和性能的最佳方案 方法方法 配置配置“前端前端”和和“后端后端”拓扑拓扑 可配置的过期策

15、略可配置的过期策略 LFU, LRU, Hybrid (LFU+LRU), Time-based, Never, Pluggable不同缓存拓扑的特性对比不同缓存拓扑的特性对比议程议程 Oracle Coherence和分布式数据网格 缓存和DB的交互关系 数据操作一致性和交易 缓存拓扑模式 缓存事件缓存事件 缓存管理 集成方案 应用场景和案例 总结Coherence支持事件处理支持事件处理通过通过Trigger和和Listener接口接口实现事件分布式处理实现事件分布式处理事件处理流程事件处理流程议程议程 Oracle Coherence和分布式数据网格 缓存和DB的交互关系 数据操作一致性

16、和交易 缓存拓扑模式 缓存事件 缓存管理缓存管理 集成方案 应用场景和案例 总结Coherence运行监控管理运行监控管理1 通过JMX MBean监控管理Coherence 监视Coherence的实例、内存、对象、事件等Coherence运行监控管理运行监控管理2 通过Oracle Enterprise Manager的coherence管理包监控管理Coherence议程议程 Oracle Coherence和分布式数据网格 缓存和DB的交互关系 数据操作一致性和交易 缓存拓扑模式 缓存事件 缓存管理 集成方案集成方案 应用场景和案例 总结WebLogic with Coherence

17、= ActiveCache弹性会话弹性会话, 缓存和数据网格作为独立的架构层次缓存和数据网格作为独立的架构层次In Memory Data GridWebLogic Server ClusterWLSCoherenceWLSCoherenceWebLogic ServerCoherenceCoherenceCoherenceCoherenceCoherenceCoherence使用使用Coherence的的WebLogic ServerProcess Flow / OrchestrationLegacyService 使用者使用者Service提供者提供者 PB备份节点备份节点主节点主节点取取

18、 / 存存 (Cachekey)服务数据服务数据Coherence Data GridOSB ResultCacheOracle Service Bus检查cache如果结果不在缓存，则调用如果结果不在缓存，则调用服务和缓存结果服务和缓存结果 Side Cache模式模式服务总线缓存服务总线缓存 - Service Result Cache扩展的应用基础架构扩展的应用基础架构门户门户Portlet Session共享共享Web CenterPortlet 3Portlet 4Portlet 1Portlet 2WSRP Portlet 4 ProducerWSRP Portlet 3 Prod

19、ucerWSRP Portlet 1 ProducerWSRP Portlet 2ProducerIn Memory Coherence Data Grid for WSRP Producer/Consumer Session SharingWSRP ProducerServerWSRP ProducerServer安全策略缓存安全策略缓存 Coherence和和Oracle访问授权产品访问授权产品OAM集成集成 将安全访问策略加载到Coherence中提高访问性能。实时数据看板实时数据看板 Oracle BAM可将可将Coherence作为一个数据源活动数据缓存PortalBPELCRMER

20、PCEP2 3 451JMS/Web ServiceProviderRulesBAMCoherence内存数据共享网格驱动处理流程监控重要事件处理数据来源快数据处理架构快数据处理架构事件源输入数据源输入Oracle复杂事件处理(EPN & CEP)Coherence 数据网格Oracle业务活动监控 (BAM)数据库关键指标KPI风险计算持久数据存储BPM/BPEL 流程交易引擎风险模型合规警告交易意向Oracle Coherence议程议程 Oracle Coherence和分布式数据网格 缓存和DB的交互关系 数据操作一致性和交易 缓存拓扑模式 缓存事件 缓存管理 集成方案 应用场景和案例

21、应用场景和案例 总结Coherence适用的场景适用的场景全球金融案例全球金融案例国内用户国内用户东方海外货柜航运有限公司东方海外货柜航运有限公司Tencent Games Over 70M users globally, and around 30M in China 5M concurrent users in the world, and its about 2M in China 65% market share in game market, #1 in China Concurrency means resource scalability “Social in game” elements require uniform access Real time QOS, e.g. “invite a friend to join the game instantly” Why Coherence Caching providing fle