数据库高用架构课件

1、数据库高可用架构Jacky Alibabawww.HelloDBA.net问题与挑战集中式数据库成为系统瓶颈 数据库依赖高端硬件设备小型机和高端存储硬件可用性要求高Scale up数据库如何线性扩展（Scale out）利用廉价设备搭建高可用数据库集群CAP原理Consistency：一致性Availability：可用性Partition tolerance：分区容错性三者不可兼得传统数据库（CA）ACID原子性，一致性，隔离性，持久性NoSQL产品（AP）BASE基本可用，软状态，最终一致 Hardware HAActive/StandbyHigh AvailabilityBad Scal

2、ability IBM hacmp HP serviceguardOracle Data GuardPrimary服务，Standby只读(11g)异步传送方式，可能导致数据丢失失败切换需要人工干预廉价的容灾方案Oracle RAC 架构Shared Disk Oracle Clusterware High AvailabilityScale outLoad BalanceTAFOracle RAC 特点应用透明廉价的高可用方案扩展能力有限共享存储的扩展能力节点间通信成本DSS类型应用分析可扩展特性 充分利用节点计算能力降低节点间通信成本OLTP类型应用分析 高可用特性应用透明切换(TAF)O

3、racle ASMOracle ASM 特点具备整合多个存储设备的能力，解决存储的扩展问题自动负载均衡，支持RAID 10ASM替换裸设备ACFS替换OCFS所有的数据都可以放在ASM中 ASM是免费的 MySQL ReplicationMaster + Slave（单向复制）Master + Master（双向复制）Dual master + heartbeat (HA)Slave可读写，比Oracle DG更灵活MySQL Cluster 架构Shared Nothing High AvailabilityScale outMySQL cluster 特点完全分布式架构高可用可扩展 存储节

4、点，处理节点和管理节点内存存储引擎NDB自动数据hash分布数据自动冗余，防止单点故障性能不理想数据同步写多节点数据按照PK Hash分布UK需要根据PK访问两次Join需要将数据读取至mysqld处理技术发展趋势硬件Intel CPU vs IBM PowerCPU多核化Flash Cache / SSDPC server RAS特性增强Reliability, Availability and Serviceability软件虚拟化分布式 云计算Oracle Exadata Oracle ExadataOracle ExadataOracle Exadata 特性功能 Smart Scan

5、Smart Flash CacheStorage IndexHybrid Columnar Compressed特点廉价设备组成的BOXRAC整合计算能力ASM整合存储能力Infiniband高速互联网络Flash cache作为二级Cache同时支持DSS和OLTP应用缺点：贵 读写分离架构-MySQL复制读写分离架构-Oracle Active Standby读写分离架构-DB+MemcacheFacebook MySQL+Memcache架构读写分离架构分析适合Read Intensive应用数据库复制存在延迟一致性的问题Read-your-writes consistencySessi

6、on consistency数据库单机容量成为瓶颈，Sharding？Memcache crash = Disaster ?!分布式Memcached集群Consisitent hashConsistent hashConsistent hashSharding架构BASE思想的产物具备线性扩展能力弱化关系型处理DB = KV Store分布式Hash算法Hash(key) mod n Virtual Partition Hash Virtual Partition Hash策略根据mod计算hash分布的缺陷节点变化时，所有数据需要重新分布Virtual Partition hash策略虚拟

7、分区策略，预分区物理节点包含多个虚拟分区增加节点时，只需移动部分虚拟分区每个节点都有备用节点可根据压力状况灵活配置Consistent hash策略的简化Virtual Partition Hash策略Virtual Partition Hash策略分布式数据库分布式数据库Proxy应用透明Query ParseQuery RouteResults MergeLoad Balance故障探测Failover数据库同步技术为什么需要数据库同步构建多站点架构数据库复制无法满足需要商业产品Quest ShareplexOracle Goldengate我们的解决方案触发器方案日志解析Oracle redo log MySQL binlog数据打包传输数据库，文件，图片应用模型并行应用模型如何保持事务一致我们可以做到更好解析SQL灵活定义业务逻辑提升处理能力 技术趋