7 7-1-天宫平台-paas组件drds oss介绍-丁其太

1、2019新员工天宫分布式PaaS平台培训课程天宫平台-PAAS组件DRDS OSS介绍中国联通软件 CHINAUNICOM内容大纲2天宫组件介绍第三部分天宫有什么第二部分天宫是什么第一部分背景3基于传统架构开发的系统在生产过程中遇到了应用无法平滑扩展，性能 存在天花板瓶颈等问题，而一些性能要求更高的互联网系统，却能够游刃有 余的进行业务支撑。以电商阿里巴巴为例，业务量不断增长，倒逼技术的进 步与发展，技术架构一次次改革，从简单的“平台+应用”思想，逐步演进为“互联网云化架构”思想，以每年淘宝交易量的增长，充足证明了互联网 云化架构的支撑能力。 为了解决联通生产系统中遇到的性能瓶颈问题，将联通业

2、务与互联网架 构结合，从而对联通集团的信息化建设进行更好的支撑。 内容大纲6天宫组件介绍第三部分天宫有什么第二部分天宫是什么第一部分PaaS架构天宫一体化运营建维门服务治理馈系统户告警平台监控评估系统数据治理资源管理资源提供资源池资源类型5I-PaaSIaaSSaaSPaaS安全设备网络设备存储设备计算设备虚拟机物理机Docker容器天梯平台数据归集分布式文件系统数据传输分布式缓存分布式搜索引擎分布式服务框架分布式数据服务数据恢复消息中间件报表工具统计分析其他类基础类计费类订单类在提供高频联机交易和数据处理的能力基础上，进行技术能力 和平台自身管控能力的提升，提高自主研发率平台监控截图消数调息

3、据用积库链压应用运行实时监控优势74实现对业务应用的实时监控，推动应用优化3通过可视化配置即可实现报表展示，无需开发。2通过可视化配置即可实现storm流统计，无需开发。1p 天宫配套提供了定制化的业务实时监控平台，支撑基于应用、业务等自定义维度迅速便捷的为应用构建 具备秒级响应的业务监控能力。定制研发适用天宫的一体化运营平台数资统服据源一务治管监治理理控理 通过自监研发控资实源现横管平台向理实到的服边资、务源纵治理向申到、请底数据的分无治配死理，角后监推评控动应估用的全迭程代管优理化内容大纲9天宫组件介绍第三部分天宫有什么第二部分天宫是什么第一部分DRDS概念与背景介绍10p 单机数据库容量

4、瓶颈： 随着数据量和访问量的增长，单机数据库会遇到很大的挑战，依赖硬件升级并不能完全解决问题。p 单机数据库扩展困难：传统数据库容量扩展往往意味着服务中断，很难做到业务无感知或者少感知。p 传统数据库使用成本高： 当业务数据和访问量增加到一定量时，传统数据库需要依赖特定的高端存储和小型机设备，成本曲线快速上升。p 概念：分布式关系型数据库服务（Distributed Relational Database Service , 简称 DRDS ） 专注于解决单机关系型数据库扩展性问题，具备轻量(无状态)、灵活、稳定、高效等特性，是高度兼容 MySQL 协议和语法的分布式关系型数据库服务中间件。p

5、 培训目标：能够理解drds的各个概念并掌握其使用、运维的能力DRDS基本概念（1）序号概念说明1drds高度兼容(非全部) MySQL 协议和语法的分布式关系型数据库服务中间件2rds相当于优化版的mysql，主要用于存储数据(主备模式)3DRDS ServerDRDS Server 是 DRDS 核心组件，提供 SQL 的解析、优化、路由和结果归并DRDS 实例是由一组 DRDS Server 节点组成的分布式数据库服务集群。各服务节点无状态，同时处理 SQL 请求。 4DRDS 实例支持 RDS/MySQL 的分库分表，在创建分布式数据库后，只需选择拆分键，DRDS 就可以按照拆分键生成

6、拆分规则，实现数据水平拆分 5分库分表数据库拆分模式下，如果 SQL 语句中没有指定拆分键，DRDS 将在所有分表上执行 SQL 并将结果返回，这个过程称为全表扫描。为避免影响性能，用户应尽量避免全表扫描。 6全表扫描DRDS 将一些数据量小且更新频度不高的数据表存储为单表模式，这些数据表称为小表。通过数据同步将小表复制到与之关联查询的分库上，进而提升关联查询效率 7小表广播当出现数据存储容量时，DRDS 支持在线存储容量扩展，扩容无需应用改造，扩容进度支持可视化跟踪，针对rds的扩容 8数据存储平滑扩容当出现访问量瓶颈时，DRDS 实例可以通过改变资源数量实现服务能力的弹性扩展，针对DRDS

7、部署架构应用PaaS应用、web应用、生产应用及其他应用负载均衡软负载均衡、硬负载均衡及自定义负载均衡数据库服务器 Adha agent 1、进程存在2、sql语句执行 3、数据同步时延（返回服务端判断）长连接Drds Server服务、服务集群长连接 长 集群连接数据库mysqlmysq lmysq l主从主从DB1BAKDB2BAKIaaS服务器、服务器集群、主机、主机集群、虚拟机交换机路由器服务器服务器 主机12主机统一服务接口diamo ndAdha Serverconfigserv erdrdsserverdrdsserver分库分表规则(1)13p 默认一个rds创建8个分库，此规

8、则不可更改。p 创建drds数据库，选择两个rds存储数据，一共能创建16个分库。分库分表规则(2)14拆分键即分库/分表字段，因此分为分库键和分表键。p 分库键：DRDS 根据分库键的值将数据水平拆分到后端的每一个 RDS 分库里。键值相同的数据，一定会位于同一个 RDS 数据库里。p 分表键：每一张逻辑表都可以定义自己的分表键，键值相同的数据，一定会位于同一个 RDS 数据表里。SQL路由15p 在分库分表模式下，DRDS 会根据拆分键（即拆分字段）以及 SQL 语义把 SQL 语句分发到底层的各个存储的分表进行执行。执行结束后，DRDS 会将各个分表上获取的数据合并，返回给用户。p 当用

9、户发起执行 SQL 语句的请求时，DRDS 会理解 SQL 语句的含义，然后按照拆分键的值和执行策略将SQL 路由到对应分区进行执行建表语句介绍16单库单表 只分库不分表 使用哈希函数分库分表 使用日期函数分库分表 广播表 CREATE TABLE single_tbl( id int, name varchar(30), primary key(id) ); CREATE TABLE multi_db_single_tbl( id int, name varchar(30), primary key(id) ) dbpartition by hash(id); CREATE TABLE mu

10、lti_db_multi_tbl( id int auto_increment, bid int, name varchar(30), primary key(id) ) dbpartition by hash(id) tbpartition by hash(bid) tbpartitions 3; CREATE TABLE user_log( userId int, name varchar(30), operation varchar(30), actionDate DATE ) dbpartition by hash(userId) tbpartition by WEEK(actionD

11、ate) tbpartitions 7; CREATE TABLE brd_tbl( id int, name varchar(30), primary key(id) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 BROADCAST; p 本节主要对常用的分库分表的创建语句进行讲解说明，主要包括单库单表（不拆分）、只分库不分表、既 分库又分表、广播表自定义注释（DRDS Hint）17指定分库执行sql 查看某个广播表每个分库中的数据量 /!TDDL:NODE=node_name*/SELECT * from table; /!TDDL:SCAN*/SELECT

12、COUNT(1) FROM table_name p HINT 作为一种 SQL 补充语法，在关系型数据库中扮演着非常重要的角色。它允许用户通过相关的语法影响 SQL 的执行方式，从对 SQL 进行特殊的优化。同样，DRDS 也提供了特殊的 HINT 语法。DRDS基础运维18指令说明举例Show node查看drds的分库信息show topology from table查看拓扑show processlist; kill id查看当前长链接show PROCESSLIST where COMMAND =Query and TIME 1;show slow查看慢sqlshow slow l

13、imit 1,3;EXPLAQL查看 DRDS 层 SQL 语句的概要执行计划，包括执行的分库、物理语句和整体参数EXPLAELECT * from multi_db_single_tbl where id =1;show broadcasts查看数据库中的所有广播表OSS介绍19p 优势：稳定、可靠、安全、低成本p 对象存储服务（Object Storage Service，简称 OSS），为您提供基于网络的数据存取服务。使用OSS，您可以通过网络随时存储和调用包括文本、图片、音频和视频等在内的各种结构化或非结构化数据文件。p 面向海量数据规模的分布式存储服务，可以存储的文件个数无限，能够提

14、供海量的存储能力。 非常适合用来存储大量大小不一致，结构化或非结构化数据，单个数据的大小从1字节到48.8T。p OSS 提供的是一个 Key-Value 形式的对象存储服务。用户可以根据 Object 的名称（Key）唯一的获取该Object的内容。p 培训目标：能够理解oss的各个概念、掌握基本使用、掌握基本开发能力OSS基本概念概念 说明 Region（地域） Region 表示 OSS 的数据中心所在的地域，物理位置。 Endpoint（访问域名） Endpoint 表示 OSS 对外服务的访问域名。OSS 以 HTTP RESTful API 的形式对外提供 服务，当访问不同的 Re

15、gion 的时候，需要不同的域名。 AccessKey（访问密钥） AccessKey，简称 AK，指的是访问身份验证中用到的 AccessKeyId 和AccessKeySecret。Service（虚拟存储空间） 一个service跟一个用户相对应。 存储空间（Bucket） 存储空间是您用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。对象/文件（Object） 对象是 OSS 存储数据的基本单元，也被称为 OSS 的文件。对象由元信息（Object Meta），文件名（Key）和用户数据（Data）组成。 强一致性 Object 操作在 OSS 上具有原子性，操作

16、要么成功要么失败，不会存在有中间状态的Object。OSS 保证用户一旦上传完成之后读到的 Object 是完整的，OSS 不会返回给用 户一个部分上传成功的 Object。 OSS与文件系统的对比序号 对比项 OSS 文件系统 1 数据存储类型 Key-Value 对形式 典型的树状索引结构 2 数据获取 根据 Object 的名（Key）唯一的获取该Object的内容test1/test.jpg 与a.jpg 对OSS来说仅仅只是一个字符串，因此不同名称的 Object 之 间的访问消耗的资源是类似的。 一个名为 test1/test.jpg 的文件，访问过程需要先访问到test1 这个目

17、录，然后再在该目录下查找名为 test.jpg 的文件。 3 并发访问 支持海量的用户并发访问 受限于单个设备的性能。访问越深的目录消耗的资源也越大，操作拥有很多文件的目录也会非常慢。 4 文件修改 OSS 保存的 Object 不支持修改， 哪怕是仅仅需要修改一个字节也需要重新上传整个 Object 支持文件的修改，比如修改指定偏移位置的内容、截断文件尾部等。也支持文件夹的操作，比如重命名目录、删除目录、移动目录等非常容易。 KVstore介绍22p KVstore是兼容开源 Redis 协议标准的、提供持久化的内存数据库服务，基于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景

18、及容量需弹性变配的业务需求。p KVstore支持字符串（String）、链表（List）、集合（Set）、有序集合（SortedSet）、哈希 表（Hash）等多种数据类型。p 通过“内存+硬盘”的存储方式，KVstore在提供高速数据读写能力的同时满足数据持久化需求。p 培训目标：能够理解KVstore的各个概念、掌握基本使用、掌握基本开发能力KVstore与开源redis对比序号 对比项 KVstore 开源redis 1 安装即开即用自行部署2 高可用短连接优化、IO优化，秒级切换不稳定，哨兵模式代码不好扩展3 备份恢复采用aof binlog的方式，断点续传、流式备份（采用增量日志格

19、式进行复制传输）采用aof+rdb的方式，全量同步、全量备份4 在线扩容无缝扩容，界面化操作扩容不便5 监控完善的可视化统计监控，方便运维开源项目，运维复杂6 性能KVstore性能优于redis，KVstore单节点读写qps可达到十几万。7 热升级proxy与redis都可实现热升级重启升级8 权限控制白、ssl加密访问、安全隔离差9 内核对源码Redis 进行深度内核优化，有效防止内存溢出，修复安全漏洞， 为您保驾护航。10 存储内存+硬盘 ，实现冷热数据分离数据都存放在内存中，需要配置持久化功能分布式消息MQ-简介功能特点1、无单点、无瓶颈、可扩展2、为分布式应用系统提供异步解耦、削峰

20、填谷能力3、具有海量消息堆积，高吞吐，可靠重试等互联网应用所需特性4、支持事物消息，保证最终一致性5、可通过web控制台管理主题、生产者、消费者，通过topic、key、messageId查询消息，查看消息轨迹24MQ是分布式消息中间件，基于高可用分布式集群技术，搭建的包括发布/订阅、轨迹查询、定时（延时）消息、监控报警等功能的一套完整的消息云服务。分布式消息MQ-名词介绍英文名词中文名词释义Message消息消息队列中信息传递的载体Message ID消息的全局唯一标识由 MQ 系统自动生成，唯一标识某条消息Message Key消息的业务标识由消息生产者（Producer）设置，唯一标识某

21、个业务逻辑topic消息主题一级消息类型，通过Topic 对消息进行分类tag消息标签二级消息类型，用来进一步区分某个 Topic 下的消息分类Producer消息生产者也称为消息发布者，负责生产并发送消息Producer ID一类 Producer 的标识这类 Producer 通常生产并发送一类消息，且发送逻辑一致Consumer消息消费者也称为消息订阅者，负责接收并消费消息Consumer ID一类 Consumer 的标识这类 Consumer 通常接收并消费一类消息，且消费逻辑一致CLUSTERING集群消费一个 Consumer ID 所标识的所有 Consumer 平均分摊消费消息。例如某个Topic 有 9 条消息，一个 Cons