[计算机软件及应用]存储基础知识四应用ppt课件

1、课程目的：数据库概述不同应用的存储性能需求HA和集群123数据库概述数据库概述什么是数据库F 尽可能不重复F 以最优方式为某个特定组织的多种应用服务F 其数据结构独立于使用它的应用程序F 对数据的增、删、改和检索由统一软件进行管理和控制F 从发展的历史看，数据库由文件管理系统发展起来，是数据管理的高级阶段定义一：数据库是某个研究领域、研究对象所涉及的数据的综合。他不仅反映数据本身的内容，而且反映数据之间的联系。定义二：数据库是依照某种数据模型组织起来并存放在存储介质上的数据集合。数据库的特点：数据库分类 从支持的数据规模、处理能力、管理功能等方面来看，数据库可大致分为三类：F桌面型数据库系统：

2、FoxPro、ACCESS、PARADOX等F中小型数据库系统：SQL SERVER、MySQL等F大型数据库系统：DB2, SYBASE, ORACLE, INFORMIX等DB2DB2什么是数据仓库数据仓库（Data Warehouse）是一个面向主题的、集成的、相对稳定、反映历史变化的数据集合，用于支持管理决策。 W.H.Inmon数据仓库不是现成的产品，它是一个建立的过程。例如：一间服装公司要建立一个数据仓库，从各个数据源获取销售、供应商、货存和统计的数据；这集合能帮助公司按地域、顾客的性别和年龄和其它的因数分析销售的情况。OLTP和OLAP数据处理大致可以分成两大类：FOLTP（联机

3、事务处理）：是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易等。FOLAP（联机分析处理）：是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果 OLTPOLTPOLAPOLAP使用对象操作人员,低层管理人员决策人员,高级管理人员功能日常操作处理分析决策DB 设计面向应用面向主题读写特点读/写数十条记录读操作为主，一次查询读取上百万条记录访问模式简单的事务，需要并行控制和恢复机制复杂的查询用户数上千个上百个DB 大小100MB-GB100GB-TBSQL SQL是Structured Query Language(结构化查询语言)的缩

4、写。SQL是专为数据库而建立的操作命令集，能够完成对数据库的所有操作，是一种功能齐全的数据库语言。 SQL已经成为了数据库操作的基础，并且现在几乎所有的数据库均支持SQL。 Oracle 使用PL/SQL，SQL Server使用T-SQL，这些不同数据库SQL在功能、语法上略有区别，但都是标准的SQL语言的子集。数据库架构图（以Oracle为例）归档日志归档日志参数文件参数文件索引文件索引文件实例实例系统共享缓冲存储区系统共享缓冲存储区数据数据缓冲缓冲REDOREDO日志日志缓冲缓冲共享池共享池库缓存区库缓存区数据字典数据字典缓存区缓存区用户进程服务进程数据文件数据文件控制文件控制文件RED

5、O日志日志后台进程后台进程数据库的缓存 系统共享缓冲存储区：系统共享缓冲存储区：是数据库系统在主机分配的一组内存空间，主要包括三部分： 系统共享缓冲存储区系统共享缓冲存储区数据数据缓冲缓冲REDOREDO日志日志缓冲缓冲共享池共享池库缓存区库缓存区数据字典数据字典缓存区缓存区F 共享池：存储各个实例需要使用的结构和数据信息。包括库缓存区和数据字典缓存区。库缓存区存储SQL语句、分析代码和执行计划。 数据字典缓存区存储表、列和其他对象的定义和权限。F 数据缓冲区：存储最近被使用到的数据块。F 日志缓冲区：记录实例对数据进行的修改，用于前滚操作，循环使用。数据库的物理结构(一)索引文件：索引文件：

6、 在数据库中，索引文件不是必需的。但是在进行查询操作时，索引可以大幅度提升查找速度。归档日志归档日志参数文件参数文件索引文件索引文件数据文件数据文件控制文件控制文件REDO日志日志参数文件：参数文件：包括数据库控制文件的定位、优化程序设置。该文件只在建立数据库或启动实例时才被访问，在修改该文件之前必须关闭实例。数据库的物理结构(二)数据文件：数据文件：是物理存储数据库数据的文件，其特点如下：F 每一个数据文件只与一个数据库相联系。F 一个表空间可包含一个或多个数据文件。归档日志归档日志参数文件参数文件索引文件索引文件数据文件数据文件控制文件控制文件REDO日志日志控制文件：控制文件：是一个二进

7、制文件，用于描述数据库结构，包含如下信息：F 数据库建立的日期、数据库名。F 数据库中所有数据文件和日志文件的文件名及路径。F 恢复数据库时所需的同步信息。数据库的物理结构(三)F 日志文件日志文件是数据库备份和恢复中最重要的文件，主要作用在于数据库出现故障时进行恢复。 归档日志归档日志参数文件参数文件索引文件索引文件数据文件数据文件控制文件控制文件REDO日志日志F Redo日志：日志：称为重写联机日志。每个数据库至少有两个联机日志文件，大小固定，并以循环的方式使用。第一个日志文件被填满后，写入第二个日志文件，然后依此类推。F 归档日志：归档日志：数据库只有运行在归档模式下，才会产生归档日志

8、。数据库以归档模式运行，在发生日志切换重写联机日志前，数据库归档进程将先对其进行备份(归档)。数据库存储需求文件名称文件名称存储需求存储需求控制文件大部分数据库都建议使用多个控制文件以确保可靠性。控制文件并不需要经常访问，对于存储设备的性能要求不高。数据文件数据文件占用的存储空间是最大的，主要是随机的读取和写入。典型的RAID策略为RAID10或者RAID5，可以使用较多的磁盘组成RAID组，以提高随机访问的性能。索引文件在数据库中，索引文件是被访问频率最高的数据。查找索引文件需要很大的IOPS。另外，有时候数据库被重新索引，这在计算上非常密集，并且需要大量的I/O带宽。日志文件日志文件主要的

9、I/O操作是顺序写操作，所以用RAID-1就可以满足安全性和读写的要求。由于需要两个或以上的重做日志文件，通常将日志文件放在不同的卷上。数据库存储数据库的数据存储有二种选择: F通过数据库软件本身提供的文件管理系统(又称为裸分区)，软件系统开销较低，性能较好。F使用文件系统的文件管理功能，数据的易用性和可管理较好。F数据库系统往往被逻辑性地组织成多个表空间。F表空间是数据库保存信息的逻辑空间。F使用裸分区存储或文件系统存储都可以把表空间直接映射到LUNLUN表空间表空间1表空间表空间2表空间表空间3表空间表空间4LUNLUNLUNSAN数据库系统数据库系统数据库读写示例库缓冲区日志缓冲区数据文

10、件数据库写进程日志写进程用户请求4ABCD1数据写入库缓冲区2日志写入Redo日志缓冲区3ABCD3日志写入日志文件REDO日志ABCD4数据写入数据文件F为了提高效率，数据库的读写均在缓冲区内进行F缓冲区内的数据最终要写到物理文件中数据库的一致性F数据库的一致性是指日志文件、控制文件、数据文件中的逻辑关系是否正确和完整F由于数据库读写过程中大量使用缓冲，可能出现修改数据未能及时写入磁盘的情况，从而出现不一致的问题F日志文件、控制文件、数据文件中均有同步标记，用以检查数据库的一致性（如Oracle 中的系统改变号SCN）F在数据库运行中，同步标记会发生更改，并将改变结果写入数据文件、控制文件和

11、日志文件F当系统退出、缺省的时间间隔到来、日志空间满等事件发生时都会改变同步标记数据库的备份方式F导出/导入：属于逻辑备份，利用数据导出命令将数据从数据库中提取出来，备份的数据可用导入命令送回到数据库中。比如Oracle提供EXP和IMP命令进行导出和导入。F冷备份：称作离线备份，是指在数据库关闭的情况下，拷贝所有数据文件、控制文件、日志文件等到另外位置。F热备份：称作联机备份，是指在数据库正常运行时，在保证数据库一致性的条件下，备份数据文件、控制文件、日志文件等。数据库的热备份数据库热备份的特点：F调用数据库接口，进行备份模式/正常模式转换。F备份的时间短。F备份时数据库仍可使用。F恢复快速

12、，在大多数情况下能够在数据库工作时恢复。F 数据库使用缓存进行读写，备份时数据文件、控制文件、日志文件存在不一致的问题。F 数据库热备份的重点在于保持数据库的一致性保持数据库的一致性。数据库的恢复F基本的恢复包含两个部分：（1）还原上一次备份（2）利用日志文件中的数据，恢复上一次备份之后更新的数据F一致性检查：数据库启动后，会进行数据文件、控制文件、日志文件的一致性检查。在数据库文件取得一致之前，无法打开数据库。不同应用的存储性能需求不同应用的存储性能需求SAN的2个主要评价指标是：IOPS和带宽IOPS指的是系统在单位时间内能处理的最大的I/O数量带宽throughput指的是单位时间内最大

13、的I/O流量NAS的2个主要评价指标是：OPS和ORTOPS(Operations per Second)每秒有多少个操作，是并发能力的指标ORT(Overall Response Time)表示客户得到服务响应的快慢，单位是毫秒，这个数值越小越好存储主要性能指标存储主要性能指标1. WEB应用既包括简单的WEB页面读取，也包括对数据库的复杂查询和更新，其中包含大量文本、音像等非结构化数据2. WEB服务的存储需求以小文件，共享式读取为主3. WEB应用中也包括数据库应用负载均衡器负载均衡器局域网交换机局域网交换机WEBWEB服务器服务器应用服务器应用服务器数据库服务器数据库服务器NASNAS

14、设备设备SANSAN设备设备WEBWEB应用对存储的需求应用对存储的需求1. 主流的邮件系统是微软的EXCHANGE SERVER和IBM的NOTES2. 邮件系统的数据特点不同于普通的数据库操作，也不同于一般的文件读写，而是基于二者之间。邮件用户等信息属于数据库操作，但是每个用户的邮件又是按照文件组织的3. 邮件服务器的读写以小文件随机读写为主4. 后端存储架构的选择比较灵活，可以根据邮件系统的要求选择SAN或者NAS邮件应用对存储的需求邮件应用对存储的需求SAN/NAS存储网络LAN网络Client数据库服务器1. 视频点播服务器集群消除计算和IO瓶颈2. 要求存储设备提供稳定的带宽3.

15、以顺序读写为主视频点播服务器WEB服务器认证服务器流媒体应用对存储的需求流媒体应用对存储的需求业务类型性能要求文件服务一般使用较小的数据块请求，并体现随机特征请求大小在512B到64KB之间分布打印服务通常使用较大的数据块请求一般为64KBWEB服务通常使用较小的数据块，并体现随机特征一般为512B-512KBBBS系统使用零散的文件存放文章，访问模式基本是小文件随机读写多在512B到64KB之间分布数据库系统一般都表现为大量的IO访问，对带宽要求较低，主要是随机访问一般为4-16KB邮件服务一般为随机访问，数据块一般为4-16KB视频服务通常是顺序的大数据块读请求，对带宽的压力非常高一般为6

16、4KB及以上非线编通常是顺序的大数据块请求，对带宽的压力非常高，而对IOPS压力较小。一般为64KB及以上各类应用对存储的性能要求各类应用对存储的性能要求HA和集群和集群服务器Aactive服务器Bstandby心跳连接公用网络应用A磁盘阵列客户端PC为了满足关键业务的7*24小时运行的要求，用户对服务器系统的运算性能和可靠性的要求不断攀升集群（Cluster）：是把多个计算机联接在一起，形成整体，因而可以更好地利用设备资源的一项技术集群以模块化的方式满足用户对服务器的需求，并达到大型机的性能和可靠性，性价比高集群概述集群概述集群有两种应用：l 一种应用是提高特定应用程序或者服务的可用性，即我

17、们通常提到的HA（High Availability）l 另一种是利用SAN共享软件或集群文件系统提高应用程序的性能。集群概述集群概述高可用集群（高可用集群（HAHA）基本配置）基本配置服务器与集群软件服务器与集群软件心跳线（专有网络）心跳线（专有网络）：用于两台服务器之间相互监测对方状况，可以采用网卡或串口公用网络公用网络：指服务器和客户端通讯的网络 共享磁盘阵列共享磁盘阵列：通过存储设备共享数据，也可以通过纯软件的方式共享数据服务器A服务器B镜像盘心跳线客户端PC公用网络1、在服务器之间，通过网络方式镜像数据，不需要采购磁盘阵列，节约成本2、大数据量读写时，两台服务器会出现数据不同步3、镜

18、像数据占用大量服务器资源，降低系统性能无磁盘阵列有磁盘阵列1、双机集群的主流配置方式2、采用了共享存储，消除数据不同步的现象，系统性能不会降低服务器A服务器B磁盘阵列心跳线客户端PC公用网络高可用集群（高可用集群（HAHA）的分类）的分类Active/ActiveActive/Standby1、服务器AB均为工作机，提供应用服务2、互相监测对方工作状况3、当一台主机出现异常，另一台主动接管应用，保证业务连续4、发生接管后，正常运行主机负载加大，可能影响到响应速度1、服务器A为主服务器，提供应用服务2、服务器B为备份服务器，监测主服务器运行3、当主服务器出现异常，备份服务器自动接管应用，保证业务

19、连续服务器Aactive服务器Bstandby心跳连接公用网络应用A磁盘阵列客户端PC服务器A服务器B磁盘阵列心跳连接公用网络应用A应用B客户端PC高可用集群（高可用集群（HAHA）的分类）的分类共享卷同一个数据卷映射到不同的服务器上SAN共享：在SAN环境下，多个客户端对一个卷同时进行读写例如：非线性编辑等应用要求多台服务器同时读写相同的卷，并且要求存储系统提供持续、稳定的高带宽读写SAN和NAS不同，在SAN环境中不存在对共享数据的监管和访问控制功能，服务器之间没有办法进行通讯，可能会出现多台服务器同时改写一个文件的现象，导致数据的不完整或损坏SANSAN共享共享SANSAN可以采用以下两

20、种方式实现卷共享可以采用以下两种方式实现卷共享l SAN共享软件（如IBM公司的SANergy，SGI公司的CXFS等）l 集群文件系统（如REDHAT GFS,HP CFS等）SANSAN共享实现方式共享实现方式元数据（元数据（MetadataMetadata）：）：对数据的某些属性进行说明或描述的特殊数据。例如：一个文件的元数据包括文件名、文件大小、访问控制表、起始地址、创建时间等。通常所说的文件分区表，就是用来保存分区中所有实际数据的“元数据”。MDCMDC（Metadata ControllerMetadata Controller）：）：元数据控制器，顾名思义，就是控制元数据的读取，对共享卷起着服务器的作用，用来管理用户认证、访问控制和文件系统锁定 。系统部署：系统部署：所有的服务器上均须安装SAN共享软件客户端；并指定一台或几台服务器作为MDC安装SAN共享软件服务。工作原理：工作原理：SAN共享软件通过MDC对元数据进行管理，从而协调各个服务器的读写关系，实现数据一致性。例如：如果一台计算机已经打开目录视图，而另一台计算机更改该目录（添加或删除文件），则所有计算机上的目录视图都将更改 。SANSAN共享软件概念介绍共享软件概念介绍磁盘阵列MDCClientClientClientSAN网络1 12 23 3L