H3SE存储培训教材第三部分2应用技术

H3SE存储培训教材———————存储相关的应用技术日期：2007－8－10存储产品部学习目标掌握和存储相关的IT应用技术，扩大知识面了解各种IT应用技术和存储的关系，从IT的角度理解存储了解存储在各种应用中的作用和关注点学习内容服务器和操作系统1文件系统2数据库系统3中间件和IT应用架构4集群和HA5典型行业应用简介6IT架构相关技术应用技术和存储的关系应用技术典型应用集群和HA数据库系统文件系统服务器和操作系统中间件和IT应用架构存储的配置和优化共享存储数据的一致性保证性能影响和调优兼容性IT系统的存储访问关系存储底层上层关系主机端的硬件和操作系统分类专用操作系统：z/OS硬件：IBMZSeries900、AS400/390存储连接接口：ESCON、FICON接口硬件：存储连接需要专用的驱动程序大型机小型机PC服务器UNIX操作系统：IBMAIX、HPHP-UX、SUNSolaris硬件：IBMPower系列、HPPA/Itanium系列、SUNSPARC系列存储连接接口：SCSI、FC、iSCSI接口硬件：SCSI接口卡、FCHBA卡、网卡、TOE卡、iSCSIHBA卡操作系统：MSWindows、Linux硬件：各种X86架构的服务器，IBM、HP、SUN、DELL、浪潮、联想存储连接接口：SCSI、FC、iSCSI接口硬件：SCSI接口卡、FCHBA卡、网卡、TOE卡、iSCSIHBA卡主机端的文件系统IBMAIX：HPFS(OS/2)、JFSHPHP-UX：VxFSSUNSolaris：UFS、VxFSLinux：EXT2、EXT3、ReiserFS、NFSWindows：FAT、FAT32、NTFS、CIFSVeritas：VxFS文件系统特性每种操作系统都采用一种或几种专用的文件系统操作系统中，文件的创建、更新和保存都需要文件系统来管理文件系统分32位和64位，主要体现在寻址空间上的差异文件系统直接关系到整个系统的效率，只有文件系统和存储系统的参数（比如块大小、条带大小、对齐方式）互相匹配，整个系统才能发挥最高的性能。文件系统分类数据库的定义和存在形式数据库定义定义：有关联关系的信息通过合理的结构组织在一起的数据集合，可以通过其专用的命令（SQL语言）对信息进行快速的建立、存储、更新、删除、查询数据库的评价指标：数据检索能力、并行处理能力、支持的数据规模、稳定性等几个方面数据库存在形式数据库建立在文件系统上（比如：工资.DBF文件），数据的读写操作由操作系统上的文件系统来控制，采用文件系统的数据读写缓冲机制，没有针对数据库做专用的优化，适合小型的数据库应用数据库直接建立在裸设备（硬盘）上（没有文件名，只有一个链接符号），数据的读写操作由数据库自己来控制，数据读写的缓冲机制也是数据库自己设定，由于是专门针对数据库应用设计，所以性能相对较快，适合大型的数据库应用数据库分类从支持的数据规模、处理能力、管理功能等方面来看，分为三类：桌面型数据库系统：FoxPro、MSACCESS、PARADOX等中小型数据库系统：SQLSERVER、MySQL等大型数据库系统：DB2、SYBASE、ORACLE、INFORMIX等DB2从数据库的组成结构分为三类：关系型数据库：现在绝大部分应用都是采用这一类非结构化数据库：专用数据库，比如图书馆、数字媒体等针对文件的管理应用对象数据库：新兴的数据库，还未形成规模应用数据库对存储系统的要求文件名称存储需求控制文件大部分数据库都建议使用多个控制文件以确保可靠性。控制文件并不需要经常访问，对于存储设备的性能要求不高。数据文件数据文件占用的存储空间是最大的，主要是随机的读取和写入。典型的RAID策略为RAID10或者RAID5，可以使用较多的磁盘组成RAID组，以提高随机访问的性能。索引文件在数据库中，索引文件是被访问频率最高的数据。查找索引文件需要很大的IOPS。另外，有时候数据库被重新索引，这在计算上非常密集，并且需要大量的I/O带宽。日志文件日志文件主要的I/O操作是顺序写操作，所以用RAID-1就可以满足安全性和读写的要求。由于需要两个或以上的重做日志文件，通常将日志文件放在不同的卷上。数据库读写过程示例库缓冲区日志缓冲区数据文件数据库写进程日志写进程用户请求4ABCD1数据写入库缓冲区2日志写入Redo日志缓冲区3ABCD3日志写入日志文件REDO日志ABCD4数据写入数据文件为了提高效率，数据库的读写均在缓冲区内进行缓冲区内的数据最终要写到物理文件中快照代理－－保证数据一致性快照的数据一致性问题业界大多数的存储系统在做快照时，都仅仅是对磁盘中的数据进行快照操作，而没有顾及服务器缓存中的数据。因此，经常发现快照出来的数据“不对”，与预期中的数据不一致。在存储设备执行数据快照操作时，必须同时兼顾磁盘和缓存中的数据，才能严格保证数据的一致性。保证快照数据一致性的方法接口调用：部分存储厂商提供编程接口，在主机端放置手动编写的脚本程序。做数据快照时，通过脚本调用数据库的接口，将缓存“刷”到磁盘上，以此保证数据一致性。快照代理：少数厂商提供完全自动化的快照代理程序，针对不同的客户端应用，比如Oracle、SQLServer、Exchange、Notes等，在客户端安装不同的快照代理程序，与应用程序进行联动，保证各种存储服务运行时关键业务数据的一致性和完整性。

中间件是一种独立的系统软件或服务程序一般位于操作系统和数据库之上，应用软件的下层为处于自己上层的应用软件提供运行与开发的环境，实现在不同的技术之间共享资源，帮助用户灵活、高效地开发和集成复杂的应用软件中间件分类：远程过程调用、面向消息的中间件、对象请求代理中间件一般需要安装在单独的服务器上，但是中间件服务器不需要连接后端存储，中间件服务器通过数据库服务器访问存储中间件应用软件应用软件中间件（分布式系统服务）数据库操作系统硬件数据库操作系统硬件数据库中间件基于Web的数据库中间件中间件的体系结构应用系统的典型IT架构多层应用服务器Aactive服务器Bstandby心跳连接公用网络应用A磁盘阵列客户端PC集群技术：至少将两个系统连接到一起，使两个或者以上的服务器能够像一台机器那样工作或者看起来好像一台机器。例如，一个有两台服务器生成的WEB服务器集群系统，它对每个终端用户是透明的，而且完全就像一台服务器在工作。集群概述服务器A服务器B镜像盘心跳线客户端PC公用网络1、在服务器之间,通过网络同步数据2、大数据量读写时，两台服务器会出现数据不同步3、镜像数据占用大量服务器资源，降低系统性能无磁盘阵列有磁盘阵列1、双机集群的主流配置方式2、采用了共享存储，消除数据不同步的现象，系统性能不会降低3、多服务器集群常采用NAS、SAN共享软件来实现存储共享服务器A服务器B磁盘阵列心跳线客户端PC公用网络集群的存储系统共享卷F:F:F:F:

同一个数据卷映射到不同的服务器上SAN共享：在SAN环境下，多个客户端对一个卷同时进行读写例如：非线性编辑等应用要求多台服务器同时读写相同的卷，并且要求存储系统提供持续、稳定的高带宽读写SAN和NAS不同，在SAN环境中不存在对共享数据的监管和访问控制功能，服务器之间没有办法进行通讯，可能会出现多台服务器同时改写一个文件的现象，导致数据的不完整或损坏SAN共享SAN可以采用以下两种方式实现卷共享SAN共享软件（如IBMSANergy，SGICXFS等）集群文件系统（如REDHATGFS,HPCFS等）刀片式服务器和集群常用操作系统为Windows、Linux采用FC-SAN存储：每个刀片需要HBA卡，投入较大采用IP-SAN存储：通过网口接入，综合成本优势明显典型行业应用介绍WEB应用既包括简单的页面读取，也包括对数据库的复杂查询和更新，其中包含大量文本、音像等非结构化数据WEB服务的存储需求以小文件，共享式读取为主负载均衡器局域网交换机WEB服务器应用服务器数据库服务器NAS设备SAN设备WEB应用对存储的需求SAN/NAS存储网络LAN网络客户端…邮件服务器邮件应用对存储的需求常见的邮件系统是微软的EXCHANGESERVER和IBMLotusNOTES邮件系统的数据特点介于数据库和普通文件二者之间。邮件用户等信息属于数据库操作，但是每个用户的邮件又是按照文件组织的邮件服务器的读写以小文件随机读写为主SAN/NAS存储网络LAN网络Client数据库服务器视频点播服务器集群消除计算和IO瓶颈要求存储设备提供稳定的带宽以顺序读写为主…视频点播服务器WEB服务器认证服务器流媒体应用对存储的需求业务类型性能要求文件服务一般使用较小的数据块请求，并体现随机特征请求大小在512B到64KB之间分布打印服务通常使用较大的数据块请求一般为64KBWEB服务通常使用较小的数据块，并体现随机特征一般为512B-512KBBBS系统使用零散的文件存放文章，访问模式基本是小文件随机读写多在512B到64KB之间分布数据库系统一般都表现为大量的IO访问，对带宽要求较低，主要是随机访问一般为4-16KB邮件服务一般为随机访问，数据块一般为4-16KB视频服务通常是顺序的大数据块读请求，对带宽的压力非常高一般为64KB及以上非线编通常是顺序的大数据块请求，对带宽的压力非常高，而IOPS压力较小。一般为64KB及以上各类应用对存储的性能要求9、春去春又回，新桃换旧符。在那桃花盛开的地方，在这醉人芬芳的季节，愿你生活像春天一样阳光，心情像桃花一样美丽，日子像桃子一样甜蜜。1月-251月-25Monday,January27,202510、人的志向通常和他们的能力成正比例。21:22:0121:22:0121:221/27/20259:22:01PM11、夫学须志也，才须学也，非学无以广才，非志无以成学。1月-2521:22:0121:22Jan-2527-Jan-2512、越是无能的人，越喜欢挑剔别人的错儿。21:22:0121:22:0121:22Monday,January27,202513、志不立，天下无可成之事。1月-251月-2521:22:0121:22:01January27,202514、ThankyouverymuchfortakingmewithyouonthatsplendidoutingtoLondon.ItwasthefirsttimethatIhadseentheToweroranyoftheotherfamoussights.IfI'dgonealone,Icouldn'thaveseennearlyasmuch,becauseIwouldn'thaveknownmywayabout.。27一月2025