SANGFOR_aDesk_VMP4.6_2016年度渠道高级认证培训06_存储分类和虚拟存储介绍

SANGFORaDesk存储分类和虚拟存储介绍,存储分类介绍,虚拟存储维护,SANGFORaDesk,虚拟存储介绍,存储硬件配置,4,存储分类介绍,存储分类介绍,存储评估参数容量：存储数据可用的空间大小读写速度：数据读取、写入的速率IOPS/IODepthIOPS，每秒进行读写操作的次数，衡量存储的随机访问性能IODepth，IO队列长度，即同时提交给磁盘执行读写操作的指令队列长度，能够衡量存储的吞吐量和整体响应时间磁盘的IOPS取决于队列长度/平均IO响应时间寿命：存储磁盘的生命周期，数据的安全期成本：性价比等因素,存储分类介绍,本地存储（LocalStorage）计算机内部安装的存储介质只有当前计算机操作系统能够读写，其他主机只能通过当前操作系统上面开放共享后通过网络访问,存储分类介绍,本地存储（LocalStorage）按存储介质分类机械硬盘(HHD,HardDiskDrive)通过电磁的正负极性来存储由0和1表示的数据。机械硬盘主要由圆形磁碟、高速马达、可移动磁头组成，数据储存在磁碟的扇区里固态硬盘(SSD,SolidStateDrives)一般采用Flash作为存储介质，DRAM作为缓存，通过主控芯片进行读写控制,存储分类介绍,本地存储（LocalStorage）,存储分类介绍,本地存储（LocalStorage）,存储分类介绍,本地存储（LocalStorage）按接口分类SATA(SerialATA)常用于普通机械硬盘、固态硬盘接口理论传输速度6Gbps(SATA-III)SAS(SerialAttachedSCSI)常用于企业级机械硬盘向下兼容SATA接口理论传输速度6Gbps-12GbpsPCI-Express常用于高速固态硬盘或外部存储扩展,存储分类介绍,外置存储(ExternalStorage)拥有若干存储资源的硬件设备，运行专用的存储管理系统，对外提供数据存储服务通用存储系统FreeNAS、MicrosoftStorageServer专业存储华为OceanStorage惠普HP3PARIBMXIV等,存储分类介绍,外置存储(ExternalStorage)按访问方式分类DAS(DirectAttachedStorage)直接连接存储将存储设备通过SAS/SCSI等接口直接连接到一台计算机上，点对点传输NAS(NetworkAttachedStorage)网络连接存储将存储设备通过标准的网络拓扑结构（例如以太网）连接到多个计算机上，使用iSCSI等协议一对多传输SAN(StorageAreaNetwork)存储区域网络使用光纤通道(FiberChannel)和FC交换机进行组网，连接存储阵列和计算机，建立专用于数据存储的区域网络,存储分类介绍,外置存储(ExternalStorage)按访问方式分类,DAS（DirectAttachedStorage）直接连接存储，将存储设备通过SAS/SCSI等接口直接连接到一台计算机上，点对点传输。,存储分类介绍,外置存储(ExternalStorage)按访问方式分类,NAS(NetworkAttachedStorage)网络连接存储，将存储设备通过标准的网络拓扑结构（例如以太网）连接到多个计算机上，使用iSCSI等协议一对多传输。,存储分类介绍,外置存储(ExternalStorage)按访问方式分类,SAN(StorageAreaNetwork)存储区域网络，通常使用光纤通道(FiberChannel)和FC交换机进行组网，连接存储阵列和计算机，建立专用于数据存储的区域网络。,存储分类介绍,外置存储(ExternalStorage)iSCSI协议SCSI(SmallComputerSystemInterface)是一个通用接口标准，用于计算机和外部设备（硬盘、光驱、打印机、扫描仪等）之间的系统级接口标准iSCSI协议将硬件设备调用的SCSI指令集进行封装并在IP网络上进行传输，实现基于网络的存储数据交换存储设备与客户机之间使用iSCSI协议建立连接，通过以太网协议来发送SCSI命令、响应和存储数据，形成SAN存储区域网络，即基于高速网络实现的数据块级别的数据存储,存储分类介绍,外置存储(ExternalStorage)iSCSI关键字Target:存储设备使用iSCSI协议提供的存储资源Initiator:发起iSCSI连接访问存储资源的客户端LUN(LogicalUnitNumber):iSCSI存储设备可以划分出若干个逻辑存储单元，可以使用LUN来标识，也可以使用targetID来标识IQN(iSCSIQualifiedName):initiator和target是通过名字进行识别的，每一个iSCSI节点（即initiator）必须拥有一个唯一的iSCSI名称，通常使用IQN来唯一标识initiator,存储分类介绍,外置存储(ExternalStorage),存储分类介绍,外置存储(ExternalStorage)iSCSI客户端Windows系统自带iSCSIInitiator客户端程序,存储分类介绍,外置存储(ExternalStorage)FC存储FC（FiberChannel，光纤通道）协议是SAN（StorageAreaNetworks，存储区域网络）中使用的一种数据传输协议FCSAN采用高速的光纤通道作为传输载体，以SCSI-3协议作为存储访问协议，将存储系统网络化，形成高速共享存储,存储分类介绍,外置存储(ExternalStorage)FC存储WWN（WorldWideName，全球名字）FCSAN网络中，服务器和磁盘设备都统称为Node（节点），每个节点使用一个64位的地址来唯一标识，称为WWN（WorldWideName，全球名字）。FC的上层的SCSI协议通过WWN识别节点并相互通信,存储分类介绍,外置存储(ExternalStorage)FC存储访问控制：为了保证FC存储服务的安全性，通常会将物理上连通的FCSAN网络划分为多个VSAN，实现不同服务器之间的隔离访问同时一个VSAN内的磁盘资源，又可以进一步划分为多个Zone，分别指派给不同的Port，达到访问控制的目的,存储分类介绍,外置存储(ExternalStorage)FC存储HBA卡(HostBusAdapter),HBA卡是一种专门用于FC存储通信的网卡，通常拥有光纤接口(SFP或GBIC)。每个HBA是一个FC交换对象，拥有一系列特殊的属性，包括HBAID、NodeWWN、PortWWN等参数信息服务器如果需要连接到FCSAN使用存储资源，需要配置至少一块FCHBA卡。HBA卡通常插在服务器的PCI或PCI-E插槽上，然后通过光纤连接到FC存储或FC交换机,存储分类介绍,外置存储(ExternalStorage)FC存储HBA卡(HostBusAdapter),存储分类介绍,外置存储(ExternalStorage)FC存储FC存储组网方式直连组网：存储设备通过FC线路直接连接主机（点对点）交换组网：存储设备和主机都通过FC线路连接到FC交换机，通过FC交换机进行通信（多对多）FC多路径(Multi-Path)通过在存储设备和主机之间建立多条传输路径的方式，避免单条线路故障造成存储不可用。当一条路径发生故障后，主机I/O通信可以使用另一条路径,存储分类介绍,外置存储(ExternalStorage)FC存储,存储分类介绍,外置存储(ExternalStorage),28,虚拟存储介绍,虚拟存储,本地存储通过RAID增加冗余以提升数据可靠性主机之间磁盘不共享，无法跨主机访问IO和容量瓶颈，无法平滑扩容外置存储需要第三方存储设备，成本非常高存储部署复杂，维护困难存在兼容性问题,虚拟存储,分布式存储分布式文件系统（DistributedFileSystem）是指将同一网络中的不同计算机管理的物理存储资源（本地存储）通过网络组织起来，形成一个统一的共享文件系统分布式文件系统的设计基于C/S架构模式。客户端在访问文件时不需要知道它们的实际物理存储位置，即分布在多个计算机上的文件在用户面前就像使用本地存储一样,虚拟存储,分布式存储特性透明性：物理存储位置和底层操作过程对用户透明开放性：提供标准访问接口，可操作，可移植可扩展性：基于分布式设计，可平滑扩容可用性：有数据冗余保障一致性：防止通信故障导致存储系统脑裂,虚拟存储,分布式存储开源代表GoogleFileSystemGoogle为了存储海量搜索数据而设计的专用文件系统HadoopDistributedFileSystem由Apache支持的开源分布式文件系统，具有高度容错性，提供高吞吐量的数据访问，适合大规模数据集上的应用，用于支持分布式计算GlusterFS应用在集群系统中，具有很好的可扩展性。模块化设计，易于扩展和配置,虚拟存储,虚拟存储存储虚拟化(StorageVirtualization)对硬件存储资源进行抽象化实现，屏蔽底层硬件的复杂性，对上层应用提供标准的存储访问接口虚拟化的存储资源就像是一个巨大的“存储池”，用户不会看到具体的磁盘，也不必关心自己的数据经过哪一条路径通往哪一个具体的存储设备,虚拟存储,虚拟存储深信服虚拟存储基于GlusterFS分布式文件系统开发的面对存储虚拟化趋势的一款产品模块化集成在虚拟化管理平台（桌面虚拟化VMP，服务器虚拟化aSV）上，通过网络整合管理VMP/aSV集群内所有服务器的硬盘（系统盘除外）,虚拟存储,深信服虚拟存储将多台主机的物理硬盘组成存储池，统一调度分配,存储池化,IP网络,IP网络,虚拟存储,深信服虚拟存储以VMP/aSV集群为依托，基于分布式存储架构，可进行横向扩展,VS,File,File,虚拟存储,深信服虚拟存储存储通信网络虚拟存储是基于网络的分布式存储，需要将所有主机通过IP网络（二层、组播）进行连接，组建存储通信网络基本要求：通信稳定：延时不超过5ms，无丢包带宽足够：千兆或万兆局域网连接,虚拟存储,深信服虚拟存储存储通信网络复用管理口使用VMP/aSV管理口（默认ETH0）进行存储通信优点：部署简单，无需额外使用物理网口缺点：业务数据和存储数据之间容易出现带宽抢占注意：有多余网口的情况下，不能复用管理口,虚拟存储,深信服虚拟存储存储通信网络复用管理口,虚拟存储,深信服虚拟存储存储通信网络无链路聚合每台主机使用一个单独的网口互联，组建存储私网优点：业务数据和存储数据隔离缺点：存储私网没有冗余，链路故障时会导致存储不可用注意：两台主机部署时，可以用网线将存储通信网口直连起来超过2台主机，需要用千兆交换机互联，如果跟其他网络使用同一个交换机，务必使用VLAN进行隔离,虚拟存储,深信服虚拟存储存储通信网络无链路聚合,虚拟存储,深信服虚拟存储存储通信网络单交换机链路聚合每台主机使用两个单独的网口组建存储私网存储通信网口全部接入到同一个二层交换机（千兆以上）VMP/aSV主机间自动进行聚合，无需在交换机上配置聚合优点：双倍带宽，且具有链路冗余缺点：存在交换机单点故障风险,虚拟存储,深信服虚拟存储存储通信网络单交换机链路聚合,虚拟存储,深信服虚拟存储存储通信网络双交换机链路聚合每台主机使用两个单独的网口组建存储私网存储通信网口分别接入到两个二层交换机（千兆以上）VMP/aSV主机间自动进行聚合，无需在交换机上配置聚合优点：双倍带宽，且链路和交换机都有冗余,虚拟存储,深信服虚拟存储存储通信网络双交换机链路聚合,虚拟存储,深信服虚拟存储副本VMP/aSV平台上的虚拟机以qcow2文件的形式存储，文件在物理磁盘上保存的份数，称为“副本”虚拟存储支持13个副本通过多副本技术，增加数据冗余，避免磁盘或主机故障导致数据不可用。副本数量、副本保存的位置对虚拟存储上层的应用不可见副本数在虚拟存储初始化完成后，使用过程中不能再修改,虚拟存储,深信服虚拟存储副本分布卷虚拟存储对上层应用可见的逻辑卷，VMP/aSV读写文件是对分布卷进行操作的，由分布卷组成分布式存储数据写入时先进行分布，再分散到各个主机复制卷复制卷将文件写入具体磁盘，通过副本间的同步复制实现数据冗余每个复制卷包含的物理磁盘个数跟副本数量相同，一个复制卷下每个物理磁盘的数据内容完全一致复制卷的最小组成单位是物理磁盘，即同一文件的不同副本只能保存在不同的物理磁盘上,虚拟存储,深信服虚拟存储副本多副本,虚拟存储,深信服虚拟存储1副本类似RAID0的实现方式，仅用于容量累积优点：可利用空间最多，VS存储空间与磁盘总容量相同缺点：数据无冗余，磁盘故障或主机故障时，数据丢失,虚拟存储,深信服虚拟存储1副本每一个物理磁盘都是一个独立的复制卷,虚拟存储,深信服虚拟存储2副本类似RAID0+1的实现方式优点：可承受单个磁盘故障，或多主机时单台主机离线,虚拟存储,深信服虚拟存储2副本多主机2副本时，同一复制卷下的2个磁盘自动选择不同主机进行分布,虚拟存储,深信服虚拟存储3副本要求至少3台主机，冗余度最高缺点：可用存储空间仅为总磁盘容量的1/3,虚拟存储,深信服虚拟存储3副本,虚拟存储,深信服虚拟存储写入qcow2文件时，同时写入每一个副本，正常情况下副本数据会始终保持一致读取qcow2文件时，采用就近原则，优先从当前主机读取副本，当前主机不存在副本，即跨主机时通过存储私网读取,虚拟存储,深信服虚拟存储缓存盘借助SSD的高速读写优势，提升存储整体IO水平数据盘虚拟存储底层数据的硬件载体，一般采用大容量、高可靠性的企业级机械硬盘数据盘数量是副本数量的整数倍热备盘作为备用的数据盘，当数据盘出现故障时，自动替代故障磁盘使用,虚拟存储,深信服虚拟存储缓存盘读缓存场景：一个虚拟机频繁读取相同数据派生虚拟机共用同一个模板，基于同一个qcow2文件，不同虚拟机读取相同的数据块的概率很大刚写入磁盘的数据，未来被读取的概率较大注意：缓存的最小单位是数据块（Block）,虚拟存储,深信服虚拟存储缓存盘,VMP,VM1,VM2,VM3,Block,Block,读文件请求,未命中缓存,读相同文件,命中缓存,虚拟存储,深信服虚拟存储缓存盘写缓存场景：存储通信网络带宽瓶颈，复制卷通过网络写入每个副本，会收到带宽限制，写入操作频繁时，复制卷无法实时写入每个硬盘,虚拟存储,深信服虚拟存储缓存盘,上层写入数据请求到达SSD写缓存模块SSD写缓存模块把数据写入到SSD磁盘，并获得返回值SSD写缓存模块在确定数据写入SSD磁盘后，即立即返回上层模块写入成功SSD写缓存模块在缓存数据累计到一定量后，从SSD磁盘读出数据SSD写缓存把从SSD磁盘读出的数据批量回写到机械磁盘,61,虚拟存储维护,虚拟存储维护,故障处理磁盘故障处理主机故障处理主机、磁盘离线重建存储扩容磁盘扩容主机扩容扩容后数据平衡,虚拟存储维护,磁盘故障处理替换磁盘当虚拟存储磁盘被误拔出时，会显示磁盘离线，此时立即插回，数据可以自动修复当磁盘故障、不可用时，会显示磁盘故障，需要在集群内插入容量相同（或更大）的新磁盘，然后进行磁盘替换操作,虚拟存储维护,磁盘故障处理替换磁盘,系统盘,缓存盘,数据盘,数据盘,数据盘,复制卷,数据盘,1.磁盘发生离线或故障2.使用新磁盘进行替换3.副本自动重建修复,虚拟存储维护,磁盘故障处理替换磁盘可以拔出故障磁盘并在原磁盘位置插入新磁盘，或者在其他盘位插入新磁盘。插入新磁盘后，点击“更换磁盘”，然后根据向导提示，对新磁盘进行初始化。替换完成后，副本会需要一段时间来自动重建。,虚拟存储维护,磁盘故障处理热备盘如果虚拟存储初始化时有预留“热备盘”，则当存储中有数据盘发生故障时，会自动使用“热备盘”来替换故障磁盘自动替换后，原故障磁盘仍然显示离线状态，需插入新磁盘按向导进行替换，替换完成后的新磁盘作为“热备盘”使用,虚拟存储维护,磁盘故障处理热备盘,系统盘,缓存盘,数据盘,数据盘,热备盘,复制卷,热备盘,数据盘,1.磁盘发生离线或故障2.副本自动在热备盘上重建3.替换故障磁盘的新磁盘自动成为热备盘,虚拟存储维护,主机故障处理替换主机集群内有主机离线或故障时，可以使用新的主机替换故障主机新主机的版本必须和故障主机保持一致。硬件配置不可低于故障主机，包括CPU、内存、磁盘个数、磁盘容量、网口个数等。,虚拟存储维护,数据重建当磁盘离线或主机故障，在指定时间范围内无法及时恢复，如果再次发生其他故障，则可能导致数据丢失数据重建是在2副本以上场景，复制卷的其中1个副本离线，不能及时恢复时，自动占用其他复制卷的可用空间，进行副本重建并同步注意：重建会占用其他复制卷的磁盘，可能导致磁盘可用容量降低。同时重建过程会影响虚拟存储性能,虚拟存储维护,数据重建,系统盘,缓存盘,数据盘,数据盘,数据盘,复制卷,数据盘,1.磁盘发生离线或故障2.超过指定时间没有替换3.副本自动选择空余磁盘重建修复,虚拟存储维护,磁盘扩容当主机上空闲盘位插入新磁盘时，可以将其加入虚拟存储，进行磁盘扩容扩容的磁盘数量必须是副本数的整数倍如果是多台主机做集群，应把扩容新增的磁盘平均分配到各台主机,虚拟存储维护,主机扩容当主机性能不足，或没有空余盘位来扩充存储时，可以增加主机进行扩容主机扩容时，先将新主机加入当前集群，同时将新主机上的磁盘加入虚拟存储，进行初始化,虚拟存储维护,主机扩容,系统盘,缓存盘,数据盘1,数据盘3,复制卷,系统盘,缓存盘,数据盘2,数据盘4,数据盘4,热备盘,1.新增主机加入集群，磁盘加入虚拟存储2.现有复制卷的副本会部分迁移到新磁盘3.新的复制卷会分到不同主机上产生4.如果有剩余的磁盘，可以作为热备盘,虚拟存储维护,主机扩容,系统盘,缓存盘,数据盘1,数据盘2,数据盘3,复制卷,系统盘,缓存盘,数据盘4,数据盘5,数据盘6,复制卷,如果一次性新增副本倍数台主机，则直接在新主机上产生新的复制卷。,虚拟存储维护,数据平衡计划扩容之后，数据依然存在原磁盘上，数据读写的压力都集中在原磁盘上，新磁盘无法及时充分利用，导致资源浪费通过数据平衡，可以将原磁盘上的部分数据迁移到新磁盘上（从原复制卷迁移到新复制卷），达到充分利用磁盘和主机资源的目的只能对未在使用的文件进行平衡，正在使用的文件不会被平衡，如虚拟机已开机，其虚拟磁盘文件是不会被平衡的数据平衡会消耗磁盘IO性能,虚拟存储维护,数据平衡计划,系统盘,缓存盘,数据盘1,数据盘3,复制卷,系统盘,缓存盘,数据盘2,数据盘4,数据盘4,热备盘,假如数据盘1的使用率达到80%，新增主机后数据盘4是新的0%，则平衡后会将盘1的部分未使用的数据迁移到盘4（以文件为单位）。,这里数据