视频监控系统数据存储技术20课件

视频监控系统的

数据存储技术课程目标学完本课程后，您能够：掌握RAID的基本概念；掌握RAID0，1，3，5，6，10，50各个级别的原理和适用场合；了解校验冗余算法。一、数据存储技术的基础知识

一、数据存储技术的基础知识

一、数据存储技术的基础知识

一、数据存储技术的基础知识

一、数据存储技术的基础知识

一、数据存储技术的基础知识

一、数据存储技术的基础知识

一、数据存储技术的基础知识

一、数据存储技术的基础知识

RAID基本概念——组织数据的方式（分区/分块/条带）extent0extent0extent1extent0extent1extent1extent1extent0extent2磁盘1磁盘2磁盘3磁盘4分区分条stripestripRAIDRAID基本概念——组织数据的方式（分区/分块/条带）extent0extent0extent1extent0extent1extent1extent1extent0extent2磁盘1磁盘2磁盘3磁盘4分区分条stripestripRAID一、数据存储技术的基础知识

一、数据存储技术的基础知识

RAID基本概念磁盘镜像

RAID基本概念磁盘数据跨盘、数据分段

RAID基本概念——热备和热换备盘阵列1阵列2磁盘故障热换热备切换RAID基本概念——热备和热换备盘阵列1阵列2磁盘故障热换热备切换

RAID级别

以下级别阵列的虚拟磁盘和各物理成员磁盘之间的数据映射关系：0,1,3,5(5E,5EE),6(P+Q,DP),0+1，10,50……Raid2、4呢？一、系统前端接入网络建设RAID级别——RAID0（一）RAID0定义：StripedDiskArraywithoutFaultTolerance(没有容错设计的条带磁盘阵列），以条带形式将RAID阵列的数据均匀分布在各个阵列中。RAID0图解：D0D1D2D3D4D5D6D7D8D9D10D11D12D13D14D15D0D1D2D3D4D5D6D7D8D9D10D11D12D13D14D15逻辑磁盘物理磁盘0物理磁盘1物理磁盘2物理磁盘3stripe0stripe1stripe2stripe3RAID0DataRAID0RRRRWWWWRRRR无法保证数据安全2023/2/3InspurgroupDataRAID060GB60GB60GB60GB240GBAdvantage:BestPerformanceMax.Capacity无法保证数据安全RRRRWWWWAccesstime=1sec1/4sec1/4sec1/4sec1/4sec1/4secRAID0RAID级别——RAID0（二）RAID0小结：至少需要磁盘数2优点缺点极高的读写效率速度快，由于不存在校验，所以不占用cpu资源部署简单无冗余，不是真正的RAID不能用于关键数据环境适用领域视频生成和编辑图像编辑RAID1DataGoodDataProtectRRRRWWWWRRRRRAID12023/2/3InspurgroupRAID160GB60GB60GB60GB60GBDataGoodDataProtectCapacity=1xDiskcapacityMinimumDisksrequired:2RRRRWWWWAccesstime=1sec1sec1sec1sec1sec1secRAID1RAID级别——RAID1（二）RAID1小结：至少需要磁盘数2优点缺点理论上读效率是单个磁盘的两倍100％的数据冗余设计、使用简单成本高，空间利用率只有1/2适用领域财务、金融等需要高可用的数据存储环境2023/2/3InspurgroupWhatisParallelarrayandparity??ParityruleParityBitRAID32023/2/3InspurgroupRAID360GB60GB60GB60GB180GB123PCapacity=

N-1Diskcapacity456PData789PPW123W456W789PPRAID32023/2/3InspurgroupRAID3123MinimumDisksrequired:3DataR123PRAID3RAID级别——RAID3（二）RAID3小结：至少需要磁盘数3优点缺点较RAID5更高的写速率如果有一个磁盘损坏，对吞吐量影响较小控制器设计复杂不能实现软RAID最好的情况下（各个成员磁盘的运转马达同步），传输速率仅相当于单个磁盘适用领域视频生成和在线编辑图像和视频编辑其他需要高吞吐量的的场合2023/2/3InspurgroupRAID5123PDataW123PW456PP456456W789P789789P60GB60GB60GB60GB180GBCapacity=

N-1DiskcapacityRAID52023/2/3InspurgroupRAID5123MinimumDisksrequired:3DataR123PP456789PRAID5RAID级别——RAID5（一）RAID5定义：以XOR检验为冗余方式，校验数据均匀分布在各个数据磁盘上，对各个数据磁盘的访问为异步操作。RAID5图解：D0D1D2P0D3D4P1D5D6P2D7D8P3D9D10D11D0D1D2D3D4D5D6D7D8D9D10D11D12D13D14D15逻辑磁盘物理磁盘0物理磁盘1物理磁盘2物理磁盘3stripe0stripe1stripe2stripe3D12D13P0D11stripe4xorRAID级别——

RAID5（二）RAID5小结：至少需要磁盘数3优点缺点高读取速率中等写速率磁盘损坏会影响系统的吞吐量控制器设计复杂磁盘损坏后，重建很复杂适用领域文件服务器和应用服务器OLTP环境的数据库WEB，E－MAIL服务器RAID6——RAIDDP（一）工作原理：DP：DoubleParityRAIDDP在RAID4所使用的一个行xor检验磁盘的基础上，又增加了一个磁盘，用于存放斜XOR校验信息。DataDisk1DataDisk2DataDisk3DataDisk4ParityDisk1D11D21D31D41D12D22D32D42D13D23D33D43D14D24D34D44P11P21P31P41DualParityDiskRAID4xorRAIDDPD11D22D33D44DP1DP5D12D23D34P41DP2D13D24D31D41DP3D14D21D31D42DP4RAID6——RAIDDP（二）恢复过程：DataDisk1DataDisk2DataDisk3DataDisk4ParityDisk1D13D23D33D43D14D24D34D44P11P21P31P41DualParityDiskxorD33D44DP1DP5D23D34P41DP2D13D24P31DP3D14P21DP4Disk1和Disk2同时损坏恢复开始D21D32D11D22D12D41D31D422023/2/3InspurgroupRAID10DataRAID0RAID1RAID1WWWWRAID102023/2/3InspurgroupRAID10DataRAID0RAID1RAID1RRRRRAID102023/2/3InspurgroupRAID1060GB60GB60GB60GB120GBDataGoodDataProtectCapacity=

½xTotalDiskcapacityMinimumDisksrequired:4RAID0RAID1RAID160GB60GBRRRRRAID102023/2/3RAID1060GB60GB60GB60GB120GBDataMinimumDisksrequired:4RAID1RAID0RAID0120GB120GBRRRRRAID10RAID10DataRAID1RAID0RAID0RRRRRAID10RAID1RAID0RAID0RAID0RAID1RAID1比较RAID10和01RAID组合级别——RAID10（二）RAID10小结：至少需要磁盘数4优点缺点高读取速率高写速率，较校验RAID而言，写开销最小至多可以容许n个磁盘同时损坏（2N个磁盘组成的RAID10阵列）贵只有1/2的磁盘利用率适用领域要求高可靠性和高性能的数据库服务器RAID组合级别——RAID50（一）定义：将镜像和条带组合起来的组合RAID级别，最低一级是RAID5镜像对，第二级为RAID0图解：D1P11D4P12D2P13D11P23D15P14D16D0D1D2D3D4D5D6D7D8D9D10D11D12D13D14D15逻辑磁盘物理磁盘0物理磁盘1物理磁盘2物理磁盘3stripe0stripe1stripe2stripe3D5D10D14D6D3P12D12D13D17P24P22D7物理磁盘4物理磁盘5D16D17…D0RAID组合级别——RAID50（二）RAID50小结：至少需要磁盘数6优点缺点比单个RAI5容纳更多的磁盘比单个RAID5有更好的读性能至多可以容许n个磁盘同时损坏（N个RAID5组成的RAID50阵列）比相同容量的单个RAID5重建时间更短比较难实现同一个RAID5组内的两个磁盘损坏会导致整个RAID50阵列的失效适用领域大型数据库服务器应用服务器文件服务器存储协议的基础知识—scsi存储协议的基础知识—scsi存储协议的基础知识—光纤道FC协议存储协议的基础知识—光纤道FC协议SCSI应用SCSI传输协议SCSI物理连接SCSI应用SCSI传输协议SCSI物理连接Initiator设备Target设备互连协议应用协议传输协议传输服务接口互连服务接口应用层传输协议层互连层存储协议的基础知识—光纤道FC协议Fabric节点N_PortF_PortF_PortE_PortE_PortFL_Port

节点N_Port交换机2交换机1

节点NL_Port

节点NL_PortG_Port服务器或存储设备：N端口NL端口FC交换机：F端口FL端口E端口G端口存储协议的基础知识—光纤道FC协议存储协议的基础知识—光纤道FC协议存储协议的基础知识—ISCSISCSI应用（文件系统、数据库）SCSI块指令SCSI流指令其他SCSI指令SCSI指令、数据和状态iSCSITCPIP以太网等iSCSITCPSCSIIPLinkiSCSITCPSCSIIPLinkIni