Commvault重复数据删除功能介绍

1、重复数据删除功能介绍内存数据库为什么使用内存数据库?提高重删性能直接将重复数据删除记录写入到磁盘导致很多性能问题.降低DDB重建时间V10中内存中的DDB采用非日志模式,仅仅当重删引擎停止时才写入磁盘.重删引擎只有在备份和数据老化作业完成后才停止,或者DDB备份时才停止.SIDB2 进程非正常停止会导致磁盘库和DDB的状态不一致.磁盘库和DDB hash签名记录如有大的差异,会导致长时间的DDB重构.内存数据库是在不影响DDB性能的情况下避免长时间重构的有效方法.内存数据库如何工作?以事务处理模式运行DDB在内存中创建3个DDB表实例MemDB 2 活动（Active） 从备份流中接受连接Me

2、mDB 1 关闭（Closed） 空闲, 不再接受连接MemDB 0 合并（In Merge） 提交完成的hash签名到DDB DiskDB每个MemDB实例包含20秒的DDB活动查询时使用所有的MemDB和DiskDB，但写操作只涉及活动MemDB第四个DDB表实例存在于DDB磁盘DiskDB 从MemDB 0 （合并）接受完成的交易MemDB1MemDB0MemDB架构- 插入MemDB2MergeMemDBIn MergeClosed - WaitingFor MergeActiveClean UpProcessDDB CallsMemDB LevelsAdd / Update Reco

3、rdsOn-Disk DB(Transaction Enabled)MemDB 架构 查询MemDB2MemDB1MemDB0On-Disk DB(Transaction Enabled)In MergeClosed - WaitingFor MergeActiveDDB CallsQuery RecordsMemDB LevelsMemDB架构DiskDB InstanceMemDB InstancesActiveClosedIn MergePrimary TableSecondary Table FilesZero Reference TableUnique signature, loca

4、tion on disk, and block counterEach file contains 16 archive file references Holds signature when primary table counter reaches zeroTable StructurePrimary TableSecondary Table Files内存数据库附加说明V11SP2时内存数据库是可配置的选项可在DDB创建或封存后时启用，因为新的DDB是空的使用独立工具将已经存在的DDB转换为内存数据库（即将实现）介质服务器需要至少32GB内存DDB必须放在固态硬盘传统的DDB仍旧是默认

5、的配置内存数据库个数目前不能配置（默认3个）研发认为3个内存数据库实例从性能和健壮性来讲是最优配置内存数据库摘要内存数据库是提升DDB性能的可配置选项除了DiskDB外,内存数据库允许3个DDB实例在内存中运行DiskDB以事务处理模式运行，提交变化到磁盘插入操作， 20秒的活动保存在每个MemDB实例中MemDB每20秒提交到DiskDB中已经提交的MemDB实例内容被清除用作新的插入操作查询操作， 所有3个MemDBs和DiskDB都会被查询到其他的内存数据库优势包括在某些场景下可缩短DDB重构时间增量重构重构类型不同场景（使用内存数据库)DDB不正常关闭（由于MA重启，人工干预或进程崩溃

6、）增量重构 新特性DDB卷损坏或丢失传统重构DDB卷损坏或丢失， 且DDB备份不可用完全重构增量重构使用内存数据库后新的重构模式恢复阶段不需要从备份中恢复DDB 增加记录阶段跳过清除记录阶段，因为数据老化只使用DiskDB,内存数据库中不存在老化记录预计执行时间- 2分钟- 比传统重建节约大量时间V11 重复数据删除变化4分区DDBCLDB134Shared Disk Library Deduplication Database Partitions Signature Lookups2DDB DIPDDB DIPDDB DIP4分区DDB为什么使用4分区?性能重删处理负载到更多的介质服务器，

7、提高重删处理能力容量每个DDB分区可以以最优的速度支撑50个并发数据流4分区重删池可支持多达200个并发数据流没有官方的最大记录数定义，DDB查询和插入时间决定最大容量。弹性V10中DDB可用性选项会导致重删池中50%的块重定基线。4分区DDB，如果1个分区离线， 重定基线降低为25%。4分区DDB数据如何在DDB分区中分布?Mod（）函数处理每个重删块hash值模函数由hash值做除法后得到余数余数决定数据块发送给哪个DDB分区相同的hash值总是发送给相同的DDB分区如果1个分区离线，备份作业在任何其他分区上都不能继续除非“DDB可用性选项”被设定4分区DDB如启用可用性选项允许最多3个分

8、区离线由于影响磁盘库用法，不推荐此种配置分区中分布数据0231DDB DIPDDB DIPDDB DIPGroup Numberd0c77c4b4d9e6ceb333b527db332b6343c6ae9c39c321daf7764e65c71b2b02693f17a711c22a108b559d316f975e26260b6a8616cf905e4d9ddcd8201161e60SHA-512 HASH (Hex)Modulus Functionhash mod 4 = 0 (Divide the hash by 4, the remainder is 0.) HASH Decimal Eq

9、uivalent10934656070627700798424733116722136166901787802279803557058323294694357019902710585831691683530559954501149273815871731092084381728104818069814618545856096128 KB Blocks Client File System d0c77c4b4d9e6ceb333b527db332b6343c6ae9c39c321daf7764e65c71b2b02693f17a711c22a108b559d316f975e26260b6a861

10、6cf905e4d9ddcd8201161e6110934656070627700798424733116722136166901787802279803557058323294694357019902710585831691683530559954501149273815871731092084381728104818069814618545856097hash mod 4 = 1 (Divide the hash by 4, the remainder is 1.) 4分区DDB当1个分区离线, 该分区的数据块将会在其他分区上重做重删数据块的hash签名会添加到主表，即使它已在离线分区的主

11、表中存在数据块再次写入到共享磁盘库随时间推移会引起磁盘空间使用量增将DDB可用性选项意味着是一个临时性举措以使得备份能够继续(默认关闭)4分区DDB当1个分区离线会怎样?031DDB DIPDDB DIPDDB DIPGroup Number128 KB Data Blocks With Existing HashesClient File System2Partition Goes OfflineRebaselining of Group 2 Blocks Into Group 3Hash Mod 4 = 0 Hash Mod 4 = 1 Hash Mod 4 = 2 Hash Mod 4

12、= 3 25 % Disk Space Consumption Increase in Disk LibraryPartioned StoreDDB网络接口分区DDB介质服务器之间推荐使用DDB网络接口DDB网络接口是创建重删存储池时设置DIP的一种机制用途增加分区间hash签名查找性能避免与进来的备份流争用网络避免与非Simpana网络流量争用网络传统的DIP也推荐使用如果分区介质服务器之间配置了辅助拷贝，则DDB网络接口将不会专用DDB网络接口DDB网络接口允许在创建重删存储策略时配置DDB网络接口重删策略配置完后，可使用如下方法调整 DDB网卡DIP 配置向导(CommCell控制面板)

13、介质服务器客户端属性的作业配置栏变化会反映到DDB网络接口界面由于新的ctree数据库版本，V11现在支持DDB压缩采用压缩DDB的数据文件和重索引的方式收缩重删数据库仅仅在DDB磁盘空间已耗尽和SIDB2不活动时使用用法举例sidb2 -compact -in-cn-i-splitsidb2 -compact -in Instance001 -cn qm11v-ma3 -i 62 split 00压缩DDB其他 v11 重删变化V11中封存老版本的DDB会创建V11的DDB每个辅助文件的存档文件从256减少到16减少DDB大小消除V10中使用完全重建来缩减DDB的必要减少使用新的DDB压缩特

14、性必要Mac客户端支持客户端DDB缓存“请勿重复数据删除久于以下项的对象”设置重新可用已有的重删储存策略上增加分区（即将实现) 增量数据验证 增量数据验证验证重复数据删除数据库检验从上次数据验证以来增加的唯一数据块读取数据块做校验对比, 确保数据块可读取验证磁盘和重复数据删除数据库的现有作业检验从上一次数据验证以来增加的唯一数据块和作业读取数据块做校验对比, 确保数据块可读取。并且从CSDB中读取作业所对应的数据块，以验证作业所有数据均可读取。增量数据验证不支持”重复数据删除数据库的快速验证”不做数据块可读性验证，只对比DDB和磁盘元信息中的数据块信息一致。增量数据验证增量验证在 V11 SP3中，当创建重删策略时自动设定增量数据验证计划。每天检测坏块，防止坏块被新的备份使用。与坏块hash签名相同的数据块会在磁盘库中重新写入在下一次备份时重新写入新块新的备份作业中数据块有效，但不会修复已经存在坏块的作业已验证过的数据块不会再次去检查，除非该数据块被没验证过的作业使用。为避免这种场景，需手工执行完整数据验证 增量数据验证验证允许备份作业继续执行数据验证不影响备份操作日常的读操作（恢复，辅助拷贝，合成全备份）也会检测数据块的有效性在v10中, 日常读操作只标记第一个坏块如果后续的块损坏，读操作检测不到在V11 中，