萝卜不毒的文献综述

1、前1.1 Hadoop RAID 1.2 Hadoop Syste前1.1 Hadoop RAID 1.2 Hadoop System 集（largedata set）RAID(RedundantArray of Independent Disk)(University of California, Berkeley)1987 模式有RAID0，RAID1，RAID5和RAID10HDFS-RAID2基于第一代的Hadoop 分支所开发的Raid Hadoop 1.3 根据课题需要，提炼要点，发现需要从以下几个方面的文献资料进行入手，包括 Hadoop， RAID，HDFS-RAID 以及纠删

2、码技术等。Hadoop 的发展已经有一段时间了，RAID 1.4 1.4 的数据进行编码并发送编码后的数据用于恢复。而在存在副本的时候(例如 主体部分与容错确保数据可用性在分布式 系统中是非常重要的，因为在机器数目很大的情况下，发生故障的概率会大大增加。单结点故障在分布式 系统8是常见的，而且在实践中，结点故障往往是相关和并发的，就如在集群 (例如9，10)和广域设置 (例如11，12，13)中提到的那样，这就要求 系统必须提供有效的容错恢复方案。Hadoop 分布式文件系统(HDFS1)Block 三Rack 内 选择两个节点分别 ，然后在另一个 Rack 内随机选择一个节点一份，如此可以

3、任意两个 Block 的丢失，在大多数的情况下可以 多于两个 Block 的丢失。当发生Block丢失，在进行恢复的时候，如果同一Rack Block 的副本，则可以直接在Rack 内进行 恢复，否则需要跨 Rack 进行 ，根据概率可以算出，跨 Rack 的可能1/3200%，并且在恢 RAID5，RAID6 方案的 parity 块保留两个备份，源数据块从三备份减少为双备份，在 StripeLenght 为3，ParityLenght 1 parity 块保留两个备份，源数据块从三备份减少为双备份，在 StripeLenght 为3，ParityLenght 1 的情况下，理论上repli

4、cate 系数可以从3 减少2.67。对于非常冷的数据，则可以采用RS 。在实际系统中，例如 Cleversafe15，它是一个商业广域设系统，它采用每 10 个数据段系统，例如 OceanStore16和 CFS17，在双冗码编码出 6 个奇偶校验段；另外一些一些广余(空间的两倍)冗余的系统中( - GFS18HDFS1）3系统（HDFS也有其特有的RAIDHDFS-RAID2模块，其可以采用的编码方式有 K 出来，NKN 为StripeLength，称K为ParityLength2.2 是瓶颈。6，7的作者提出了RAID-6 代码的最佳单一故障恢复。Khan et al.4表明，找到任另一

5、类方法是基于再生码19最小化带宽(即恢复过程中通过网络传输的数据量)，其中每 同的权衡21HDFS，GFS 2.3 根据相2.3 根据相关的研究，机架间的传输速度与机架内的传输速度比一般为 1:5 到 1:20， 的可总提出一种采用混合 RAID 的容错方案，即在采机架内高速的传输速度，性能上应该会比跨机架恢复更好参考文献K.Shvachko,H.Kuang,S.Radia,andR.Chansler. TheHadoopDistributedFileSystem.Proc. ofIEEEMSST, MayC. Huang, H. Simitci,Y.Xu,A.Ogus, B.Calder,P

6、. Gopalan,J. Li, andS.Yekhanin.Erasure Coding in Windows Azure Storage. In Proc. of USENIX ATC, Jun 2012.O. Khan, R. Burns, J. Pl,W.Pierce,andC.Huang.RethinkingErasureCodesforCloudFile Systems: Minimizing I/O for Recovery and Degraded Reads. In Proc. of USENIX FAST, Feb M. Sathiamoorthy, M. Asteris,

7、 D. Papailiopoulos, A. G. Dimakis, R. Vadali, S. Chen, and D. kur.XORingElephants:NovelErasureCodesforBigData.Proc.ofVLDBEndowment, Z.Wang,A.Dimakis,andJ.Bruck. RebuildingforArrayCodesinDistributedStorageSystems. In IEEEWorkshops,Dec 2010.L. Xiang, Y. Xu, J.Lui, Q. Chang,Y.Pan,andR.Li. AHybridApproa

8、chtoFailed RecoveryUsingRAID-6Codes:AlgorithmsandL. Xiang, Y. Xu, J.Lui, Q. Chang,Y.Pan,andR.Li. AHybridApproachtoFailed RecoveryUsingRAID-6Codes:AlgorithmsandPerformanceEvaluation.ACMTrans.on Storage, 7(3):11, Oct2011.K.Rashmi,N.B.Shah,D.Gu,H.Kuang,D.kur, andK.Ramchandran.ASolutiontoNetworkChalleng

9、esof DataRecoveryinErasure-CodedDistributed StorageSystems:Aon WSarehouseCluster.InProc. ofUSENIX HotStorage,D.Ford,F.Labelle, F.I.Popovici,M. Stokel, V.-A. Truong,L. Barroso,C.Grimes, andQuinlan.AvailabilityinGloballyDistributedStorageSystems.InProc.ofUSENIXOSDI,Oct B.SchroederandG.A.Gibson.DiskheR

10、ealWorld:WhatDoesanMTTF1,000,000HoursMean to You?InProc. OfUSENIXFAST,Feb B.,F.Dabek,A.Haeberlen,E.Sit, H.Weatherspoon, M. Kaashoek, J.Kubiatowicz, R. Morris.EfficientReplicaNSDI,MayenanceforDistributedStorageSystems. InProc.ofA.Haeberlen,A.Mislove,andP. Druschel.Glacier:HighlyDurable,DecentralizedD

11、espiteMassiveCorrelatedFailures. InProc.ofUSENIX NSDI, MayS.Nath, H.Yu,P. B.Gibbons, andS.Seshan. oleratingCorrelatedFailuresWide-areaStorageSystems. InProc. ofUSENIX NSDI, MayI.ReedandG.Solomon.PolynomialCodesoverCertainFiniteFields.JournaloftheSocietyfor Industrial and Appd Mathematics, 8(2):30030

12、4, Jun 1960.Cleversafe. HYPERLINK http:/w/ .J.Kubiatowicz, D.Bindel,Y.Chen,S. Czerwinski,P.Eaton, D.Geels,R.Gummadi,S.H.Weatherspoon, W.Weimer, C.Wells, andB.Zhao. OceanStore:AnArchitectureScalePersistentStorage.InProc. ofACMASPLOS-IX, NovF.Dabek,M. Kaashoek, D. Karger, R.Morris,andI.Stoica.Wide-Are

13、aCooperativewithCFS.ACMSIGOPSOperatingSystemsReview, 35(5):202215,DecS.Ghemawat,H.Gobioff,andS.Leung.FileSystem.InProc.ofACM SOSP,A. Dimakis, P. Godfrey, Y. Wu, M. Wainwright, and K. Ramchandran. Network Coding for DistributedStorageSystems.IEEETrans.onInformationTheory,56(9):45394551,Sep2010.Z. Wang,I.Tamo,andJ.Bruck.LongMDS CodesforOptimalRepairBandwidth.InProc. IEEEISIT,21 Y. Hu, P. P. C. Lee, and K. W. Shum.ysis and Construction of Functional Regenerating Codes witcoded Repair for Di