RHEL6：raid5和iscs网络存储服务i配置解析

1、1、RAID磁盘阵列在Linux系统中做 RAID磁盘阵列的设备可以是一块磁盘中的三个以上的分区，也可以是三 块或以上的磁盘。本文主要以几块磁盘为例，来实现在RAID5。实验说明：在 VMware中进行，系统中有一块磁盘sda,新添加6块 SCSI磁盘，分别为 sdb,sdc,sdd,sde,sdf,sdg,其中4块作为磁盘阵列的设备， 1块作为预备（spare）磁盘，还有1 块留作备用（用于扩展RAID）。实验步骤： 先查看一下系统中磁盘设备：fdisk -I显示结果略 接下来开始创建RAID了，主要会应用到mdadm命令，使用此命令需要先安装RHEL6安装 光盘中自带的 mdadm包，如果

2、没有安装，先进行安装。rootsvr # mdadm -create -auto=yes /dev/mdO -level=5 -raid-devices=4 -spare-devices=1 /dev/sdb-f参数说明：-create /表示要创建raid-auto=yes /dev/mdO /新建立的软件磁盘阵列设备为mdO， md序号可以为0-9-level=5/磁盘阵列的等级，这里表示创建是的raid5-raid-devices/添加作为磁盘阵列用的磁盘的块数-spare-devices /添加作为预备（spare）磁盘的块数/dev/sdb-f/ 磁盘阵列所使用的设备，还可写成 /d

3、ev/sdb /dev/sdc /dev/sdd /dev/sde/dev/sdf另外这条命令也可以简写：mdadm -C /dev/md0 -l5 -n4 -x1 /dev/sdb-f查看RAID是否成功创建及是否正常运行，有两种方法（当磁盘容量越大时，磁盘阵列构建的时间越长，所以可能需要等待很长时间才能看到以下信息）:执行mdadm -detail /dev/md0命令查看 RAID的详细信息：图略查看/proc/mdstat文件，可以比较简单明了的查看RAID创建和运行的情况：Il ruutPsvr J# co t Z proc Hindis tat PersonaLtles : rdl

4、d&J CraldS rAld41Wifi : active raldS sdelSl sdft41(S) sddCZl sdc11 sdb01S7Z4R3Z hlocks super 1.25. 512k chunh, algnr I tllrr Z 4/4 TUULJULiinused. dewicew ： !/tmpT stmpFs439rt124K499MIN/deu/shmkdev/sdalextl465M30M430M7Z/boot /etc/mdadm.conf 上面建立的这个文件需要作小小的修改：rootsvr # vi /etc/mdadm.confARRAY /dev/md

5、O UUID=d58ed27d:00ce5cf5:b26ed1e9:879d0805然后再修改/etc/fstab文件，设置开机自动挂载：rootsvr # vi /etc/fstab/dev/md0/mn t/raid5ext4 defaults00重启一下系统，就可以检查开机自动挂载有没有设置成功了！ 扩容raid磁盘阵列：显示磁盘阵列的组成情况，4个块设备组成，：# cat /proc/mdstatEroot区loudlliciwtcat /prucmdsinifcrsonaitics : Craidbl Iraid raid4J ndB : active raU5 sdc51 addJ

6、 sdctl sdfrdKS sdbEBlG2gegS52 blocks super 1.2 leucl 5, 512k cliiink, alqoritliM Z 441 CUUUU把/dev/sdg增加进阵列/dev/md0# mdadm -add /dev/mdO /dev/sdgrootlocAlhos t J1f mdadm -Manage /deu/mAO 一add. zicv/sdg mdAdm： re-add.ed /deu/slu把raid5阵列/dev/mdO 修改为5个块设备:# mdadm -grow /dev/mdO -n5rootloca lhost =tt nde

7、dm - -gpow /dewzmdB -n5 mdadm： Need to backup G144K of criticn】 section. rootlocalhost tt再显示一下磁盘阵列的组成情况，现在/dev/md1是6个块设备组成，完成扩容，还需要7.7分钟。# cat /proc/mdstatCrnatOlnra lhnst. lit cat rncyihdtfitPersonal it ies : r&id6J Lfaid5 I Inaid41m(ie : active raids sdyEG sdeTS sdd(sdf 11(3) sdltejfiuppr I .Z Iru

8、r 5, 51)( rbimk, Ignr kthw ?. S/51 IJlHUlin-1 rcstiape - L9+也(46?80800%9984) rinish-?,?minspccd=361C4K/sec等待扩容完成 执行下列命令root6 loca Ihost 11B res izeZf s -f zdev/mdQ resizeZfs 1H1.1Z (1?-May-Z010)Fi lcsystcm/dev/md0 is mountud on /dati； on-1 ine resizing requiredo 1 d desc_blocks = 4 neu_desc_blocks =

9、 5Performing an on-1ine resize of /deu/md9 to Z036S364 C4k) blocks.The f1lesystcm on /dew/mdB Is nou 2096864 blocks long.验证:IrootPloea lhost Jtt df -hTF iType Sise Us：Ed-IV_FQOt1SG504M485M?5G/dev/mapper/VolGroup ext4 tmpf s ext4 ext4tmpf s dev/sdat /deu/in(l03/6G 0Ava i 113G 504M 1M75fiMounied onzde

10、vzsliin /boot6模拟RAID5中一块磁盘损坏，检验 spare磁盘的功能（raid5中允许一块磁盘损坏，我们 所设置的那1块spare磁盘会立即替代损坏的磁盘， 进行RAID的重建，保障数据的安全）rootsvr # mdadm -manage /dev/mdO -fail /dev/sdd/使用此命令设置磁盘 sdd成为岀错的状态来查看一下： mdadm -detail /dev/mdO:3? 2311 recoLFer* ingUpdate T ihie St atf?Act i ue Deui ces Unrk i ng Devi crs Fa i 1 Ri Devi cex

11、 Spare DevicesLauaui : left-symmetric Chunk Size ； 512KRebuiId Statu言；compflame : svr ：0 C loca 1 to host svr JUUIP ； 5334dcfa:c6flcf53：040?le?0:5BZbf92dEvents : 250 14 5oj8o 6 z 0 4 n 1 3 8 zo -1MRa ldDevicee1Z3Stateactive sgnc/dev/sdbactive sync/dev/sdcspare rebu ildtng zdeu/sdf active sync zdev/s

12、de48fau1ty spare de/sda可以查看cat /proc/mdstat文件查看 RAID5的重建过程再来看一下重建完后的结果Tota1 Devices ： 5Persistem匚e : Superb1ock is persistentUpdate TineThu May 15 10；30；10 2011 cleanActiveUork i ngFa iledSpareLayout ；Chunk SizelePt-xymmetr)c :51ZKName UUID EMent ssur：0(loca1 to hash svr)5334dcf*：c6flcf53:04a91e78：5

13、02bf92dNumber8J8 8 8 80 6 2 0 40 13 8 6RaidDevice012Stte actiue active act i ue a ci; i uesync sync sync sync/dfeu/sdb zdev/sdc /deu/s：df zdev/sde40rau1tyspare/dev/sddState Deuices Devices Deuices Dcm ice sroctOsvr H cat zprocmtlstatPersona 1 Ltic ： raldJ ro idS ra 114 JndO s active raidS sdfEl sdbE

14、OJ sdd2J(F) sdcl sdcFSl15721632 blocks super 1.2 IcvcTTTTSiZk clunky algorithm 2 4/4J UUUJJunused devices： /mnt/raid5还可以正常使用r*ootPsw poot(?svit, f stab LrootPsvr rootDsw f stabJit cd /raids/ raldStt Isra id5.txt touch raid5ncw.txtraldS Ittraidneinj-tzt raidS. txt7将岀错的磁盘删除并加入新的磁盘:先删除损坏的磁盘sdd:rootsvr

15、raid5# mdadm-ma nage坏的磁盘sdd从RAID中删除再添加一块新的磁盘作为 spare磁盘：rootsvr raid5# mdadm-ma nage磁盘sdgOK,再来查看一下：执行以下命令/dev/mdO -remove/dev/sdd/将损/dev/mdO -add /dev/sdg/添加新的mdadm -detail /dev/mdO 查看结果Thu May 19 1H：40：13 2011 cleanUpdate Time State Actiue Deuices Work i ng Devices Failed Devices Spa re DevicesLaijo

16、u-t :1 ef t -s jmne tT】c：Chunk S ize : 51ZKNctmc : sur: 0（local to host xur）UUID : 5334dcFa:cGflcr53：04091e70：56Zbf9Zd Events : 4ZNumberS14OJ8 8Mn1Ba j dDevice123State outiw sync act is sy nc act ie sy nc 我匚ti灯匕sunc/deu/sdb /deuzsdc /deu/sdr Zdevrsdesparezdeu/srtg8关闭软件RAID的方法：当你不再需要已经设置的RAID的时候，可以用以

17、下方法关闭RAID :1）卸载/dev/mdO，并且删除或注释掉/etc/fstab文件中的配置：rootsvr#umou nt /dev/md0rootsvr#vi /etc/fstab#/dev/md0/mn t/raid5ext4defaults002）注释掉或删除/etc/mdadm.conf中的设置：rootsvr # vi /etc/mdadm.conf#ARRAY /dev/md0 UUID=d58ed27d:00ce5cf5:b26ed1e9:879d08053）停止raid设备mdadm -stop /dev/md04）删除raid中的所有磁盘mdadm -misc -zer

18、o-Euperblock /dev/sdb-f|这时候raid中的磁盘就删除了 ，重启后也不会产生 md127 了.RAID0 和 RAID1 实同于 RAID5RAID0 :并行读写数据RAID1 :镜像磁盘阵列2、在rhel6系统中搭建ISCSI存储服务器随着企业中数据信息的不断增长，尤其当成百上千TB的数据需要备份、恢复，以及面临着扩容、灾难恢复等需求时，DAS（直接附加存储，就是通过与计算机主板的 I/O接口，如IDE、 SCS相连接由本机操作系统负责读写及管理）方式使得数据的管理与维护日益困难。正因为如此，网络存储技术应运而生，其最常见的就是NAS和SANSAN （storage a

19、rea network,存储区域网络）SAN是通过光纤交换机、光纤路由器等设备将磁盘阵列、磁带机或独立的ISCSI设备与服务器连接，构成一个高速存储子网，存储的数据以数据块的形式通过ISCSI协议进行传输，从而优于普通的IP包传输。NAS（network attachment storage,网络附加存储）NAS存储设备相当于一台独立的服务器，设备本身带有操作系统，也拥有网络接口，因此不依赖于其他服务器，在NAS设备中为客户机分配存储空间时，通常采用共享文件夹的方式进行发布，存储的数据以文件的形式进行传输，采用CIFS或者NFS等协议iscsi （iscsi= in ternet Small

20、Computer System In terface）是由 IEETF开发的网络存储标准，目的是为了用IP协议将存储设备连接在一起。通过在IP网上传送SCS命令和数据，ISCS惟动 了数据在网际之间的传递，同时也促进了数据的远距离管理。由于其出色的数据传输能力，ISCSI协议被认为是促进存储区域网（SAN）市场快速发展的关键因素之一。因为IP网络的广泛应用，ISCS能够在LAN、WAN甚至in ternet上进行数据传送，使得数据的存储不再受 地域的限制。ISCSI技术的核心是在 TCP/IP网络上传输 SCS协议，是指用 TCP/IP报文、和ISCSI报 文封装SCS报文，使得SCS命令和数

21、据可以在普通以太网络上进行传输，如下图：IP HeBder4TCP Headtr -XISCSI Header、SCSI commands and datarXExplains how to extractSCSI command nd dtProvides information necessary to guarantee dehveryContain routing information so that the message ean find its way through the networkiSCSI协议定义了在 TCP/IP网络发送、接收block （数据块）级的存储数据的规

22、则和方 法。发送端将SCS命令和数据封装到TCP/IP包中再通过网络转发，接收端收到TCP/IP包之后，将其还原为SCS命令和数据并执行，完成之后将返回的SCS命令和数据再封装到TCP/IP包中再传送回发送端。而整个过程在用户看来，使用远端的存储设备就像 访问本地的SCS设备一样简单。在RHEL6中搭建ISCSI存储服务器：ISCSI服务器通常也称为 Target端，负责定义存储对象、分配逻辑空间LUN（ Logical Unit,逻辑单元）。在RHEL6服务器中需要安装 scsi-target-utils软件包，对应的系统服务为 tgtd， 命令行管理工具为 tgtadm.下面依次讲解配置I

23、SCSI的主要过程：准备存储设备、创建 ISCSI对象、为客户机分配存储 空间，客户机使用ISCSI。此处所说的存储设备指将要分配给某一个客户机使用的设备文件，在RHEL6系统中，硬盘、分区、逻辑卷、软RAID等都可以用作ISCSI服务的存储设备，为了延续磁盘空间的可扩展 性，建议以一个逻辑卷为单位分配给客户机使用，对于个别有特殊要求的客户机，也可以将一个软RAID阵列分配出去。这里将Target主机一个逻辑卷作为iSCSI共享磁盘，共享给一台linux主机使用。创建一个逻辑卷，名为IvOO,将来分配给客户机使用。如下图所示：rootPscrver3 * 111 Php 1“ 1 Luhie

24、Phys lea L uoLunicpwcrcate devsdb1 zdcuxAcl *Vdtsv/,adblF sttcceEKTu L ly created /dev/sdcl siiucexsf u I ly i：re*i tedI pnolMserusr3 - In urjerete ugHH /ilpu/sfitilUoluhiie group ugHld fucressf uI Itj created root3crvcr3 m Iwcrcatc L 9G n lv6B vg8Logicn wunc Iu6Bu created(ruu LstrvtjrS * M I ud ldy

25、 zdcvzvy89iz Fjiq Lga 1 unlumb! LU NrwrUG HaneLU UU1DLU Write HcccsaLU SLotusTAJ SizeCurreiit Lii3mCT j-7Dtl-Fop5-Wftr2-BHrH-f7u2-y2adinB rcadzwritciva i 1 ableR3 . FIR GiBZ3341inher itAcad ahead sue.torsautoSe jnevits Al local LDin-currently set tg256iB Inck deLvice253 ：2IrDOtyserver JttISCSI服务器配置推

26、荐步骤：1在ISCSI存储服务器上安装iscsi target软件包，如下图所示:rootuvu Jt ifiin -y i neta 11 i see i - in it itor-ut i Is per 1-Conf ig-Genera 1 see i -tfirg et-utI Is2、iscsi target配置文件是/etc/tgt/targets.conf,此文件中的配置项默认全被注示掉了。编辑该 文件，实现简单的ISCSI存储服务器配置。在文件尾部添加如下内容： backing-store /dcv/vgBQ/1v00 1 nitirttor-address 132.1&8.0.

27、4f/target若要将多个存储设备分配给客户机可以在targets.conf文件中添加多个 注：Target的命名在同一子网内应该是唯一的，标准命名方式为：iqn.yyyy-mm .vreversed doma in n ame:ide ntifier其中：iqn ：表示iSCSI Qualified Name 简称 iqn。yyyy-mm :表示年份-月份。这里是 2011-08。reversed domain name :表示倒过来的域名，这里是com.example。identifier :表示识别代码，这里是 diskback in g-store用于指定存储设备，一般指非实际的物理

28、磁盘，如LVM 卷、某个分区、raid磁盘阵列。initiator-address地址 用于将target指派给指定的客户机使用。然后启动tgtd服务，并设置系统启动时自动启动，iscsi通信的端口： 3260/tcp,以明文传输数据#service tgtd start#chkc onfig tgtd onroo】tt seruice tgtd startStarting SCSI target daemon:【 OK 】ErootGuuu lit clikcant lg tgtd on(rootGuuu J Itroo-tPwwu i# tic 七 stat -antp 1 I grep

29、：326BtcpB8 B.6.6.6：B.6.0.8 ：LISTEM1953ztjtd鼬町)BB : : ：32GG: i :*LisdjlEM1553ztjtd若是ISCSI服务器上开启了防火墙可以将iptables关闭或创建允许规则，如下图所示:Lptables -T TMPIIT -p tcp -dpoi-l 3Z6R -a HZ Ififl H -j ftCCEFT rrootPxf?PVftr?l *la xswics Iiptablc?: 8jvin* iptables : I (JK 】 rroo1.0s：erver?l in运行 tgtadm -lid iscsi -op sh

30、ow -mode target查看 target 信息Target 1: lqn.2012*,example:lu00System informat ion:Dr iver； i scs iSt*te : readyI_T Tfiexws i nf ormft t i o n iI_T Tieicus : 2Ibit i ator : iqn , 134-05 , coni, pedliat:ba4cZ858f db Connect i or: 0IP Address： 192.168,ft.4LUN inf orma-t ion：LUN： eTyjiE ; contro 11 ersesi

31、id： iet BeeieeaaSCSI SN; beaf10 Size: 0 MB Un Iie VesEemovab1e media: NoBacking store type: rdwrBach i nq store path: None1UN: 1Type： diskSCSI ID! IET 90610801SCS1 SH: beaf11 Size： 21459 MBOnline： Yes Remouable med i a: No Backing store type: rdwrBacking store path: /dev/vgBB/1vBBAccount information

32、:ACL inf orma-t ion :至此，iscsi target存储服务器配置完成，使用iSCSI Initiator就可以连接iscsi target服务器了。使用tgtadm工具创建ISCS对象时，主要命令选项如下所述：-L, -lld :指定驱动类型，如“ -L iscs”表示ISCSI存储。-o，-op:指定操作类型，如“ -o new表示创建，“ -o delete 表示删除，“ -o show表示 查看信息。-m， -mode :指定管理目标，如“ -m target 表示ISCS对象。-t，-tid :指定对象ID号，如“ -t 1 ”表示第一个对象。-targetnam

33、e :指定ISCS对象的名称。在RHEL6上iscsi客户端配置:1、安装 iscsi 发起端软件：iscsi-initiator-utils 和 Isscsi 软件包tt yum -y imsta 11 iscsi-iwitiator-utiIs lsscsi_#service iscsi start #chkc onfig iscsi on2、查找iscsi服务器上的iscsi目标，即iscsi发现。执行 iscsiadm -m discovery st -p iscsi 服务器的 IP 或地址：端口号iscsiadm -m discovery -t sen dtargets -p tar

34、getIP 若是默认端口 3260可以省略不写。rootPserver4 # iscs i.adm -m discovery -t st -p 192 * 168.0-3 19Z* 1&8.0,3：3Z60 f1 iqn,Z012-.example:lv36地址：端口号 -login3、登录服务器上的iscsi目标，即iscsi注册 执行 iscsiadm -m node -T target名称 -p targetIPLrootCserveM IN iscsiadn -w node -I iqn- com , example : IvUH -p 182. 168 r3 -1Logging 1

35、n to If ce ； def an It. target iqn.ZQIS-B1! .corfl,CMinp le ； 18j porta I 12 .168,0.3,3266)lug i m to If ace : def 11. f; ir(n . ZB1Z-W4 .cntn . RXflniplfi； 1 vflA t jMirtA 1;. 168 .3 j JI 【roirfmcirvcT勺111 一退出iscsi盘阵执行 iscsiadm -m node -T target名称 -p targetIP 地址：端口号 -logoutICrwot&scrvnrl I#lcsidrri

36、 -m ncdc-Tinn . 2012-0.crirw,rxflmplri I v00 -p192.166 .6 r p -Luuu Luu (jut uf vtivs: Jun Id ： 3 , tamret: lirn 2B12-B4 .cum.eManult: 1mB0, uurbLd 1 : 1 勺 Z.1CG.0.3.32&0Logoul of s ld : 3, target : l(n .2O1Z-04 .caM.exakp e : 1U08, porta L: 192.1&3.0.3,326 0 ucccssfu1.Lrootsserver4 -in4、查看/dev/disk

37、/by-path 目录中iscsi符号链接所指向的位置或fdisk l查看磁盘情况或检查 iscsi 的状态： service iscsi status 或 dmesg |tailtroot&scrvcri d：B； scsl 3：fl： SCSI 3：H： sd sd sd sd dncsij ! tn 11 RAIDIETAlLachefl scsl yenertc Mi*ect-AcceasET3：H：3：H：H133：D：日：H：1 Attached scsi generic sg3 tye U Lsdb Jsdblsdb)LdbJCon Lilu 1 lcr syS Lype 12U

38、tBPlftL-DISKRHPI1 FQ： B AHSI : 5bLZ-byte log icaJ blocks： CS,fbUritc Prctcet Is offMode Sense:们 06 90 60Ur itt cdbchc * ciidib lcd redd culIie enabled ducsn11 upyur t ETOGBy Gill)ur FIIAsdb : link noun pflrt it 1 nm tableg轟 3 ：t：H : 1： LsdbJ Attached SCSJ disk i*oott*Eeryer4 *rruotBeruer1! 1-1 zdeMd

39、 i1li/tnlfl I nIruxrkiruy . 1 rnnt rtiot 9 Apr 21 ； 14 Ip-132,168.B .3.376R- ixc-i i - i qn . Zfll?! -fl4 .cn i. rxanp 1 r : IW日-1 un - 1-. . / . .此时，可以使用iscsi磁盘，就好像它是本地连接硬盘驱动器。5、对连接的iscsi磁盘建立LVM并实现自动挂载未分区前显示sdb信息如下，执行fdisk -l /dev/sdb 查看rootPserver4 1# f d. lsk -1 zdesdbBisk Zdev/sdb： 8589 HBf 8583

40、931592 bytes&哼 heads j 3Z sectors/track * 813Z eg 1i ndersUnits = cyl iriders of 2048 * S12 = 104B576 bytesSector size (lotj i cal /physical): 512 bytes / 51Z bytesIzO size (minimum/optima1): 512 byles z 51Z bytesDisk identifier： 0 x08008008Disk dev./sdb doesD t contain a valid part it ion t ab 1 c在ISCSI客户机上执行fdisk /dev/sdb 创建LVM类型分区并查看/dev/sdb新建分区后的信息ILrootPscrvcTl It fdisk - dGVsdbLisk ydeuysdb： Tb丘3 HB. 3663b7bqib bytes |b heads| 32 sectars/*track, yZLh cy 1 inder*sJn its = cij I inders of* 1_2Sector size (Ion i Ldlxphyslea 1): IR size Ch Ini mum/ept1