存储子系统扩容方案

1、 存储子系统扩容方案123451 说明由于业务量的增长, 的用户数据空间拓展已迫在眉睫, 本次扩容系统即在原有的存储系统之上, 增加新的存储设备, 并且服务器系统进行相应的迁移. 本次扩容的最终目的即构造一个全新的存储结构, 提供业务发展的空间. 以下我们对整个系统割接的步骤以及维护事宜进行说明.2 现有系统结构2.1 设备连接现有Email 系统由以下硬件部分构成:SUN E3500主机: 4台Vixel2000 HUB: 2台MetaStor 4766磁盘阵列: 2台(总容量1TB如图:2.2 版本说明现有Email 系统的各部分软件版本如下 :OS: solaris2.6Veritas

2、Volume Manager: 2.6Veritas Netbackup: 3.23 扩容后系统结构3.1 本次扩容目标:1 新增3个4766 CM(Command Module和18个DM(168块36GB 磁盘, 见总图中的D3,D4 ,D52 原D2的CM 将取消,D2的2个CM 连接到D1上3 新增Vixel 8100 Switch,取代原有的Vixel2000HUB, 详见扩容后21CN 系统环境图:3.2 新建存储系统设计说明1 新建系统中, 每个CM 连接6个DM, 这样最大限度利用总线资源.6个DM 中的相应磁盘建立5+1的Raid5结构, 提供磁盘访问效率和安全性能的提升,

3、这样确保单一总线或DM,disk 故障的情况下, 系统数据不会丢失, 排除单点故障.见下图。 2 业务主机为3台SUN E3500主机，操作系统版本为Solaris2.7主机系统全部接入以Vixel8100交换机为骨干的存储局域网中。3 存储局域网的交换核心为Vixel8100光通道交换机，替代原有的共享光通道网络。采用交换网络，除提供高速的交换通路外，也提供了数据环路的高度稳定性。4 系统中将加入Veritas 公司的Cluster Server 高可用软件，确保应用系统的安全。任何服务器的应用系统故障，均通过VCS 软件实现即时切换。5 建议每一4766 阵列（如D3）配置两块热备份磁盘（

4、hot_spare）, 热备份磁盘通过磁盘阵列的管理软件SYMplicity 设置。热备份磁盘将确保任何单一磁盘故障时，迅速实现接替工作，保障数据访问的效率。6 LUN 及卷的划分参考AIMC 需求3.3 新系统产品版本清单OS: Solaris 7Veritas Volume Manager:Veritas file system:Veritas Cluster Server:Vixel8100:Jaycor FC card:4766 firmware:SYMplicity: 4 扩容步骤4.1 扩容系统建设原则由于一期系统目前承受较大的业务压力，本着用户服务第一的原则，新系统的建设应严格遵

5、循以下设计原则：）安全性原则任何操作严格确保不对原有数据产生任何不利影响，实现平稳过度 ）最大限度减少业务中断间隔应通过周密设计，使原有系统向新系统的过渡一次成功，最大限度减少对业务的影响）预先测试的原则为减少操作的风险，所有步骤应在测试环境中模拟，并依据测试结果执行步骤。）尽量减少原有系统改动的原则在向新系统过度期间，原有系统尽量减少任何修改）在条件许可的情况下，预先进行数据备份4.2 参加人员本次系统升级由朗登科技有限公司、亚信公司人员共同实施，所有步骤需经各方确认，共同完成。4.3 实施前的工程准备1 检查新增磁盘阵列的电源连接。2 按照以下要求调整磁盘阵列控制器的SCSI ID,并登记

6、WWN 地址，见下表：WWN 的读取可以采用以下几种方法：a 从磁盘阵列RS 接口读取.#fc 5b 接入Vixle8100交换机View-SNS update SNS tablec 主机系统启动信息读取3 记录磁盘阵列中的DM 的Tray-ID, 并根据具体的分布进行设定。 Metastor 4766磁 盘 阵 列 电 缆 连 线 图 注 ： 为 SCSI 端 口为带 终 结 器 的 SCSI 端 口SCSI ID 的开关设置：（如ID=2,则设为） ）在服务器中安装jaycor FC 卡，每服务器各接两块。）检查服务器上必备的OS patch .OS patch: SUN 1065414.

7、4 备份在条件许可的情况下，对磁盘阵列的所有数据进行全备份, 可以在新建立的系统上采用NFS 方式进行文件复制，预计天的时间。4.5 建立新系统） 将Vixel 8100 交换机固定，按照下图进行光纤连接。两个交换机采用对称连接） 进行Vixel8100 的配置设定a. 通过Vixel8100的eth 口，接入控制台，启动SAN Insite2000。 b. 设定zoning. 1-3 4 5 6 7 2-3 4 5 6 7 3-3 4 5 6 7 c. 点击flash to memory 使设定生效。）再次检查D4和D5的firmware 以及电缆连接。（见准备部分）在新加入的两台主机上，按

8、照以下步骤进行软件安装。#cd /cdrom/cdrom0/solaris_7/pkgs#pkgadd d .The following packages are available:1 VRTSfsdoc VERITAS File System Documentation Package2 VRTSqio VERITAS file device interface3 VRTSqlog VERITAS QuickLog4 VRTSvmdev VERITAS Volume Manager, Header and Library Files5 VRTSvmdoc VERITAS Volume Ma

9、nager (user documentation6 VRTSvmman VERITAS Volume Manager, Manual Pages7 VRTSvmsa VERITAS Volume Manager Storage Administrator8 VRTSvxfs VERITAS File System9 VRTSvxvm VERITAS Volume Manager, BinariesSelect package(s you wish to process (or 'all' to processall packages. (default: all ?,?,q:

10、选 Veritas File输入序列号#vxlicense c建立 rootdg# vxconfigd -m disable# vxdctl init# vxdg init rootdg# vxdctl add disk c0t0d0s5 type=simplevxvm:vxdctl: WARNING: Device c0t0d0s5: Not currently in the configuration# vxdisk -f init c0t0d0s5 type=simple# vxdg adddisk c0t0d0s5# vxdctl enable# cd /etc/vx/reconfig

11、.d/state.d# lsinstall-db# rm install-db摘除DMP 功能DMP 功能按照以下方法摘除:1 停 止 V olume manager#vxdctl stop2rm /kernel/drv/vxdmp3 修 改 /etc/system删 除 forceload:drv/vxdmp4rm -rf /dev/vx/dmp /dev/vx/rdmp5ln -s /dev/dsk /dev/vx/dmp6ln -s /dev/rdsk /dev/vx/rdmp重新启动服务器#pkgadd d fcaw2_2_1_01.pkgSYMplicity 是MetaStor 磁盘

12、阵列的管理软件，本系统采用6.22版本#cd /cdrom/cdrom0/symsm#pkgadd d .The following packages are available:1 SYMsm SYMplicity Storage Manager2 rfw020420 Disk Array Firmware 02042000(sparc 13 rfw020506 Disk Array Firmware 02050633(sparc 24 rfw030102 Disk Array Firmware 03010233(sparc 2Select package(s you wish to pro

13、cess (or 'all' to processall packages. (default: all ?,?,q:选1 4由于本系统采用交换式存储网络，因此需要设定fabric 的运行模式。1）插入SYMplicity6.22光盘2）#cd /cdrom/cdrom0/hba/JNI3）#./add_fibre4）vi /kernel/drv/sd.conf修改target =2 3 4 5 6 8 9 10 11 1213的相应行，wwn 设成实际的控制器对应地址（见准备工作步骤）例：xi name="sd" class="scsi"

14、; target=2 lun=7 hba="fcaw0" wwn="200800a0b807a56d"name="sd" class="scsi" target=3 lun=0 hba="fcaw1" wwn="200b00a0b807a56d"建议提前将所有控制器的WWN 进行设定, 这样可以加快割接进度.5 修改kernel/drv/fcaw.conf文件6 修改SYMplicity 的参数在 /etc/system中 加 入set sd:sd_max_throttle=

15、64在/etc/raid/rmparams中 修 改System_MaxLunsPerController=327）#reboot - -r重新启动服务器，此时注意观察启动信息中fcaw0 LUN0的target 信息，若target =4766controllers SCSI ID，并且LUN0 ready ，说明各项设定和安装成功。例：fcaw0: Target 3 Lun 0: Port 0000e2 (WWN 200000a0b805e6b3 ready. fcaw0: Target 5 Lun 0: Port 0000e0 (WWN 200000a0b8060495 ready.本系

16、统中，LUN 采用5+1的Raid 5配置, 每一LUN 的实际容量为180GB. 每一阵列共创建9个LUN 。创建LUN 采用SYMplicity 的工具进行。#symsm&在LUN 创建完成之后，使用磁盘管理工具查看完成情况。lad(例c1t3d1 1T84610416 LUNS: 1 3c1t5d0 1T84610004 LUNS: 0 2 4c3t2d0 1T84710216 LUNS: 0 2 4c3t4d1 1T84610170 LUNS: 1 3注：LUN 的创建预计花费小时。在LUN 创建全部完成之后，使用Volume Manager的工具建立 diskgroup 和V

17、olume, 建议每一个LUN 创建一个diskgroup 和Volume 。在本阶段, 只建立一个Disk Group 和Volume, 其余所有的磁盘组在原有系统迁移过来之后, 通过镜像建立.建议全部diskgroup 和Volume 设定完成之后，重新启动服务器。注：本项操作预计1小时完成。割接是本次系统升级最重要的部分, 所有的数据将从原有系统平滑迁移到新系统中, 同时立即开通业务运行.1 原服务器停止运行, 将D1 、D2、D3按照制订的连接方法接入Vixel8100交换机(两台.2 按图示位置设备上架, 其中D4、D5位于同一新机柜，D2、D3位于同一机柜，D3安装时注意不要影响原

18、D2的设备连接，D1独占一个原有机柜;3 主机系统重新启动reboot - -r主机启动后，应能正常识别D1、D2、D3、D4、D5中的LUN ，即屏幕应出现类似信息:fcaw0: Target 2 Lun 0: Port 0000e2 (WWN 200000a0b805e6b3 ready.fcaw0: Target 4 Lun 0: Port 0000e0 (WWN 200000a0b8060495 ready.fcaw0: Target 8 Lun 0: Port 0000e2 (WWN 200000a0b805e6b3 ready.fcaw0: Target 10 Lun 0: Por

19、t 0000e0 (WWN 200000a0b8060495 ready. fcaw1: Target 3 Lun 0: Port 0000e0 (WWN 200000a0b8060495 ready. fcaw0: Target 12 Lun 0: Port 0000e2 (WWN 200000a0b805e6b3 ready.fcaw1: Target 5 Lun 0: Port 0000e0 (WWN 200000a0b8060495 ready.fcaw1: Target 9 Lun 0: Port 0000e2 (WWN 200000a0b805e6b3 ready.fcaw1: T

20、arget 11 Lun 0: Port 0000e0 (WWN 200000a0b8060495 ready.fcaw1: Target 13 Lun 0: Port 0000e2 (WWN 200000a0b805e6b3 ready.如果系统启动时, 显示信息有误, 应认真检测各配置文件, 如WWN 等的设定是否正确.在紧急情况下, 万一新系统完全无法正常识别, 原有磁盘系统迅速接回原有系统.在原有磁盘系统加载至新系统之后, 使用V olume Manager工具进行数据加载.1 import 原有的disk group(如MailDG0, 如成功, 则割接关键步骤完成, 服务可立即开通

21、;#vxdg import XXXXX或#vxdiskadm如果磁盘组加载失败，应立即对系统进行检测在紧急情况下可将原有磁盘系统迅速接回原有系统.2 开通服务如果前阶段完成顺利，本阶段将可以开通业务，此后的操作均可以在线进行本阶段，进行在线数据复制(即无需停止业务 ，将原有系统的数据完全转移到新系统中） 将所有D1和的进行镜像vmsa#将新的lun 加入到原有的磁盘组中 #选中相应的（旧系统）volume add mirrorselect disks（选中新的磁盘） OK 后，镜像在后台进行） 镜像完全结束后（见磁盘的指示灯），从镜像卷中拆下D1、D2所属的磁盘，并将其设为未初始化状态；>

22、;volumemirror remove preserve (newdisk>disk(old diskremove no evacuateto uninitialize 此时，原有磁盘可以完全释放出来本阶段可以在新的服务器上加入，方法如下：# pkgadd d /cdrom/cdrom01 检查心跳线 2 配置llt 3 配置gaba. 增加type, 在resource type 中, 输入名称, 例如:Email;参数NameRule 输入名称,例如: Email.b. # cd /opt/VRTSvcs/bin c. # mkdir Email d. # cd Emaile. #

23、 cp ./ScriptsAgent EmailAgent f. # vi clean # !/bin/sh exit 0 g. # vi monitor # ! /bin/shif -r /opt/aimc/.HA/MyApp.tmp thenexit 110 elseexit 100 fih. # vi offlinerm -f /opt/aimc/HA/.MyAPP.tmp exit 0i. # vi online (本机服务 # ! /bin/shtouch /opt/aimc/HA/.MyAPP.tmp exit 0j. # vi online(其他机器的服务 # ! /bin/sh

24、su - aimc c “/opt/aimc/HA/ck_mss1” touch /opt/aimc/HA/MyApp.tmp exit 0Aimc 资源配置后，即可监控和管理该类型资源.注意事项:当主机因为某种原因非正常关机重新启动, 应先将目录 /opt/aimc/HA下实例:在VCS 等完全配置完成的情况下, 进行整个系统的停机测试，预计2小时. 测试内容如下: 单根光纤故障的DiskArray Failover测试本系统的数据通路为冗余设计, 单侧数据环路故障后, 磁盘阵列的控制器会发生failover, 使数据传送得以正常进行. 环路恢复测试单侧数据环路故障恢复后, 适用SYMplicity 的恢复工具, 原有的LUN 可以恢复到原控制器, 数据传送也恢复到原状态.SYMplicity recover controller place online 拔网线 V