HDS数据迁移解决方案

,.HDS数据迁移解决方案数据迁移概括数据迁移是公司IT建设经常面对的工作。在开发环境向运行环境变换、低版本数据库向高版本数据库变换、两个不同数据库之间进行变换以至系统硬件升级时，数据均可能需要被转移并使之迁移后正常运行。鉴于存储的数据迁移是一次性的将数据从一个存储转移到另一个存储系统上，它包括对新存储的启用和数据可用性的保证。在一些情况下，鉴于存储的数据迁移是进行数据大集中的手段，特别适合大规模数据迁移需求。鉴于存储的数据迁移又可分为同构存储迁移和异构存储迁移两大类。当前鉴于同构存储的迁移是指在同厂家同型号产品之间数据迁移，需要配置支持鉴于磁盘阵列内（间）的数据复制软件，在HDS同系列存储环境下，经常性的数据迁移可利用存储产品中的迁移复制VolumeMigration，ShadowImage）及存储间的复制TrueCopy功能简化数据迁移工作；对EMC而言是配置SRDF-DM或TIMEFINDER等。异构存储间数据迁移需要虚构化技术支持，HDS虚构化技术非常成熟，在虚构化基础上将原来不能达成数据复制的存储设施整合在一同，形成统一存储池，这时物理上在两个磁盘的数据卷之间的迁移，在逻辑上来讲是在整合虚构后的同一个磁盘阵列内卷迁移，大大简化;..,.了数据迁移的复杂性。许很多多国内外客户都经过这种数据迁移方式实现了在线数据迁移。数据迁移的难题现在数据迁移的主要难题是进行一次成功的数据迁移时间要求越来越短。但是应用在存储方面的需求不断增加，存储的升级和更替更为频繁；同时，用户的应用趋向于全年不停留运行、对系统的可靠性、可用性要求不断提高，维护时间窗口的不断减少等因素，使得进行一次平滑的成功数据迁移越来越具挑战。在进行数据迁移项目计划时，一些因素是必须考虑的。2.1数据的保护数据的保护是最重要的，在数据迁移中数据的安全必须获得完全的保护。任何一个改换过个人计算机中的硬盘的人，都对因为在改换过程中对某些细节的忽略造成的数据丢掉有预期和经验。当在公司级数据迁移中，数据备份、实施步骤的回退计划是保证数据在迁移后的可用性的必需准备。2.2在线或离线迁移如果应用能够暂停，则迁移过程能够更快捷；可是现在大部分系统有着严格的可用性要求。当数据迁移在生产环境中进行时，不单要亲密监控数据迁移的过程，而且要将迁移对生产系统的影响降到最低。2.3维护时间窗口;..,.往常迁移工作只能在预先确定的维护时间窗口中进行。往常时间窗口是在夜间或周末生产活动最少的时候。这些严格的时间窗口的存在使得迁移项目可能表现出不规则中断的情况：紧张的迁移在时间窗口中进行，然后在时间窗口封闭时停止，业务持续运行；迁移工作只有在时间窗口再次翻开后才能够持续进行。进而使得迁移工作分别成数成不连续的多个阶段性工作。2.4迁移技术在开放系统环境中，没有一个完美的数据迁移技术。每个迁移技术均有优势和劣势。针对每个特定的业务环境，应当根据不同技术的特点进行认真甄别选择。直接费用（人力、硬件和软件等）因素应当和间接因素（应用停止和生产系统性能影响等）联合起来作为选择迁移技术的判据。有些需要更大的维护时间窗口，而有些对生产系统的性能会有较大影响。这些都会成为选择相应存储技术的考虑因素。2.5计划和应用停留的容忍程度数据迁移会对生产系统有着或多或少的影响，当剖析完应用可用性要求，达成维护时间窗口的选择后，可供选择的技术就相对照较固定。2.6测试需求根据应用的情况，特准时间的迁移前测试和迁移后测试是必须的。因为没有一个普遍合用的测试计划，所以针对每个特定的环境都需要做出详尽的有针对性的测试计划。测试的时间跨度也与应用情况有关，时间长短也是根据应用的需求决定。;..,.2.7数据迁移的时间跨度总的来说，决定数据迁移时间跨度的最主要因素是用户对迁移对原应用的影响的容忍程度。而时间跨度与应用可用性之间亲密有关。往常，在费用和能够接受的应用可用性之间有着一定的关系。越高要求的应用可用性意味着越多的费用，进而也就限制了时间跨度。经验表示，在没有详尽彻底的评估环境和项目目标的情况下，进行迁移时间的预测是很困难的。一般来说，需要经过评估，剖析，计划和实施等几个步骤。2.8整个环境的复杂性在数据迁移过程中波及到各样应用和数据之间的关系，越复杂的应用环境，则相应的计划和实施就越复杂。数据迁移技术的选择客户的原系统应用系统架构中包括了HP、IBM等多种主机平台，存储为HDS9970V，将来可扩展个多种存储平台，在进行初步剖析的基础上，针对未来主机操作系统改变与否，我们认为未来系统的选择能够分为两大类：同构环境和异构环境。3.1同构环境的数据迁移技术针对与现有系统同构，我们认为起码能够有以下一些技术手段可以选择：鉴于磁盘阵列远程数据复制技术的数据迁移。鉴于主机操作系统逻辑卷镜像技术的数据迁移。;..,.鉴于数据库备份和恢复技术的数据迁移。鉴于三方工具的数据迁移。鉴于存储虚构化技术的数据迁移3.2异构环境的数据迁移技术针对异构计算环境，一般介绍能够使用以下几种方法之一，详细方法的选择还需进一步详尽认识现有系统运行环境：鉴于主机操作系统逻辑卷镜像技术的数据迁移。鉴于数据库备份和恢复技术的数据迁移。鉴于三方工具的数据迁移。鉴于存储虚构化技术的数据迁移3.3可选的数据迁移技术关于业务数据的迁移，当前主要采用如下五种方法：鉴于磁盘阵列远程数据复制技术的数据迁移。鉴于主机操作系统逻辑卷镜像技术的数据迁移。鉴于数据库备份和恢复技术的数据迁移。鉴于第三方工具的数据迁移。鉴于存储虚构化技术的数据迁移最后的迁移方案应当是上述方案的联合，我们会在上述方法联合过程中找到最正确数据迁移方案。3.3.1鉴于主机操作系统逻辑卷镜像技术的数据迁移此种数据迁移方法，主要利用业务主机操作系统内置的逻辑卷管;..,.理系统的逻辑卷镜像（LVMirror）技术，关于业务系统所使用的每个LV，都进行PV映射扩展，在新的目标磁盘阵列上扩展一个PV映射，这样，经过数据的初始化同步，能够保证业务数据在原有的磁盘阵列和新的磁盘阵列上保持同步，两边数据完全一致。然后，在删除每个LV到原有磁盘阵列的PV映射，这样，数据就完全从原有磁盘阵列迁移到新的磁盘阵列。原有磁盘阵列上的数据在一段时间内保持不变，以用往返退，一旦数据迁移因各样原因无法成功，则还能够利用原来的磁盘阵列提供数据接见。此种方法存在如下优点：*步骤简单，容易实现，速度快；*不需要考虑到上层数据应用系统的内部的构造；*能够在线进行，只要要较短的停机时间（在所有的LV镜像达成后，需要停机断开LV和原有磁盘阵列上的PV的映射）；*LV在进行PV映射扩展时，在经过初始化数据同步后，保持镜像状态对系统的性能影响很小（大体会消耗2%的系统资源）；可是，利用这种方法，也存在如下的问题：*在LV进行初始化数据同步的时候，需要消耗主机系统较大的CPU、memory以及IO资源，因此在进行LV初始化数据同步的时候，会对在线系统的性能造成较大的冲击；鉴于主机的数据迁移方案关于安徽邮政存储银行信息中心本次项目是可行的，采用该方案能够逐步实现数据迁移，但需要较多的实施步骤和停机次数。采用该种数据迁移方案各公司间是没有根本区别，HDS公司在这类数据迁移实践中也积累了大量经验。;..,.3.3.2鉴于数据库备份和恢复技术的数据迁移此种数据迁移方法，主要经过数据库自带的备份和恢复功能以及逻辑日志追加的技术，实现一个数据逐步迁移的方法，最后达到把数据从原有的磁盘阵列完全迁移到新的磁盘阵列的目的。本方法比较安全，当数据迁移不可功时，不影响生产系统的正常运行，可是迁移时间较长，对技术要求较高，而且需要特意用于数据迁移的一台与生产主机环境同样的主机，硬件配置能够稍低一点。鉴于数据库的数据迁移方案只是能够迁移数据库业务应用，对非数据库应用不可行。因此，关于安徽邮政存储银行信息中心本次项目是不可行的。3.3.3鉴于磁盘阵列远程数据复制技术的数据迁移此种数据迁移方法，能够在同一个磁盘阵列内经过鉴于磁盘阵列的克隆软件或卷迁移软件实现数据复制，达成数据迁移。如果两个异构的磁盘阵列经过HDS虚构化技术整合在一同，那么在两个异构的磁盘阵列间的数据复制就转变为在同一磁盘阵列间的数据复制，这就是HDS异构磁盘阵列数据迁移核心所在。关于两套同型号磁盘阵列，能够经过阵列之间的数据复制技术来实现数据的迁移，如当前的HDS的TureCopy技术，EMC的SRDF技术，都能够实现在两套磁盘阵列之间的数据迁移，并且此种方法不占用主机资源，对应用透明。可是源磁盘阵列和目标磁盘阵列必须是;..,.同一厂家的同一系列的产品，而且迁移过程对生产系统有一定的性能影响。3.3.4鉴于第三方工具的数据迁移此种数据迁移的方法，利用一些第三方的工具实现数据迁移，如Veritas的VVR。这种方法，不单需要额外购置第三方工具，实施比较复杂，同时，关于特定的第三方工具，需要知足一些前提条件，如Veritas的VVR只能鉴于VxFS文件系统上的卷复制，关于其余的文件系统或rawdevice，则无法使用。3.3.5鉴于HDS存储虚构化的数据迁移此种数据迁移的方法，利用HDS特有的USPv/USPvm的UVM(Universalvolumemanager)+卷迁移复制VolumeMigration实现数据迁移。这种方法，能够采用HDSUVM和VolumeMigration功能软件，经过UVM实现USPv对外部存储的虚构化管理和应用从头映射接见，然后用卷迁移软件VolumeMigration将数据应用不停止的在线迁移到USPv内部，由于不波及主机的任何设置改正，实施比较简单,迁移速度特别快。数据迁移方案的比较迁移方案是否需要计数据迁移速度、迁移所需要消耗的资源实施难度划性停机，性能几次操作系统镜1次能够根据业务需要消耗较少的主机端资完全采用系统管理员熟悉像数据命令情况，LUN级源（文件系统层次镜像）的文件系统命令，难度很灵活控制拷贝小但管理特别复杂，手工;..,.速度操作容灾犯错，风险较大。Oracle2次中等需要消耗一定的主机端资取决于对数据库的熟悉程Standyby源（数据库层次log）度（注意数据库的nolog方式备份和操作）恢复磁盘阵列复1-2次较快，但不能灵1.需消耗阵列的控制器能需认真规划，保证阵列和制(只能在同活调节力和大量缓存资源；2.主机之间的数据完整性。构阵列间实主机IO需增加一定的时施）延，若在同机房迁移则影迁移结束后测试考证可回响较小退性差。存在安全隐患，实施案例很少。第三方工具2次速度可控TDMF需要占用5-10%取决于数据迁移服务人员的主机系统资源实施能力。HDS存储虚1次速度最快，特别1．不消耗任何主机资源，需要将外部存储FC端口拟化+卷迁移灵活需消耗阵列的控制器能力和USPv逻辑连结，以便和大量缓存资源；2.主机USPv能辨别和虚构化外IO需增加不足挂齿的时部存储的LUN,然后经过延卷迁移将外部存储的卷在线迁移到USPv内部。特别多成功案例。安徽邮政存储银行数据迁移方法数据迁移方法的选择要依据客户的现状选择相应的迁移技术。例如：是否能够停机做数据迁移、能够停机时间、是否需要在线做数据迁移。经过对多种数据迁移方法的剖析和比较，根据安徽邮政存储银行信息中心的实际状况，由于新存储系统采用的是HDS中端AMS2300，与原有高端9970V存储系统无法进行直接的数据复制。因此，建议采用操作系统镜像方式的实际数据迁移方案。;..,.4.1数据迁移方案描绘数据迁移方案架构如上图所示，数据迁移方案需要经过操作系统的镜像，在原9970V和新购得AMS2300间进行数据复制。数据迁移的操作前需要对业务系统主机进行比较繁琐的配置，需要较长的准备时间。4.2数据迁移方案步骤4.2.1数据迁移的测试为了保证数据迁移的成功实施，必须在正式进行数据迁移前，对所采用的技术进行测试。一方面考证技术是否确实可行，另一方面，经过测试，能够大概认识数据同步的速度，这样就能够计算整个数据迁移所需要的时间。同时，为了防止数据迁移在业务顶峰时段对应用系统的性能造成冲击，能够根据测试获得的数据同步的速度值和每个业务低峰时段持续的时间，把所有有关的LV进行分组，保证每组LV;..,.都能够在一个业务低峰时段达成数据同步。这样就能够把对系统性能冲击最大的数据同步操作控制在业务低峰时断进行。4.2.2数据迁移的准备安装并配置新储藏HDSAMS2300将AMS2300区分的LUN按用户要求分派给相应的主机在主机端辨别新加的LUN（PV）AIX:#cfgmgr–v#lspvLinux:#dmesg#fdisk–l确认原有的HDLM是否支持AMS2300，如果不支持，则需要升级HDLM，详细升级步骤按HDLM手册履行，需要停机。（HDLM不支持红旗Linux）主机认到新的LUN（PV）后，加入到需要迁移的VG中#extendvgvgnamehdiskxhdisky确认增添后的VG的状态是否正常#lsvg–lvgname4.2.3数据迁移的实施在准备工作达成的情况下，就能够进行生产数据的迁移工作。为了防止数据迁移在业务顶峰时段对应用系统的性能造成冲击，能够根;..,.据测试获得的数据同步的速度值和每个业务低峰时段持续的时间，来确定履行数据同步的时间，这样就能够把对系统性能冲击最大的数据同步操作控制在业务低峰时断进行。同步速度主要依靠于主机和存储的性能，当前2GSAN架构下的主流速度约在150GB/小时左右，综合用户的环境保守估计同步速度约在100GB/小时左右，而用户的重点业务数据库总数据量约在300GB左右，即迁移重点业务数据库的同步时间约在3小时左右。重点业务其他数据约1200GB，迁移时间约要12小时。关于次重点业务数据库数据（150GB）迁移时间约需2小时。次重点业务其他数据（500GB）迁移时间约需6小时。1.创立镜像#mirrorvg–mvgnamehdiskxhdisky确认镜像同步达成#lsvg-lvgname--所有lv都是syncd状态测试数据库的可用性，正常则数据库数据镜像成功@回退：a.去除新加PV的镜像#unmirrorvgnamehdiskxhdiskyb.将新盘从VG中去除#reducevgvgnamehdiskxhdisky开始停应用，保证对磁盘无任何IO操作将9970的光纤线拔出，能够保证原数据保留;..,.去除原有PV的镜像#unmirrorvgnamehdiskahdiskb将原盘从VG中去除#reducevgvgnamehdiskahdiskb#varroffvgvgname#varronvgvgna