StorageFoundation方案模板.doc

Xxxx 存储管理软件项目方案建议书存储管理软件项目方案建议书 赛门铁克软件北京有限公司赛门铁克软件北京有限公司 20202020 年年 0404 月月 文档信息文档信息 属性内容 文档名称 xxxxxx 卷管理软件项目方案建议书 文档编号 文档版本 版本日期 文档状态 制作人 审阅人 版本变更记录版本变更记录 版本修订日期修订人描述 存储管理软件项目方案建议书 I 目目 录录 第第 1 1 章章项目综述项目综述 1 1 1 1项目背景 1 1 2建设原则和目标 2 第第 2 2 章章存储管理解决方案存储管理解决方案 3 3 2 1方案设计 3 2 2STORAGE FOUNDATION技术架构 3 2 3STORAGE FOUNDATION带来的好处 4 2 4STORAGE FOUNDATION技术特点 5 2 4 1存储在线管理 5 2 4 2多层存储与在线迁移 6 2 4 3存储多路径管理 9 2 4 4存储快照管理 11 第第 3 3 章章实施方案实施方案 1313 3 1STORAGE FOUNDATION实施过程 13 3 2STORAGE FOUNDATION风险控制 13 第第 4 4 章章方案优势方案优势 1515 存储管理软件项目方案建议书 第 1 页 共 18 页 赛门铁克软件北京有限公司 第第 1 章章 项项目目综综述述 1 1 项项目目背背景景 统计表明 目前企业数据中心的存储量在不断增长 并且毫无趋缓的迹象 存储量越大 意味着资本支出就越高 进而运行费用也越高 随着存储成本占 IT 资本和运行支出的比例越来越高 企业正在寻求最大限度降低这一成本的方 法 最初想到的降低存储成本的方法是在保证性能的前提下 尽量采购低价格 的设备 其导致的结果是企业存储环境严重异构 就像服务器异构一样 当然 一些创新技术的使用也是采用异构环境的动因之一 在异构存储环境下要保证应用的高可用性 高性能 保证存储服务质量 存储管理就变得异常重要 异构环境中 存储层 包括硬件 网络组件和软件 通常由不同供应商提供产品 主机层也不例外 每个厂家提供自己的逻辑卷和 文件系统工具 据初步估算 一个大型企业的数据中心将有上百种软件用户存 储管理 显然供应商的分散与其所带来的工具的分散将意味着管理的复杂性 易出错性 导致业务停顿及管理的高成本 xxxxxx 的 IT 建设处于高速发展阶段 环境比较复杂 涉及到 AIX HPUX Linux Windows 等不同的主机环境和 EMC HP IBM 等异构的存储 为提高存储管理水平 提高存储资源利用率 需要通过有效的虚拟存储管理手 段解决如下问题 能够支持来自不同厂商的主机和存储 充分利用已有的存储资源 保护 xxxxxx 已有投资 降低存储管理复杂性 减少存储管理对业务的影响 减少日常维护的停机操作 提高存储资源利用率 确保存储虚拟化软件不应占用过多的主机和存储 资源 使宝贵的存储资源能最大程度用于生产 存储管理软件项目方案建议书 第 2 页 共 18 页 赛门铁克软件北京有限公司 1 2 建建设设原原则则和和目目标标 xxxxxx 要求虚拟存储软件达到以下效果 要求存储管理软件采用开放技术 能够在不同的操作系统环境中对不 同厂家 不同品牌磁盘阵列进行统一管理 本项目涉及到 AIX HPUX SOLARIS 操作系统以及 EMC IBM HP 等各类存储品牌设备 存储管理软件要提供动态多路径技术 同时支持上述来自不同厂商的 存储设备 提供多个物理通道的并行访问 主从访问和故障切换等功 能 提升存储访问的高性能和高可用 要求存储管理软件能够在数据访问不受影响的情况下对磁盘阵列进行 在线管理 包括磁盘故障在线修复 新设备在线扩容 以及磁盘逻辑 卷的在线尺寸调整 存储管理软件能够确定不重要的文件或旧文件 并将它们移到更经济 的存储设备上 并不需要改变用户或应用程序访问这些文件的方式 存储管理软件能够轻松而快速地转换数据 以便在不同的操作系统上 使用 使其简便迁移到新的操作系统上 存储管理软件项目方案建议书 第 3 页 共 18 页 赛门铁克软件北京有限公司 第第 2 章章 存存储储管管理理解解决决方方案案 2 1 方方案案设设计计 Symantec 提供完整的存储管理解决方案 存储虚拟化管理软件 Storage Foundation 可解决 xxxxxx 当前遇到的存储管理的难题 Storage Foundation 兼有主机层虚拟化功能和存储层的高级管理功能 能够简化存储虚拟化的实现 一方面 可以完成所有主机平台的逻辑卷和文件系统操作 提供超强的在线管 理功能 另一方面 可以完成磁盘阵列具有的高级存储管理功能例如数据快照 复制 多路径等 这样 采用一个软件 减少了使用复杂性 同时降低了存储 管理对业务的影响 Storage Foundation 包括 Volume Manager 和 File System 两个功能模块 Volume Manager 为企业计算与 SAN 环境提供了易于使用的在线磁盘与存储 管理工具 可在系统处于联机状态时提供磁盘使用情况分析 RAID 技术和磁盘 存储区的动态配置 这些工具可确保提供持续的数据可用性 易用性与数据保 护 此外 借助这些工具 服务器在备份和维护时无需脱机 作为一种功能强大 可快速恢复的日志式文件系统 File System 提供了 关键任务应用所需的高性能和可管理性 File System 具有稳定的可用性 更 高的 I O 和最高的结构完整性 在各方面均优于 UNIX 文件管理工具 该产品具 有可扩展的性能与特性 足以满足客户机 服务器环境中不断增强的用户需求 工作于操作系统层的 Volume Manager 与 File System 为其它增值技术的开 发奠定了基础 这些技术包括集群与故障排除 备份与 HSM 以及基于浏览器的 远程管理 2 2 Storage Foundation 技技术术架架构构 Storage Foundation SF 的核心由两个组件构成 一个是文件系统 称 为 VxFS 一个是卷管理器 即存储虚拟程序 称为 VxVM 下图说明了 SF 在业务应用程序和数据之间的软件组件堆栈中的位置 存储管理软件项目方案建议书 第 4 页 共 18 页 赛门铁克软件北京有限公司 2 SF 核心的第一个组件是 VxVM 卷管理器控制着对连接到服务器的联机存 储的访问 联机存储设备通常是直接连接到服务器的磁盘驱动器 也可以是由 磁盘阵列通过存储网络提供的逻辑单元 LUN 通过适配器和主机操作系统中 的设备驱动程序 VxVM 将这些设备的块存储组织起来 然后以类似于磁盘驱动 器的虚拟卷的形式提供给上一层 SF 核心的第二个组件是 VxFS 文件系统 VxFS 是一个功能先进 性能卓 越且符合 POSIX 的文件系统 VxFS 不同于原始的 UNIX 文件系统的一个方面 是 它从一开始即设计用于适应大规模数量的文件和巨大的存储区数据量的处 理需要 VxFS 文件系统的以下几个设计特性使得它能够管理 TB 级容量的存储 区以及上百万数量的文件 2 3 Storage Foundation 带带来来的的 好好处处 Storage Foundation 解决方案可以为 xxxxxx 带来的如下好处 实现异构存储环境的可视化管理 提高存储系统的可靠性和高可用性 由于 Symantec 是独立的软件厂家 在业界建立了广泛的伙伴关系 软件提供最 广泛的设备兼容性 存储管理软件项目方案建议书 第 5 页 共 18 页 赛门铁克软件北京有限公司 实现存储在线管理 减少对业务系统的影响 SF 所有的逻辑卷和文件系统 操作都可以在应用不停机的状态下完成 真正实现存储供应对应用的透明 同一个工具实现所有主机平台上的存储管理 减少管理成本 SF 支持所有 UNIX Linux 和 Windows 平台 用户只需要学习一种技术就能够操作所有的 主机 减少学习成本 提高操作可靠性 多路径功能支持异构存储 减少采购成本 提高灵活性 目前的事实是任何 一台主机只能以多路径的方式存取一种牌子的阵列 限制了灵活性 SF 解 决这个问题 可以将快照 复制映射到不同品牌的阵列上 减少成本 提高灵活性 SF 支持不同牌子阵列之间的快照和数据复制 与备份软件集成 实现数据备份对业务主机的零影响 减少恢复时间 SF 的快照可以和 Symantec 的备份软件紧密集成 实现脱机备份 降低对生产 主机的影响 同时从磁盘快照恢复有更快的恢复时间 2 4 Storage Foundation 技技术术特特点点 2 4 1 存存储储在在线线管管理理 在今天数据量快速膨胀的环境中 服务器和存储的重新分配已成为一项日 常工作 应用的数据增长超过了原来分配的存储容量 一些数据的价值日益增 加 需要更高级的保护 需要将系统上多余的存储容量转分配给容量不足的其 他系统 这些都属于存储管理的范畴 无论出于何种原因而进行存储重新分配 通常都会导致应用程序 停机 这对于需要保障应用程序不间断运行的管理员来说是个难题 从业务角度来看 停用大型文件系统或数据库 以将其备份并恢复到较大设备的做法往往不可行 即使将数据集从镜像设备直接复制到非冗余设备所需的时间也会对运营产生负 面影响 存储管理软件项目方案建议书 第 6 页 共 18 页 赛门铁克软件北京有限公司 VxVM 的体系结构允许数据被应用程序联机使用状态下执行重新配置操作 从而消除或至少减少重新配置存储带来的问题 调整卷的大小既可以在应用程 序需要多余空间时增加其容量 也可以在需要将未使用的存储重新部署到其他 主机时减少其容量 可以在线卷的配置 包括添加或删除镜像 增加或减少条带卷中的列数等 VxVM 可以在磁盘或 LUN 之间重定位条带卷的单个镜像或列 如果怀疑存 在潜在的磁盘故障 则可以使用该功能 即将数据从故障磁盘移至另一个正在 使用的备用磁盘 另外 还可以使用它将数据从旧设备迁移到新设备中 VxVM 使用存储中的空闲容量在后台执行上述所有重新配置操作 需要注 意的是 重新配置卷操作需要大量 I O 因此应谨慎地安排在生产应用程序未 承担峰值负载时执行这些操作 VxVM 联机重新配置可避免停机 在执行重新配 置时 即使应用程序达不到峰值性能 也完全可正常运行 因此 联机重新配 置功能解决了这一难题 VxVM 在重新配置存储时无需停止应用程序 只需在安 排重新配置时 将其安排在从业务角度看可以承受任何潜在的性能下降的时间 2 4 2 多多层层存存储储与与在在线线迁迁移移 企业使用通常与业务目的密切相关的文件来组织它们的数字信息 这些信 息包括文档 事务 图像 音频曲目和其他数字业务对象 每个都具有业务价 值 因此 优化存储及 I O 成本和性能的工作显然要围绕文件这个对象来展开 企业会出于多种原因而需要控制在两个或多个存储层内放置数据对象 不同类型的数据具有不同 I O 性能需要 数据流需要较高的数据传输性能 但可以接受中等的 I O 请求速率 事务需要较高的 I O 请求速率 但只需要 中等的数据传输性能 同时运行的应用程序可能会争用 I O 资源 除非它们的数据放置在具有单 独访问路径的单独存储设备上 存储管理软件项目方案建议书 第 7 页 共 18 页 赛门铁克软件北京有限公司 不同数据集具有不同可用性要求 通常 企业可以在缺少人力资源系统的情 况下经营业务 但却不能在缺少销售点或客户关系管理系统的情况下经营业务 不同数据集具有不同的价值 丢失一天的业务事务会对企业产生明显影响 但仍可恢复正常 丢失年度结算数字可能会带来一场灾难 丢失一整天的工作 对于视频编辑人员来说可谓损失惨重 但丢失完成的产品可能使组织遭受更大 挫折 另外 文件的合适存储类型会随着时间而变化这一事实构成了更大的挑战 当文件变旧 变为不活动状态 增大或者缩小 或在目录之间移动时 适用于 该文件的合适的存储设备类型也会发生变化 手动在存储设备层中重定位数百 万个文件会成为一项永无休止的任务 自动化对于有效利用多个存储层是一个 必要条件 特别是对于包含大量文件的文件系统 VxFS 动态存储分级 DST 包含两个部分 多卷文件系统以及文件系统存储 内基于策略的自动化文件放置 顾名思义 多卷文件系统就是占用两个或更多虚拟存储卷的文件系统 VxFS 多卷文件系统显示单一名称空间 因此多个卷的存在对于用户和应用程序 是透明的 但是 VxFS 内部仍清楚每个卷的标识 这使得管理员可以定义策略 来控制单个文件的位置 在其上构建多卷 VxFS 文件系统的 VxVM 卷也称为 VxFS 文件系统的卷集 卷可能具有不同的类型 例如 条带卷 RAID 5 卷 镜像卷 等等 并可能 基于不同的硬件技术 如不同类型的磁盘阵列 LUN 和不同技术的直接磁盘挂接 将存储层构建在 VxVM 卷之上具有一个重要的优点 出于 I O 性能或容错方 面的原因 卷可以具有任何必需的容量和配置 甚至可以跨多个磁盘阵列 多卷 VxFS 文件系统的管理员通过定义文件放置策略来控制文件位置 文 件放置策略指定最初文件位置以及现有文件应在那个位置环境下重定位 VxFS 文件放置策略由将文件位置限制到文件系统的卷集的子集的规则组成 这些子 存储管理软件项目方案建议书 第 8 页 共 18 页 赛门铁克软件北京有限公司 集被称为放置级别 通常使用存储层进行标识 文件是在指定的放置级别中创 建和扩展的 并在满足某些资格要求时被重定位到其他放置级别 例如 下图显示了一个由三个放置级别 分别称为 tier1 tier2 和 tier3 组成的卷集 此卷集可能适合包含少量关键文件 tier1 具有一般重要性的 较大数量的文件 tier2 和更多数量的非活动文件 tier3 的文件系统 VxVM 卷通过使用称为卷标记的字符串与放置级别相关联 在上图中 Volume F 带有标记 tier1 Volume D 和 Vo l ume E 被标记为 tier2 而 Volume A Volume B 和 Volume C 被标记为 tier3 放置文件时 VxFS 同等 对待放置级别中的所有卷并在它们之间平衡空间分配 卷标记只是一个用于对卷进行分类的字符串 任何卷都可以使用任何方便 的名称进行标记 例如 以贵重金属命名存储层是很常见的 gold 最顶层 silver 中间层 和 bronze 最低层 VxFS 根据文件系统的活动文件放置策略为文件分配空间 文件放置策略由 用于管理指定文件集的最初位置和后续重定位的规则组成 可以对规则指定文 件 按名称 目录 所有权或按三者的组合对文件应用规则 文件放置策略规则是按放置级别而不是按特定卷来指定文件位置的 这避 免了在从文件系统的卷集添加或删除卷时更改放置策略的需要 此外 由于放 置类别名称不需要唯一 因此可以将一个放置策略指定给具有相似要求和存储 补偿的任意数目的文件系统 存储管理软件项目方案建议书 第 9 页 共 18 页 赛门铁克软件北京有限公司 文件放置策略规则以按优先级排序的放置类别列表的形式指定原始分配和 重定位的位置 如果空闲空间允许 会将文件分配到列表中的第一个类别中 如果在第一个类别中没有空闲空间 则会分配到第二个类别中 以此类推 除 非在任何指定的类别中都没有空间 否则文件分配不会失败 此功能为特定存 储层意外填满的文件系统提供了一种 软着陆 方式 VxFS 通过管理命令强制执行文件放置策略 策略强制执行通常会定期 例如 每天 进行 并且安排在生产性活动预期比较少的时间 在策略强制 执行过程中 如果有可用空间 VxFS 会将文件重定位到这些文件所应用的规则 中列出的第一个放置类别 如果在第一个类别中没有可用空间 则会定位到第 二个类别 以此类推 文件放置策略可以指定无条件的重定位 或者 重定位可以基于某些资格 条件 如自最近访问或修改之后的时间 访问强度 有时也称为 I O 热度 和 文件大小 2 4 3 存存储储多多路路径径管管理理 在数据中心的高可用性范畴中 存储网络本身已成为一个重要因素 不仅 虚拟存储设备必须非常强大 还必须保护访问组成虚拟存储设备的物理设备的 能力 使其不受网络故障的影响 最常用的多路径访问容错形式是配置两个或多个完全独立的物理网络或光 纤通道 然后将主机服务器和存储设备与两条光纤通道连接 但要达到当路径中任一组件发生故障都不会中断主机服务器与数据间的连 接 其前提是 主机服务器可识别它与存储设备之间的两个路径 主机服务器的 I O 软件堆栈能够将发送到失败路径的请求重新发送给备用 路径 使应用程序访问数据时不会中断 VxVM 动态多径处理 DMP 功能可满足上述两个要求 DMP 基于基本操作 系统设备发现而构建 可识别连接到相同磁盘驱动器或磁盘阵列 LUN 的多个路 存储管理软件项目方案建议书 第 10 页 共 18 页 赛门铁克软件北京有限公司 径 如果设备路径因任何原因失败 DMP 会将请求重新路由到备用路径 在大 多数情况下 重新路由对应用程序是透明的 对于所谓的主动 被动磁盘阵列 即需要特定操作才能与备用路径上设备通信的磁盘阵列 DMP 会执行所需操作 上图显示 DMP 处于 I O 堆栈中 VxVM 虚拟层下的位置 在系统启动过程 中或按需要执行发现的阶段 DMP 会查询类似设备以确定它们是确实为不同设 备 还是通过两个主机总线适配器提供给操作系统的相同设备 对于为其检测 多个路径的每个设备 DMP 都会在操作系统中创建伪设备数据结构 VxVM 虚拟层将 DMP 提供的伪设备虚拟化 镜像和条带化等等 VxVM 向 驱动程序发出的每个 I O 请求都会通过 DMP 层 该层使用 I O 路径将其路由 至设备并跟踪其进度 所以 VxVM 的 I O 请求不会在系统中丢失 如果 I O 设备的一条路径发生故障 DMP 会直接将未完成请求和未来请求 重新路由到另一路径 同时执行可影响路径故障切换的任何特定于磁盘阵列的 操作 存储管理软件项目方案建议书 第 11 页 共 18 页 赛门铁克软件北京有限公司 DMP 的辅助优势在于可同时使用两条或多条设备路径以提高吞吐量 该功 能在配备较大缓存内存的企业级磁盘阵列中尤为重要 对于某些类型的应用程 序 相当大一部分 I O 请求是通过引用磁盘阵列缓存来满足的 因为不会对这 些请求执行查找或旋转中继 所以数据传输成为限制 I O 性能的因素 如果磁 盘阵列支持同时通过两条或多条路径访问其 LUN 则 DMP 可以将每个 VxVM I O 请求路由到相对不繁忙的路径 从而提高总吞吐量 DMP 包含多种算法 可在多条路径之间平衡 I O 负载 DMP 的主要优势是提高服务器级别的数据可用性 因为它使对存储设备的 访问能够承受 I O 路径故障 其辅助优势是在与磁盘阵列一起使用时 如果这 些磁盘阵列支持同时访问连接到它们提供的 LUN 的多条 I O 路径 则可提高 I O 性能 DMP 相对于其他厂商提供的多路径管理软件来说 更大的价值在于其支持 多个不同类型的阵列 当主机需要连接两种或两种以上不同厂商的阵列时 因 为厂商的多路径管理软件互不兼容 客户的这种需求很难满足 但 Veritas DMP 能完全满足这种复杂需求 2 4 4 存存储储快快照照管管理理 快照技术无论是用于脱机备份或快速恢复 还是用于其它处理例如分析 统计 都会占据大量的存储空间 现实中无论是应用开发阶段 测试阶段 或 是生产环境 都存在这大量的数据快照 就像捕获物理操作的摄影快照一样 VxVM 快照能够捕获大型数据集的瞬 间映像 从而帮助解决该冲突 可以将大型数据集的 VxVM 快照备份或对其执 行其他处理 同时生产应用程序可继续处理数据本身 VxVM 同时支持完整副本和节约空间的写入时分配快照 完整副本快照是 卷的 位对位 副本 与卷本身占用相同的存储容量 完整副本快照的优势在 于可以将它们占用的存储设备移到其他主机上 因此处理它们时不会影响生产 应用程序的可用资源 它们的缺点在于初次创建时需要很长时间 这是因为必 须将要为其创建快照的数据集中每个位复制到快照卷中 存储管理软件项目方案建议书 第 12 页 共 18 页 赛门铁克软件北京有限公司 节省空间的快照是卷的虚拟快照 从物理角度看 节省空间的快照仅包括 快照创建后已修改的数据之前的映像 当应用程序更新之前的映像之后 会为 它们分配存储容量 节省空间快照作为完整数据集提供 但是它们通过引用原 始映像满足获得未修改数据的读请求 因此 不能将它们移到主机以外的其他 计算机以进行辅助处理 节省空间的快照使用的存储容量非常有限 不经常更改的大型数据集更是 如此 因为它们使用的存储容量与其生命期内修改的数据量成比例 而不是与 数据集大小成比例 因此 可以经常创建节省空间的快照 从而在数据集被损 坏之后迅速将它们恢复到先前的状态 恢复点 VxVM FastResync 功能显著增强了完整副本和节省空间的快照在重复应用 中的可用性 并可用于从应用程序导致的数据损坏中恢复 VxVM 维护数据更改 日志 DCL 跟踪对活动快照和它们代表其快照的卷的更改 使用 DCL 作为指 南 VxVM 使用快照的之前映像内容覆盖已更改的块 从而迅速将损坏的卷恢复 到先前的状态 同样 快照的有效期结束时 可以使用原始卷中已更改的块覆 盖快照 将其更新为最新快照 所以 举例来说 可以将完整副本的快照移到 主机外以进行备份 然后在备份结束后将其移回主机 将已更改的数据复制到 其原始卷中以更新原始卷的当前状态 然后再次将其移到主机外 进入下一个 备份循环 VxVM 快照可以显著延长信息服务的正常运行时间 使其能够捕获生产应 用程序继续处理活动数据时 可对其进行备份或分析的大型数据集的瞬间状态 可使用快照将数据恢复到损坏发生之前某个点的状态 从而恢复损坏的生产数 据 FastResync 技术将恢复先前卷状态和刷新快照需要的复制量减少到最低 以提高快照的可用性 一般快照数据不用于生产应用存取 所以快照存储的性能不需要太高 从存储 利用率的角度 可以将快照置于二级存储中 由于SF的快照功能支持不同阵列 间操作 所以可以显著提高存储利用率 降低存储成本 存储管理软件项目方案建议书 第 13 页 共 18 页 赛门铁克软件北京有限公司 第第 3 章章 实实施施方方案案 3 1 Storage Foundation 实实施施过过程程 SF 的实施过程包括 1 对于一个全新的系统 在操作系统安装完成后进行 根据需要安装操作系统补丁程序 安装 SF 在安装的过程中完成 SF 的基本配置 根据实际用户环境安装阵列支持包 ASL