数据中心标准化构建方案课件

1、数据中心标准化System Engineer1数据中心标准化总结：数据中心存储管理创新数据中心存储管理和优化当前数据中心的复杂性 交流内容1232数据中心标准化当前数据中心的复杂性3数据中心标准化管理层对业务支撑系统的要求提高效率优化性能控制增长拓展业务4数据中心标准化经典存储管理的不足主机和存储系统的互相绑定提供存储资源创建卷增加，缩小卷的空间挂接到不同主机日常维护与管理为卷增加或移出磁盘数据的复制、拷贝和迁移镜像/分割物理层管理LUN映射冗余链路管理I/O负载均衡物理磁盘/LUNsOSApplication将多个物理磁盘对象整合成一个虚拟对象5数据中心标准化影响IT系统优化的二个根本因素：

2、1. 规模和变化带来的管理复杂性6fcfcfcfcfcipipip后台存储资源ipfcfcfcfcfcfcfcfc应用系统文件系统/数据库逻辑卷管理存储链路管理磁盘驱动管理存储拓扑管理数据中心标准化TrueClusterUFSSun ClusterPolyServeMSCSPPRCASMZFSSecurePathInstantImageMPxIOJFSLVMTrueCopyJFS2HDLMSVMExt3MPIOLDMPowerPathTimeFinderShadowCopySAM FSQFSSDSMirrorDisk -UXSnapViewMirrorViewSRDFOCFSSAN-FSRei

3、serFSGPFSSnapRepliStorServiceGuardData Replication ManagerEVMSVCFlashCopyHACMPGeoSpanSAN CopyDLMShadowImageSnapShotDoubleTakeClusterFrameSNDRQFS用到的软件0102030405060708091011121314151617181920212223242526272829303132333435363738394041424344454647484950+影响IT系统优化的两个根本因素：2. 系统支撑软件环境的复杂性7数据中心标准化存储管理和优化的最佳实

4、践8数据中心标准化应用系统整合（解耦化） IT基础架构规范化 统一存储管理IT基础架构平台化 统一应用管理 统一数据保护表示业务数据主机存储网络表示业务数据主机存储网络表示业务数据主机存储网络表示业务数据主机存储网络表示业务数据主机存储网络9数据中心标准化存储管理和优化的最佳实践存储服务内容存储服务内容存储服务内容存储服务内容空间回收整合IO分布数据保护空间扩展迁移拷贝快照复制存储分级存储服务内容统一的存储管理和服务符合业务需求的快速资源部署和服务提供硬件物理资源提供基本存储单元 $/GB10数据中心标准化存储管理和优化的核心技术VERTIAS Storage Foundation11数据中心

5、标准化Symantec存储管理软件的历史1989年接受SUN公司的委托开发了第一个版本的卷管理(logical volume manager)业内第一款真正意义上的企业级卷管理软件2000年 HP在HP-UX 11.0开始OEM Symantec卷管理软件目前全系列OEM Symantec文件系统，JFS=VERITAS File System2000年 Microsoft在Windows平台开始使用Symantec卷管理软件(Microsoft Logical Disk Manager)目前在Windows企业平台的占有率为100%2001年与Oracle合作开发出ODM API2003年成

6、为IBM IGS容灾解决方案全球合作伙伴2005年，IBM在P系列OEM Symantec HA管理软件(LINUX)12数据中心标准化13数据中心存储管理和优化提升 存储资源使用效率优化 系统运行维护提供高可用存储环境掌控 存储资源状况124313数据中心标准化业务支撑系统存储管理和优化14数据中心标准化15业务支撑系统存储管理和优化掌控资源掌控 存储资源状况115数据中心标准化阵列 A / B?阵列A / B?阵列A / B?主机1 / 2?物理逻辑LUN占用使用100TB90TB80TB70TB10TB90TB10TB80TB10TB70TB20TB50TB端到端的可视化管理阵列主机知道

7、主机的存储利用率不知道阵列的分配情况不知道存储的分配情况无法掌握主机/应用对存储的使用情况ILM策略数据分类数据存储策略 + 数据迁移分级存储架构VERITAS Storage Foundation解决这些问题.有多少存储？存储在哪里？如何提高存储利用率？复杂的环境需要端到端的管理能力分配50TB20TB30TB阵列A阵列B主机1主机2SAN应用1应用2应用 1 / 2?主机 1 / 2?应用 1 / 2?主机 1 / 2?16数据中心标准化掌控现有的存储环境：1. 汇总及分析软硬件和网络环境要求阵列发现SAN架构发现配置管理好处掌控物理容量掌控物理资源利用率资产状况报告17数据中心标准化理解

8、现有的存储环境：2. 以业务系统和应用为轴心的分析要求卷和文件系统可视化管理应用的可视化管理文件级的分析配置管理好处物理设备和逻辑层面上的统一掌控逻辑资源利用率掌控数据类型和存储位置18数据中心标准化理解现有的存储环境：3. 端到端可视性管理可视化的存储管理和服务需求从应用到磁盘的视图管理实体间的依赖性数据间的关联性好处掌握物理与逻辑视图间的关系识别闲置存储19数据中心标准化从应用到磁盘的端到端映射的存储管理File 2Oracle表空间分布在哪些磁盘上？哪些文件在哪些盘上？哪些磁盘做备份卷？哪些卷是热点？哪些卷很少使用？File 1File 3Vol BVol AOracle TableSp

9、aceEMC Array XEMCArray YD7D5D6D4D3D1D2D0D9D8D7D6D1D2D0D5D3D420数据中心标准化Oracle存储的端到端拓扑视图FileVolumePlexSTDVol 1BCVol 1STDVol 2LUNsPathsRawDisks121212BCVol 221数据中心标准化Oracle端到端I/O性能数据采样22数据中心标准化提高存储系统的自主管理能力存储系统拓扑结构发现和健康状况管理应用到磁盘的端到端的管理存储容量管理、使用分析和优化存储容量分布和趋势分析优化存储资源和存储系统运维闲置存储回收，提升存储利用率23数据中心标准化24数据中心存储管

10、理和优化提升效率提升 存储资源使用效率掌控 存储资源状况1224数据中心标准化建立互联互通的存储环境建立开放的存储管理平台，最大限度屏蔽硬件技术差异摆脱硬件限制，提升系统扩展能力和客户自主选择能力提高主机到存储的访问性能和可靠性使存储资源得到充分利用降低硬件设备投资根据业务需要合理配置硬件资源优化业务系统对于存储空间的使用SolAIXLinuxHPUXVERTIAS Storage FoundationEMCHDSHPIBMSunNetApp3Par25数据中心标准化在线、统一管理存储资源将不同厂家，新旧或档次不同的存储整合到一起统一管理存储资源集中分配存储空间分级管理和使用存储设备在线、动态

11、数据迁移客服数据库经分分析数据库营帐数据库计费数据库26数据中心标准化减少数据冗余，提高应用性能 （CFS）多个应用共享存储和数据避免FTP和NAS带来的效率问题均衡应用负载性能随主机数量线性增长系统高可用，没有单点故障CVMCVMCVM详单/2出帐/2计费/2CVM采集/2SANClusterFile System27数据中心标准化提高存储和数据管理效率动态存储分级现有系统问题缺乏对新、旧，高、低端存储的管理手段缺乏让不同存储价值最大化的手段没有有效的存储整合技术优化方案采用动态存储分级管理对混合存储环境（不同访问协议如FC、iSCSI之间，不同档次如SSD 、 FC、SATA，不同性能如高

12、端、低端之间）进行存储服务质量管理提供不同级别SLA的存储服务基于存储设备属性和数据属性进行划分动态地迁移数据/VxFS File System高端磁盘 FC73GB HDDsPlenty of NVRAM15,000 RPMRAID 1+0低端磁盘 SATA250GB HDDsSome NVRAM7,200 RPMRAID 5-rw-r-r-1 jsmithstaff910Jul 4 17:09save_vxprint-rw-r-r-1 jsmithstaff3308Jul 4 15:15config.log-rw-r-r-1 jsmithstaff1841Jul 4 12:01user_r

13、ankdrwxr-xr-x4 jsmithstaff512Mar 24 11:37MD5-1.7drwxr-xr-x4 jsmithstaff512Mar 24 11:37MIME-Base64-2.12drwxr-xr-x3 jsmithstaff512Mar 24 11:37patches_and_modules-rw-r-r-1 jsmithstaff1499Jan 17 14:13test_script-rw-r-r-1 jsmithstaff1663Jan 17 14:13prtdiag-rw-r-r-1 jsmithstaff2046Jan 17 14:13nohup.out-rw

14、-r-r-1 jsmithstaff2071Jan 17 14:13extract_config.ksh-rw-r-r-1 jsmithstaff426Jan 17 14:13wrapper_script-rw-r-r-1 jsmithstaff685Jan 17 14:13file_cleaner_1-rw-r-r-1 jsmithstaff1006Jan 17 14:13note_fcn-rw-r-r-1 jsmithstaff1842Jan 17 14:13ckpt_timer-rwxr-xr-x3 jsmithstaff550Jan 10 19:49pearl_dir-rwxr-xrw

15、x2 jsmithstaff781Jan 7 15:50testftp Volume AVolume BVERITAS Storage Foundation28数据中心标准化不同存储间的文件迁移和管理动态存储分级 新文件根据属性自动去它该去的地方根据设定的条件，文件自动迁移到指定的存储中/one_fs/sales/current/forecast/financial/2010/2009/development/new_app/history(Mirrored x 2)Tier2(RAID5)Tier3(Striped)TierTemp(Mirrored x 3)Tier129数据中心标准化通过

16、动态存储分级规则让数据“各归其位”DST 规则用户案例Agingmtime or atime银行: 客户交易记录 3 个月 = tier 1, 1 年 = Tier 3ActivityI/O 或者 访问热度零售行业: 当冬季清点库存，数据IO热度上升时，将数据迁移到Tier 1; 夏季时将数据迁移到Tier 2Owner用户或用户组IT服务: 客户账单信息 = Tier 1, PM Wiki 网站 = Tier 2Logical location目录网络服务提供商: 付费客户邮箱= tier 1, 免费客户邮箱= tier 2Name文件名制造业: 设计文件数据 = tier 1 , mp3数

17、据 = tier 3Size文件所用空间医疗记录公司: 大文件 (如X光图片) = tier 330数据中心标准化存储设备物理集中静态分配给主机存在互联互通问题实现存储分级管理，区别对待不同档次存储数据在不同级别存储间动态迁移存储资源的充分利用不同阵列间的数据快照本地和远程存储镜像远程数据复制不同数据中心存储的整合和利用创新存储管理，提升存储使用效率/FileSystemTier 2Tier 1旧设备新设备Tier 2Tier 1Tier 2简单集中池化存储数据复制分级存储实现存储互联互通建立统一存储池存储空间按需分配提升存储利用率不同档次存储如何区别对待？Tier 2Tier 131数据中心

18、标准化32数据中心存储管理和优化优化运营提升 存储资源使用效率优化 系统运行维护掌控 存储资源状况12332数据中心标准化减少停机，提高存储系统可靠性改变RAID配置移动数据卷改变卷大小重新分配磁盘硬件升级物理磁盘损坏传输通道损坏数据冲突计划停机意外停机33数据中心标准化集中化存储管理的全新体验可视性集中的可视化管理 应用的存储使用问题 全面的资源详细情况可控性存储管理的操作引导 减少存储管理成本 提高运营效率可管理性简单、可重复的存储管理过程磁盘组的迁移卷的迁移34数据中心标准化高度自动化的日常运维管理在线动态管理存储资源根据需要分配和回收存储空间动态数据迁移路径管理 端口到路径的匹配 单路

19、径警告 中止访问路径 启动访问路径2集中分级存储管理 设置存储分级策略 推送策略到主机 强制策略执行3$DST5.0 and4.x Hosts12数据卷迁移 找出使用阵列1的主机 镜像到阵列2 断开原有镜像135数据中心标准化Date Accessed 60 days = DMX, else EVA3应用集群的统一管理现有系统的集群方式利用率Symantec集群方式提升主机利用率，降低投资36数据中心标准化37数据中心存储管理和优化提供存储服务提升 存储资源使用效率优化 系统运行维护提供 高可用存储环境理解 现有存储资源状况124337数据中心标准化保护管理性能 镜像 分级存储$ 聚合调整 迁

20、移克隆 分区操作系统迁移UnixLinux在线碎片整理集群文件系统变更日志条带化 多路径Quick I/O并发I/O 快照检查点 复制VERITAS Storage Foundation提供与盘阵无关的存储功能和服务38数据中心标准化消除存储系统单点故障盘阵间镜像现有系统的隐患单个的磁盘阵列是系统的单点物理盘阵的损坏会导致业务的中断优化方案引入另一磁盘阵列实施盘阵间的镜像消除存储单点隐患VERITAS Storage Foundation39数据中心标准化消除应用系统逻辑错误空间优化快照现有系统隐患运维和升级可能会导致数据的损坏优化方案建立空间优化快照，防范软件故障或人为失误空间优化快照节省磁

21、盘空间基于时间点的快照保证了数据的恢复能力Now空间优化的快照40数据中心标准化提高应用系统快速恢复能力数据快照现有系统隐患系统不断变化可能会破坏数据磁带备份的恢复会带来比较长的停机时间优化方案建立数据快照，防范物理和逻辑故障快照的数据随时可用，缩短恢复时间数据快照也可以用来做测试、统计分析不同盘阵间快照可以防范磁盘阵列硬件故障快照VERITAS Storage FoundationEMC DMXSATA41数据中心标准化割接上线的支持能力新业务、整合和融合带来应用系统的不断变化和调整数据迁移和快照能力支持应用系统的测试、迁移和割接上线异构平台之间的数据迁移能力，降低系统迁移风险跨阵列快照提供

22、了更大的灵活性提供快速的数据保护和恢复新系统原系统LAN 快照卷生产卷42数据中心标准化异构平台间的数据迁移标准化了文件系统和数据卷文件系统和卷在不同操作系统间移动数据独立于其磁盘载体减少迁移成本和时间适用于有相同数据格式的环境（CAD、ASCII、多媒体、话单、数据库）HP SDIBM rp43数据中心标准化减少备份对业务的影响Server-Free备份现有系统隐患备份时间过长，影响业务运行磁带恢复时间过长，会影响业务服务质量优化方案备份不影响生产系统支持数据库的备份，无需开发脚本自动的处理流程 快照, 映射, 挂接, 备份从快照或磁带上恢复 Backup Server ClientLAN Mirror