数据存储项目从需求到方案v3.0

1、 2007 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Technology for better business outcomes 数据存储项目从需求到方案22021年12月21日星期二提纲典型企业应用架构数据存储层的需求分析数据访问层的需求分析应用层的需求分析案例分享32021年12月21日星期二典型企业应用架构存储层 存储企业数据 通常是数据库数据访问层 对存储设备的访问 对数据的操作应用层 业务逻辑展现层 数

2、据的展现42021年12月21日星期二数据存储层需要考虑的问题存储环境的选择数据容量数据安全性数据扩展性数据访问效率（性能要求）数据生命周期的考虑52021年12月21日星期二Q1: 客户存储环境？客户现有环境和计划采用的技术SAN 环境环境 (光纤光纤) 存储区域网络 高速光纤网络 高效 适合提供块数据服务 造价相对较高NAS 通过网络提供数据 通常适合文件服务 容易共享 造价低 受NAS服务器限制 iSCSI IP SAN SCSI over IP 网络上提供数据块服务 无需专用存储网络 造价较低 网络协议导致了性能相对FC SAN较低DAS 直接连接服务设备 连接方式多样 数据无法共享

3、维护成本高 62021年12月21日星期二Q2: 客户数据容量？现有数据容量和发展需求MSA系列出众的出众的TCO 324 TB存储整合 + 灾难恢复通过虚拟化实现简易性Windows、HP-UX、Linux以及其它实时可用实时可用 851 TB数据中心整合 + 灾难恢复大规模Oracle/SAP应用HP-UX、Windows、以及其它20多种，包括mainframe 低成本整合低成本整合 50T72021年12月21日星期二Q3: Q3: 数据保护数据保护软件故障14%病毒7%自然故障3%硬件或系统故障44%人为错误32%用户删除文件格式化硬驱动器PC 黑客硬件、驱动器和 RAID 控制器故

4、障.操作系统死机.火灾地震洪水数据损坏来源：Understanding Data Loss. CBL Data Recovery Technologies Inc. Industry 资料来源 Data Recovery Report5 4为什么需要数据保护？为什么需要数据保护？82021年12月21日星期二Q3: 数据安全的保证在线一份数据还是两份？单存储？即时数据拷贝保证数据安全在线备份、对应用无影响数据丢失可及时恢复拷贝的数据可以用于数据挖掘 改善业务流程 提高客户的业务能力提供针对Oracle, Exchange和SAP系统特点的数据快照保护92021年12月21日星期二Q3: 数据安

5、全的保证在线一份数据还是两份？双存储？持续数据保护基于操作系统简单易用没有停机时间费用较高不能完成容灾mirroring102021年12月21日星期二备份及其误区备份及其误区l系统冗余保证了进程的连续性和系统的高可用性。l系统冗余不能替代数据备份 人为错误，恶意破坏 病毒 断电 天灾人祸l数据的备份才能保证数据万无一失 恢复时要重新安装操作系统 恢复时要重新安装所有的应用程序 需要相当长的时间才能恢复所有的数据112021年12月21日星期二LTO ULTRIUM适用于寻求最佳性能、可靠性和投资保护的客户网络备份和异构环境的理想之选可选择高性能、全高磁带机或者经济的半高磁带机DAT/DDS经

6、济、可靠的解决方案非常适用于工作站和小型服务器提供热插拔型号最低的介质价格可带来极低的拥有成本*上述所列容量为磁带机自身具备的容量Q4: 数据安全 备份磁带机 Tape Driver工作组级办公服务器部门/本地网络企业/网络备份DAT 4020 GB入门级入门级高端高端（高性能、全高磁带机）（高性能、全高磁带机）中档中档（半高磁带机）（半高磁带机）36 GBDAT 72Ultrium 460200 GBUltrium 960400 GBUltrium 448200 GBUltrium 920400 GBUltrium 1840800 GBDAT 16080GBUltrium 1760800 G

7、B 数据备份 快速恢复 单键快速自动恢复 OBDR122021年12月21日星期二MSL 系列 简单、低成本 适用于少量的服务器和小型网络环境 DAS 和 LAN 备份 易于管理, 灵活, 可靠 适用于中、大型业务环境 DAS, LAN, 入门级 SAN 备份 强大的扩展能力和高性能 适用于企业级的数据中心 大型的SAN环境性能容量中级入门级企业级ESL E- 系列AutoloadersEML E-系列 高扩展, 易于管理, 高度可靠 适用于中、大型的数据中心 中到大型的 SAN环境HP Restricted For HP Partner & Internal Use OnlyQ5:

8、数据安全 备份磁带库 Tape Library 集中备份 自动备份与恢复132021年12月21日星期二大容量：1盘介质上可存储高达 800GB 的数据小尺寸：所有这些容量都可存储在1盘小巧的数据磁带上可移动性：介质可以与设备分离，提供额外的病毒保护便携性：介质可以在现场之外存储，提供额外保护长寿命：适合长期存储（至少10 15年）3惠普机密磁带备份系统的问题问题当前的应对措施惠普虚拟磁带库系统解决问题的方法无法满足备份时间要求听之任之，孤注一掷 被迫在性能较低的情况下完成备份任务硬着头皮向管理层提交备份故障报告提升备份性能提高备份流程可靠性恢复速度慢专门投入存储管理资源 迁就于低下的生产效率

9、减轻存储管理员和服务台工作人员的工作负担提高相关人员的工作效率介质利用效率低下购买更多的介质支付更多的异地服务费用减少磁带拷贝的数量提高介质利用率解决方案无法满足需求（例如容量太低，不支持新应用）淘汰和更换解决方案针对主要问题部署专用解决方案独立扩展容量和吞吐量几乎支持所有的备份应用采用重复数据删除技术和自动迁移技术152021年12月21日星期二磁盘备份？磁带备份？现在，市场上有两种备份方式可供您选择.磁盘备份磁盘备份磁带备份磁带备份优势 快速文件访问 减少备份时间 增加备份并行度 容易使用 比较便宜 利于长期保存 容易移动劣势 价格稍高 不方便在不同地之间移动 备份和恢复速度慢 对磁带需要

10、更多的管理162021年12月21日星期二162021年12月21日星期二D2D100系列VLS6000系列D2D2500系列D2D4000系列VLS9000VLS12000EVA网关新新入门级中高端企业级简单经济小型企业iSCSI入门级机架更小的IT环境或远程站点iSCSI更高容量的解决方案具有小型数据中心的中型企业iSCSI和FC单节点系统中型和企业级数据中心大中型FC SAN多节点系统高性能和可扩展性企业数据中心大型FC SAN具备快速重复数据删除功能（Accelerated deduplication）具备重复数据删除功能数据安全 备份磁盘备份 虚拟磁带库VTL 集中、自动备份与恢复

11、快速自动备份与恢复 提高介质利用率172021年12月21日星期二手动备份与恢复 人员操作 容易出错，恢复复杂 成本高集中自动备份与恢复 自动运行 无需或者很少人员的参与 更容易的恢复数据安全 备份手段自动方式？手动备份？182021年12月21日星期二Q6: 数据安全容灾需求？多存储备份与恢复 Storage Mirroring磁盘阵列级多存储备份与恢复 - CA192021年12月21日星期二容灾！容灾！容灾！如何选择合适的数据保护战略？两个主要的衡量指标： 恢复时间目标（恢复时间目标（RTO） 业务流程能够承受多长的停机时间？ 一天？ 一个小时？ 一刻都无法承受？ 恢复点目标（恢复点目标

12、（RPO） 企业可承受多少数据丢失？ 一天的数据？ 一个小时的数据？ 不能丢失任何数据？ 磁带和自动化处理虚拟磁带库基于磁盘复制连续保护数据 年 天 小时 分钟 秒 秒 分钟 小时 天恢复点(Recover Point Objective)恢复时间(Recovery Time Objective)保护方法磁带备份 写入时捕获 保险库综合备份 磁带备份 存档 快照 实时复制 镜像实时恢复 磁盘存储 磁带存储卷备份 时间点 搜索/检索恢复方法202021年12月21日星期二20202021年12月21日星期二多主机级多存储备份与恢复Storage Mirroring持续的数据保护要求快速数据备份，

13、字节数据复制，秒级内快速数据恢复，分钟级内从SMB 到Enterprise软件支持，价格较低较低的网络配置也能满足212021年12月21日星期二磁盘阵列级多存储备份与恢复CA容灾 - “抗地震”的应用系统高可用性方案数据的连续拷贝硬件级别的操作对系统性能无影响保证业务数据安全在灾难发生时，保持业务运行应用与数据容灾的配合222021年12月21日星期二Q7:数据扩展性如何扩展容量考虑的问题是否考虑停机？重构还是自动扩展？一次采购还是逐渐升级目标应用不停机，容量自动增长磁盘卷不用重构，容量自动扩展减少初期投入，随业务稳步增长232021年12月21日星期二Q8: 数据访问效率阵列的选择 并发用

14、户数的考虑 数据量的大小 平均访问时间磁盘的选择？ FC/FATA/SATA/SSD如何利用所有磁盘的性能不同类型的硬盘其性能差异很大，根据性能、容量、价格来进行衡量同类型的硬盘选择指导：在满足相同存储容量要求下，尽量选择大容量低转速的硬盘，降低采购成本。242021年12月21日星期二固态硬盘SSD与光纤硬盘的对比 随机读 延迟随机读 IOPS读吞吐量 (MB/s)耗电单层式固态硬盘 SSD0.1ms15000250 MB/s3-4w多层式固态硬盘 SSD0.1ms1000150MB/s1-2w15000转光纤硬盘6ms180100MB/s15w252021年12月21日星期二近线FATA磁

15、盘 不常访问的数据、快速恢复、备份到磁盘在线FC磁盘 活动数据、本地和远程镜像、即时恢复数据生命周期 分层存储固态硬盘 - SSD IO密集型应用262021年12月21日星期二数据访问层的需求数据访问模式数据访问安全系统可靠性要求系统性能需求系统备份与恢复资源共享272021年12月21日星期二Q9: 数据访问模式数据库Oracle、SQL Server、DB2、Sybase、文件服务NFS、CIFSNAS282021年12月21日星期二Q10: 数据安全访问提供高可用，多节点的访问如Oracle RAC，可以选择ServiceGuard+ServiceGuard extension for

16、 RAC双机Standby互备模式应用容灾（涉及流程、切换、演练、人员等）292021年12月21日星期二Q11:系统可靠性需求非计划宕机时间防病毒与安全内部安全机制302021年12月21日星期二小机？PC服务器？安全性更高，PC Server上的OS安全性相对较低，而且病毒、bug等更严重扩展性更高，如果业务增长较快必须移植到小型机稳定性更高，小型机99.999%，而PC Server一般99.99%，停机时间分别为5分钟和52分钟可靠性更高硬件上更多的可靠性技术（如zx2的双芯片备件、IO故障隔离、CPU故障隔离）集群技术更成熟312021年12月21日星期二Q12: 系统性能需求性能考

17、虑指标 并发用户数 平均响应时间 业务复杂程度一般情况下，一个CPU Core支持20-50并发用户数小型机下：CPU Core/Memory = 1:2 或者1:4PC机下：CPU Core/Memory = 1:1 或者 1:2322021年12月21日星期二Q13: 烟囱式？融合式？单一应用/多个应用能利用应用峰值的错峰特性？充分利用虚拟化技术实现资源的共享硬件分区、软件分区、虚拟机、资源动态调度技术虚拟连接VC、刀片技术332021年12月21日星期二应用层的需求中间件选择（应用架构）应用访问安全系统可靠性系统性能需求系统备份与恢复资源共享342021年12月21日星期二中间件选择C/

18、S 架构无中间件平台多层架构J2EE架构，如WebLogic，WebSphere，JBoss.NET架构Transaction，如TUXEDO、CICS需要有中间件服务器支撑352021年12月21日星期二应用访问安全应用服务器Cluster应用服务器本身就有集群的能力，如WebLogic、WebSpere、JBoss等有别于数据库中的HA和Standby362021年12月21日星期二系统性能需求根据系统的并发用户数来选择服务器一般情况下，一个CPU Core支持50-100并发用户数小型机下：CPU Core/Memory = 1:2 或者1:4PC机下：CPU Core/Memory =

19、 1:1 或者 1:2372021年12月21日星期二案例分享某省社保案例医疗信息系统案例382021年12月21日星期二案例1 社保案例社保IT部门面临挑战业务复杂、影响面广养老、医疗、失业、工伤、生育政策、流程变更频繁参保机构/人员增加，系统不能满足业务需要白天，参保机构办理停保、续保业务多，应用服务器很忙，客户等待时间很长。（晚上较闲）晚上，批量处理参保机构信息，数据库服务器忙，有时在第二天上班前不能处理完毕。（白天较闲）信息化建设正兴起，系统维护力量相对薄弱案例1 社保案例了解客户需求Q1: 客户存储环境？客户现有环境和计划采用的技术结合用户现有技术环境，选择合适的存储环境 客户对性能

20、要求较高 客户现有SAN 存储环境A1: FC SAN案例1 社保案例了解客户需求Q2: 客户数据容量？现有数据容量和发展需求 800万参保用户、48万参保单位为例 保留五年的数据在一级存储 存储需求30TB 数据冗余, RAID 5 阵列裸容量 50TB 随着农村医疗和区域医疗的加入，数据还会增加A2: 需要50TB存储容量，并提供容量增加的能力案例1 社保案例了解客户需求Q3: 数据安全的保证在线一份数据还是两份？单存储？数据量大，难以保存两份数据内置RAID技术可以满足数据的安全需求需要存储阵列提供企业级的安全级别，99.999%在第一期不考虑容灾的问题A3: 企业级存储的内置RAID实

21、现数据安全保护案例1 社保案例了解客户需求Q3: 数据安全的保证在线一份数据还是两份？双存储？ 利用企业存储阵列的RAID技术 不使用两份或者双存储 双存储的容灾解决方案将在后期考虑A3: 企业级磁盘阵列案例1 社保案例了解客户需求Q4: 数据安全 备份磁带机 Tape Driver 数据需要备份，以保证数据的安全 需要利用磁带来保证具有数据的多个版本 除了数据之外，主机的操作环境也需要备份 全备份数据量 30TB 日增加数据量 15GB磁带机只能用于主机系统的数据备份，不能用于数据案例1 社保案例了解客户需求Q5: 数据安全 备份磁带库 Tape Library 数据容量30TB 每月完全备

22、份一次 30TB 每天增量备份 16GB 多个备份任务要同时进行Q5: 磁带库容量一般按照数据容量的3倍进行选择，因此磁带库容量需要100TB，4-6个并发支持案例1 社保案例了解客户需求Q5:数据安全 备份磁盘备份 虚拟磁带库VTL 备份时间窗口需求 全备份不超过8小时 增量备份1小时内完成 系统数据恢复时间不能超过12小时A5: 需要利用虚拟磁带库。案例1 社保案例了解客户需求Q5:数据安全 备份手段自动方式？手动备份？ 自动完成备份 无需人工干预 出错报警技术，SMS, Email 支持全备份与增量备份自动的，全备份与增量备份软件案例1 社保案例了解客户需求Q6: 数据安全容灾需求？本期

23、不考虑容灾需求A6: 暂不考虑，但存储和主机应该支持数据和应用的容灾。案例1 社保案例了解客户需求Q7:数据扩展性 现有容量20TB 3年内增加到30TB 如果政策改变，可能会涨到50TBA7: 存储必须快速实现容量的增加，不能影响业务的连续运行案例1 社保案例了解客户需求Q8: 数据访问效率 75%的查询，25%对数据修改 平均操作响应时间不能超过5秒 100个用户会对数据库访问 晚上数据的报表需要较多的计算资源A8： 必须采用FC磁盘才能满足客户的高效能需求案例1 社保案例了解客户需求Q9: 数据访问模式根据社保核心平台，J2EE环境采用Oracle + Weblogic架构采用Oracl

24、e RAC实现并行处理本案例采用了Oracle数据库，利用Oracle RAC提供多节点访问和高性能案例1 社保案例了解客户需求Q10: 数据安全访问Oracle RACWebLogic ClusterHA方案案例1 社保案例了解客户需求Q11:系统可靠性需求 系统需要连续不断运行 必须对病毒免疫 必须支持大规模高并发 必须支持超过500个并发的用户数量采用小型机，Unix案例1 社保案例了解客户需求Q12: 系统性能需求 必须支持多达30TB的数据访问 必须支持高达500的并发用户 必须采用HA的方式 系统平均响应时间小于5秒 报表时间必须小于8小时A12: 高性能多CPU小型机案例1 社保

25、案例了解客户需求Q13: 烟囱式？融合式？ 业务平台和报表平台共享数据库 业务平台白天比较忙，而报表相反 希望能利用峰值差在不同系统之间调度计算资源Q13： 动态资源调度技术客户需求Summary从前面了解的需求，总结客户的需求如下： 性能要求较高、现有SAN环境 数据量大，现有数据20TB，3年内达到30TB，还会增加 数据不能丢失，系统可靠性99.999% 主机系统数据安全备份 用户数据备份，每月全备份一次30TB、每日增量备份15GB、全备份时间不能超过8小时、增量备份不超过1小时、数据恢复时间不超过12小时、要求自动、集中备份 数据库采用Oracle RAC、应用服务器采用WebLog

26、ic Cluster，要求支持500以上并发用户、平均响应时间不超过5秒、报表时间不超过8小时 白天应用系统忙、晚上数据库有大量的批量作业要进行处理，如报表、批量数据处理业务HP建议硬件设备根据用户的需求，建议的HP硬件配置方案：存储阵列：EVA 8400SAN交换机：8/16 SAN Switch数据库服务器：SuperDome、HP-UX、ServiceGuard、ServiceGuard extension for RAC、1个nPar、2个vPar应用服务器：SuperDome、HP-UX、1个nPar、2个vPar虚拟带库：VLS9000磁带库：245e备份软件：DP备份管理服务器：

27、DL380存储管理服务器：DL380572021年12月21日星期二案例1 社保案例社保解决方案应用系统架构集群集群案例1 社保案例社保总体架构社保数据库服务器RAC1SD 12*1.6GHz/32GB社保数据库服务器RAC2SD 12*1.6GHz/32GB存储管理服务器FC Switch 8/16MC/Service Guard Extension for RAC备份服务器磁带库245e数据离线备份EVA8400社保应用服务器SD 4*1.6GHz/8GB社保应用服务器SD 4*1.6GHz/8GBVLS9000案例1 社保案例产品配置需求清单存储产品型号和配置需求清单 型号、台数、硬盘个

28、数（按照转速）、软件LTU、服务级别光纤交换机型号和配置需求清单 型号、台数、端口数LTU、SFP数量、光纤线长度与数量、高级软件LTU、服务级别数据库服务器产品型号和配置需求清单 产品型号、台数、CPU个数、内存大小、内置硬盘个数与容量、网卡个数、FC卡个数、操作系统、磁带机、服务级别应用服务器产品型号和配置需求清单 产品型号、台数、CPU个数、内存大小、内置硬盘个数与容量、网卡个数、操作系统、磁带机、服务级别磁带库产品型号和配置需求清单 产品型号、台数、Driver数量、磁带容量和盘数、清洗带数量、磁带标签、服务级别备份软件 DP和配置清单 SAN Backup、Online Backup

29、、槽位数扩展、Driver数扩展管理服务型号和配置清单（PC Server）602021年12月21日星期二案例2 医疗信息系统案例业务需求业务集中 早上810点，下午13：3015点，是医院看病的业务高峰期安全性要求高 系统不能遭受病毒、安全漏洞攻击 数据不能丢失系统要求稳定，不能宕机系统扩展能力 业务发展快系统易管理 要求降低运营成本案例2 医疗信息系统案例了解客户需求Q1: 客户存储环境？客户现有环境和计划采用的技术结合用户现有技术环境，选择合适的存储环境 客户对性能要求较高 客户现有SAN 存储环境A1: FC SAN案例2 医疗信息系统案例了解客户需求Q2: 客户数据容量？现有数据容

30、量和发展需求 每日门诊量5000人左右，住院床位数1000张左右 保留五年的数据在一级存储 存储需求3TB 数据冗余, RAID 5 阵列裸容量 5TB 随着PACS、EMR的加入，数据还会增加A2: 需要5TB存储容量，并提供容量增加的能力案例2 医疗信息系统案例了解客户需求Q3: 数据安全的保证在线一份数据还是两份？单存储？数据量大，难以保存两份数据内置RAID技术可以满足数据的安全需求需要存储阵列提供企业级的安全级别，99.999%在第一期不考虑容灾的问题A3: 企业级存储的内置RAID实现数据安全保护案例2 医疗信息系统案例了解客户需求Q3: 数据安全的保证在线一份数据还是两份？双存储

31、？ 利用企业存储阵列的RAID技术 不使用两份或者双存储 双存储的容灾解决方案将在后期考虑A3: 企业级磁盘阵列案例2 医疗信息系统案例了解客户需求Q4: 数据安全 备份磁带机 Tape Driver 数据需要备份，以保证数据的安全 需要利用磁带来保证具有数据的多个版本 除了数据之外，主机的操作环境也需要备份 全备份数据量 5TB 日增加数据量 1GB磁带机只能用于主机系统的数据备份，不能用于数据案例2 医疗信息系统案例了解客户需求Q5: 数据安全 备份磁带库 Tape Library 数据容量3TB 每月完全备份一次 3TB 每天增量备份 1GB 并发性要求不是很高Q5: 磁带库容量一般按照

32、数据容量的3倍进行选择，因此磁带库容量需要10TB，1-2个并发支持案例2 医疗信息系统案例了解客户需求Q5:数据安全 备份磁盘备份 虚拟磁带库VTL 备份时间窗口需求 全备份不超过8小时 增量备份1小时内完成 系统数据恢复时间不能超过12小时 日增数据量1GBA5: 不需要利用虚拟磁带库。案例2 医疗信息系统案例了解客户需求Q5:数据安全 备份手段自动方式？手动备份？ 自动完成备份 无需人工干预 出错报警技术，SMS, Email 支持全备份与增量备份自动的，全备份与增量备份软件案例2 医疗信息系统案例了解客户需求Q6: 数据安全容灾需求？本期不考虑容灾需求A6: 暂不考虑，但存储和主机应该支持数据和应用的容灾。案例2 医疗信息系统案例了解客户需求Q7:数据扩展性 现有容量2TB 3年内增加到3TB 如果有PACS系统的整合或者EMR系统的需求，可能会涨到10TB以上A7: 存储必须快速实现容量的增加，不能影响业务的连续运行案例2 医疗信息系统案例了解客户需求Q8: 数据访问效率 50%的查询，50%对数据修改 平均操作响应时间不能超过5秒 100个用户会对数据库访问 存在业务高峰期的问题，早上8:00-10: