虚拟存储整合技术在新疆油田公司的应用

1、虚拟存储整合技术在新疆油田公司的应用新疆油田公司数据中心 金云华 朱玉凤 王晓军新疆油田公司近年来逐步建立了由决策层、管理层、执行层和支撑层构成的信息化管理体系，成功地研发了油田数据管理平台、油田空间数字平台、业务流程管理平台等数字油田信息平台。同时，收集整理了自1941年以来的油田生产数据，目前拥有数据78TB，各类应用系统120套及强大的数据库服务器和应用服务器。为了实现油田数据的共享，充分发挥数据在油田各行业中的作用，各二级单位数据和应用需要逐渐实现集中管理，并对现有资源进行整合。目前，油田公司司数据中心存存储设备主要要有4套：用用于油田公司司中心数据库库数据存储的的容量为6TTB的HD

2、SS 95855；用于为地地球科学和钻钻井系统及上上游生产信息息系统(A11A2系统)数据存储的的容量为244TB的EMMC CX7700、一套套IBM 33584自动动带库以及一一套IBM 3494自自动带库。为为了充分利用用这4套设备备资源，便于于应用和管理理，需要对这这4套存储设设备进行整合合，做到统一一规划、数据据共享。生产经营数据存存储设备使用用现状及需求求分析2004年，油油田公司数据据中心先后购购置了一台容容量为6TBB的HDS 9585数数据存储和三三台Sun E49000数据库服务务器，实现了了中心数据库库集群，使勘勘探、开发、经经营、管理数数据实现集中中管理。由于HDS 9

3、9585和EEMC CXX700存储储设备相互独独立，且各系系统发展不均均衡，导致某某些系统建设设之初规划了了很大的容量量和很高的性性能，但实际际运行过程中中却没有那么么大的需求，而而另一些应用用建设之初却却陷入了容量量和性能不足足的困境，而而其他系统富富裕的资源却却不能拿来使使用，导致HHDS 95585存储必必须升级扩容容，而EMCC CX7000存储资源源却被闲置的的局面，各存存储资源不能能做到统一规规划，协调利利用。此外，由由于HDS 9585和和EMC CCX700存存储设备厂商商不同而形成成了数据孤岛岛，资源不能能互通和有效效利用，同时时为系统的维维护管理、性性能优化、故故障排查、

4、数数据迁移、容容灾备份等都都带来极大的的不便和困难难。因此，油田公司司需要建设一一套集中统一一的高性能、高高可靠性的存存储平台。新新平台必须能能够对原有的的异构存储环环境进行整合合，能将原有有的存储设备备作为新存储储平台的外部部存储设备，使使新的存储设设备和原有的的存储设备形形成一个统一一完整的存储储池，由新的的存储设备进进行统一管理理，最大限度度地发挥原有有存储资源的的再利用能力力。同时，新新的平台能够够提高原有存存储环境的整整体运行性能能，整个存储储环境对各业业务透明，存存储平台可以以根据各业务务的特性和需需要，灵活分分配存储容量量、处理能力力等各种资源源，确保关键键业务的稳定定可靠运行。

5、借借助新的存储储平台，存储储设备能方便便扩容，各存存储设备能够够方便地进行行无缝的数据据迁移，并且且实现集中的的存储备份，并并满足未来容容灾的需要。存储整合技术思思路在存储整合过程程中，需要着着重考虑以下下几方面原则则：平台整合 整合合不但要满足足数据中心目目前和未来集集中存储的需需要，还要对对已有系统的的存储环境进进行最大限度度地整合，实实现服务器的的集中访问、数数据资源的集集中存储和处处理。高性能 新的存存储平台整合合了所有的应应用后，必须须具备强大的的处理能力，能能消除原有存存储设备的性性能瓶颈。可扩充性 应确确保在原有的的系统平台上上扩展和实现现新功能、新新业务的增加加。高可靠性 存储

6、储平台具有高高可靠性，支支持服务器平平台的高可用用性集群技术术；具备先进进的容灾设计计；充分保证证系统的高扩扩展能力和高高容错能力，具具有通道负载载自动均衡能能力和存储系系统性能调节节能力。高可用性 在存存储和其他应应用系统尽量量不停机的情情况下，实现现扩容、维护护、升级等服服务，提高性性能以满足新新的业务需求求，具备724连续工工作的能力，系系统的可用性性应能达到1100%，可可以实现磁盘盘数据的在线线不停机备份份。可管理性 要求求配置实时性性能监测管理理软件，可对对CPU使用用率、内存使使用率、交换换区使用情况况、I/O操操作、队列状状态、磁盘空空间、卷磁盘盘错误、系统统事件、系统统中各进

7、程对对系统资源占占用等性能和和操作数据等等服务器性能能进行实时监监控、管理和和调配。技术先进性 系系统设计采用用当前先进而而成熟的技术术，不仅可以以满足现实工工作的需求，也也应把握未来来存储整合的的发展方向。虚拟化存储设计计方案根据以上分析，公公司决定采用用日立数据系系统(HDSS)有限公司司企业级存储储产品TaggmaStoore NSSC55网络络存储控制器器或Univversall Storrage PPlatfoorm V(USP VV)作为数据据中心存储整整合的核心设设备，配合HHDS的存储储管理软件、数数据快照镜像像软件，形成成一套完整、高高效的存储整整合解决方案案。本项目采采用S

8、AN架架构进行整个个存储系统的的建设，存储储网络将分为为服务器层、网网络交换层和和集中存储平平台三个层次次。服务器层 需要要对公司数据据中心各业务务系统的服务务器进行改造造，增加光纤纤通道主机卡卡HBA，使使这些主机具具有访问存储储网络的能力力。网络交换层 采采用Broccade企业业级大吞吐量量的SAN交交换机，保证证服务器和外外部存储设备备到网络存储储控制器的高高速连接。集中存储平台 这是本次存存储整合系统统建设最核心心的部分。我我们采用HDDS TaggmaStoore USSP V网络络存储控制器器，为其配置置1块前后端端混合处理板板，提供166个4GB的的前端主机接接口和8个后后端磁

9、盘接口口，为其配置置5GB控制制缓存和166GB数据缓缓存，在其内内部配置200块300GGB FC磁磁盘共计6TTB裸容量，作作为整个集中中存储环境的的基础。对于数据中心正正在使用的HHDS 95585和EMMC CX7700等设备备，可以通过过SAN交换换机直接连接接到USP V的后端，作作为它的外部部存储设备，通通过HDS UVM通用用卷管理软件件，可以把外外部存储设备备的逻辑卷直直接映射到UUSP V上上去，由USSP V统一一管理和使用用，而对前端端服务器来说说所有的工作作都是透明的的。通过USSP V的存存储整合，整整个存储平台台提供给服务务器访问的是是由USP V统一管理理的存储

10、空间间，存储容量量包括6TBB的USP V内部容量量和30TBB外部容量（分分布在HDSS 95855的6TB、EEMC CXX700的224TB），最最大限度地保保护了油田公公司的投资，同同时未来可以以很轻松地根根据各业务的的繁忙程度、数数据量增长情情况、性能需需求等灵活地地进行存储资资源的再分配配，真正实现现数据分级存存储和应用优优化存储。由于采用USPP V进行了了存储环境的的整合，就可可以很方便地地通过USPP V对原来来异构的存储储设备进行集集中的数据备备份和容灾。本本次我们在备备份中心选择择IBM 33494(440TB)作作为近线备份份设备，可选选用HDS AMS 2200存储产

11、产品作为远程程实时数据备备份的存储设设备，将AMMS 2000通过油田公公司已有的光光纤链路直接接连接到数据据中心的SAAN交换机上上，并且将AAMS 2000也作为UUSP V的的外部设备来来管理和使用用。同时，选选择HDS Insysstem RRepliccationn Suitte系统内数数据复制套件件来实现数据据的快照/镜镜像复制，将将数据中心各各个业务系统统的数据通过过镜像的方式式复制到AMMS 2000上进行保存存，当数据中中心发生故障障时，可迅速速从AMS 200上进进行数据恢复复，或直接将将应用系统服服务器连接到到AMS 2200，先恢恢复业务的正正常运作。项目实施：整合合原

12、有存储，形形成统一平台台从附图中可以看看出，以HDDS USPP V作为核核心搭建的存存储系统架构构由三个层面面组成：应用用主机层，集集中了所有的的业务系统主主机；核心存存储和虚拟化化引擎层，由由HDS UUSP V搭搭建；异构存存储池，由系系统中的若干干利旧设备，如如HDS、EEMC等厂商商的各档存储储设备组成。上述的三层架构构实现的存储储优化拓展功功能包括：1核心引擎满足高性性能及高可靠靠性需求。在在上述三层架架构中，HDDS USPP V智能控控制器系统和和磁盘子系统统由HDS公公司进行统一一设计，传承承了延续数代代的高可靠性性技术和高性性能技术，因因此完全能够够担负起整个个存储系统的的

13、核心指挥职职能。2存储分区增强数据据可靠性及访访问性能。目目前核心关键键数据保存在在HDS UUSP V的的内置磁盘上上。为了进一一步保证各省省关键业务的的存储响应时时间，HDSS USP V可以端口口、Cachhe以及磁盘盘为单位，划划分独立的存存储分区，形形成数个存储储子系统与各各业务相对应应，在每个子子系统内部存存储资源的访访问可以被相相应的应用业业务所独享，保保证关键业务务系统具有稳稳定的I/OO服务质量。3存储整合通过存储储虚拟化技术术实现利旧整整合。在HDDS USPP V自带虚虚拟化引擎的的驱动下，异异构存储池被被映射成HDDS USPP V的内部部存储资源。应应用主机层不不必关

14、心异构构存储池的设设备组成，只只需使用面向向HDS UUSP V的的统一接口就就能够透明的的访问异构存存储池资源。4分级存储通过存储储虚拟化技术术实现数据自自动分级转移移部署。非关关键的业务数数据、以及随随着时间发展展重要性渐渐渐降低的历史史数据被HDDS USPP V虚拟化化引擎逐步迁迁移到异构存存储池中，关关键业务数据据、最新业务务数据在HDDS USPP V的自带带内置硬盘空空间上进行保保留。5应急系统联联机恢复通过存储虚虚拟化技术实实现在线应急急恢复。利用用HDS UUSP V进进行数据迁移移的功能，虚虚拟化之后的的CX7000作为应急系系统启用后，可可在主机业务务运行的情况况下，在线

15、转转移回到HDDS USPP V主存储储系统，无需需调度生产业业务系统的停停机。6.异构系统灾灾备通过过存储虚拟化化技术实现异异构数据统一一复制。HDDS USPP V虚拟化化引擎的异构构容灾技术，支支持异构存储储池中的任意意存储设备进进行远程互备备，大大简化化了容灾系统统的部署和管管理。无缝数据迁移，真真正实现数据据分级存储数据迁移是企业业IT经常面面对的工作，本本次需要面对对的是存储领领域的数据迁迁移。在采用用了HDS的的USP VV网络存储控控制器之后，所所有的数据复复制问题显得得非常简单。仅仅仅需要将原原有的光纤存存储设备挂接接到USP V的后端，然然后修改原有有设备的LUUN属性使得

16、得USP VV能够看到外外部设备，此此时应用系统统既可以进行行数据访问，而而USP VV数据迁移软软件可以自动动在后台进行行，当迁移完完成后用户就就可以释放外外部存储设备备上的空间。通通过HDS的的USP VV网络存储控控制器不但可可以将外部存存储设备的数数据无缝平滑滑的迁移到内内部，还可以以很方便的将将USP VVU内部的数数据迁移到外外部存储设备备上去或者在在两个外部设设备之间进行行数据迁移。这这样，我们就就可以根据各各个应用的生生命周期，灵灵活的进行数数据部署，确确保最有效地地存储资源分分配给了最关关键的业务系系统，或是在在业务系统最最关键的反展展阶段能够获获得最高效的的存储资源。存储分

17、区保证关关键业务经过对油田公司司数据中心各各个业务系统统的运行特点点进行分析，发发现油田公司司数据中心各各个业务系统统具有很大的的不均衡性，某某些业务可能能产生的效益益非常高非常常关键，而另另一些业务却却十分低。因因此，对于效效益非常高的的关键应用就就有必要给予予特别的关照照，给予足够够的系统资源源，保证这些些应用的连续续不间断运行行。HDS USP VV的虚拟分区区技术正好可可以满足这一一要求。USP V独有有的存储虚拟拟分区技术，通通过选配分区区软件，可以以将一台USSP V分成成多个专用虚虚拟存储机，每每个专用虚拟拟存储机都拥拥有专用的高高速缓存、前前端主机通道道、后端磁盘盘通道、磁盘盘

18、组等存储资资源，可以为为油田公司数数据中心中最最关键的业务务分配独立的的分区，不同同分区之间可可以实现完全全隔离和安全全保证，确保保最重要的应应用能够享受受到最好的服服务质量。如如下图所示：设备配置说明1、数据中心核核心存储平台台HDS UUSP V：配置20快快300GBB 10Krrpm双活端端口光纤磁盘盘，存储阵列列物理容量共共6TB，采采用RAIDD1（2D2D）数据据保护方式，系系统可用容量量为3TB配置16GGB数据缓存存（Cachhe），5GGB控制缓存存配置一对前前后端混合处处理板，包括括16口2GGB/4GBB FC前端端接口配置了1对对16口主机机接口板，共共32个2GGb

19、ps主机机端口配置1块3300GB110Krpmm全局热备盘盘2、USP VV存储系统软软件：配置Ressourcee Manaager资源源管理套件，包包含SAN环环境下LUNN安全管理的的软件许可SSANtinnel，包含含性能优化的的软件许可FFlashAAccesss配置USPP V存储系系统内数据复复制套件，包包括ShaddowImaage数据镜镜像软件和QQuickSShadoww数据快照软软件，共155TB软件许许可，可以通通用于USPP V内部数数据卷和外部部存储数据卷卷Hitacchi Dyynamicc Provvisionning（日日立动态配置置）软件、增增强型Uniiversaal Vollumn MManageer（通用卷卷管理软件）在在企业级虚拟拟层实现了动动态精细化预预配置功能，使使用户首次能能够在一个整整合的解决方方案中就可同同时获得外部部存储虚拟化化的益处，根根据自