存储系统利旧云化改造方案V1.0

1、存储利旧云化改造方案目录1. 方案概述22. 现状分析与挑战22.1. 现状分析22.2. 面临挑战23. 解决方案设计43.1. 指导思想43.2. 总体框架43.3. 系统组成53.4. 系统优势74. 客户价值95. 案列分享101、方案概述随着国家对社会治安的越来越重视，在平安城市的建设中视频图像也越来越高清化，原来视频点位已不能满足现实需求，因此有了平安城市二期和三期的建设。在大量视频点投入和视频高清化后，原有的存储系统也不能满足现实需求，如果重新建设新的存储系统就会占用大量资源，而且原有资源也不能再利用造成大量的浪费，基于对城市存储系统的深入分析，我们推荐使用云存储改造为公安局架设

2、统一云存储系统，通过其高性能、高IO、高可靠、易扩展、易管理的五大特性，从存储底层来保障公安行业相关应用的安全稳定可靠的运行。2、现状分析与挑战（1）现状分析旧存储为 XX 品牌，XX 年采购，共计 XXT 存储容量， 架构为 SAN+NAS，一个机头+3 个盘柜，FC 交换机为 XX 品牌。目前放到分局使用，容量已不够，现阶段迫切需要解决的问题是存储空间扩容的问题，同时对陈旧设备整合有一定要求，保护现有投资。（2）面临挑战警务平台现阶段用户所面临的瓶颈依然是性能问题、安全性问题、扩展性问题以及管理问题1、性能瓶颈针对智能分析等应用数以万计的小文件使得存储系统针对个别文件的索引速度降低，往往查

3、找数据和读取数据需要等待很长的时间。2、安全隐患视频监控平台，智能分析平台等海量数据下，传统 Raid 安全难以保证在磁盘故障率越来越高的情况下数据的安全，且硬盘级别的安全机制已不适用于大规模的数据存储平台。3、扩展问题长时间保存的视频文件，案件资料等海量数据占用空间每时每刻都在增长，越来越庞大的数据规模如果扩展存储平台将是越来越多警务平台存储所面临的问题。4、管理问题海量数据下如何做到统一管理和统一分配空间是传统存储所不能及的。5、投资保护新设备的加入无法保证旧设备的高利用率，无法保护现有建设的投资。现阶段存储容量已不够，迫切需要解决的问题是存储空间扩容的问题，同时对陈旧设备整合有一定要求，

4、保护现有投资。3、解决方案设计（1）指导思想1充分利用原有存储设备不浪费。2新存储设备和原有存储设备通过云平台改造可以通用，实现一体化管理。3云平台建设要突出安全性高、高性能、扩展性强、高可用性强、操作简便、易整合等特点。（2）总体框架云存储平台架构应用了国际领先的分布式HxStor 全局文件系统作为支撑，可支持海量的环境信息数据处理。计算性能与数据处理规模可以动态伸缩。未来可以自由的扩展，满足不断增长的应用需求 。将所有硬件资源构建成一个大的集群资源池，将处理性能、缓存、带宽聚合按需分配资源。服务应用不再与硬件一一绑定，即一个硬件不再单独为一个硬件服务，资源从专有独占的方式转变为完全共享方式

5、，现实自动化的管理，故障自动迁移恢复，不需人工干涉。通过 DRS 技术自动合理分配资源，自动休眠。透明的 IT 资产管理，清晰的网络运维情况，在线人数检测 ，设备使用率在线检测。原有存储云改造：原有存储两台 SNA 设备分别挂接到两台 PC 服务器和新增两台 X86 架构存储一体机构成云节点，PC 服务器和 X86 架构存储一体机上分别部署互信 HxStor 云存储平台软件共同组成云存储池，为应用平台提供存储空间。（3）系统组成1原有存储 SAN 设备挂到 PC 服务器下，作为云改造节点。2X86 架构存储一体机（16、24、32 等盘位）做为新增云节点。3云平台软件(HxStor)构成：应用

6、系统应用系统应用系统存储集群访问客户端HxStor AP（POSIX、NFS、iSCSI）虚拟存储池元数据集群管理引擎存储系统交换网络MDSCIB、1GbE、对象存储集群管理引擎10GbEOSSCA. 元数据服务集群管理模块：存放整个文件系统的元数据，管理整个文件系统的名字空间。提供单一的系统映像，部署在一组通用 X86 结构的 PC 服务器上。B. 对象存储集群管理模块：存储应用系统的文件数据，具有故障探测、自我修复功能，内置独特的文件存储与备份机制，每个文件被系统分割成多块后按一定规则存放在多个存储服务器中，并且每块文件在其他服务器中至少有 1 份备份（根据安全和性能需求可设定为多份），这

7、些软件部署在一组通用 X86 结构的 PC 服务器上。C. 访问客户端：对上层提供标准 POSIX 语义的访问接口和统一的文件系统映像，响应上层应用对文件访问请求并通过内部私有协议高速访问后端集群存储上的文件数据，形成对上层统一的虚拟存储池。访问客户端软件可以安装在应用系统服务器上，对应用系统提供访问存储的文件支撑，也可以单独安装在一组服务器上并与 NFS 或 iSCSI 系统结合。为了更好的支持高性能计算或虚拟机应用场景下对高 IOPS 的要求，（HxStor）提供高速缓存模块SOCache（SuperIOCache），利用高性能的 SSD 盘做访问客户端的二级缓存，大幅提高性能，同时在两个

8、访问客户端之间使用 InfiniBand 实现高速缓存同步，即时备份和保护用户数据。SOCache 部署在 HxStor AP 的服务器上，可根据用户实际需求进行选择。标准访问客户端HxStor集群存储对象存储集群管理引擎高性能访问客户端SOCache元数据集群管理引擎IB（4）系统优势1在线扩容能力A、存储支持在线扩展，当存储空间不够后，直接增加新的存储设备，就可以看到存储空间的增加，应用不用进行停机操作。而传统存储，由于提供的为卷设备，无法进行方便的扩展，扩展的时候需要将大量数据导出增加设备数据倒入的操作，在扩容的时候需要停止应用且扩容周期较长。B、随扩容性能提升，HxStor 的架构对决

9、定其存储访问效率与存储设备数量有直接关系，随着存储设备的增多其访问效率也将近线性增加。传统磁盘阵列，架构所限，后端盘柜的扩展并不能影响机头的能力，无法实现存储性能的近线性增加。2原有存储改造可以将现有磁盘阵列接入系统。对于磁盘阵列起到利旧作用，同时依靠数据副本技术提高其可靠性，同时可以对所有纳入HxStor存储的空间进行统一管理。3数据副本高可用存储系统采用数据副本技术，准许15台设备同时故障而不影响应用访问。例如有10台我们当存储设备，对于关键数据我们做了6份副本，如果有5台存储设备完全故障，对于该关键应用来说也将不受任何影。4HxStor存储系统可以输出多种接口Linux Posix 接口

10、，用于 Linux 系统应用使用，文件级别接口，效率高。 ISCSI 接口，用于支持桌面虚拟化，特点为高 IOPS。可 NFS、CIFS，windows、unix 操作系统访问使用，windows、unix 操作系统可以获得海量数据存储能力。4、客户价值1保护原有投资针对原有存储系统有效整合，让原有投资不浪费，继续发挥存储作用。2数据高安全性HxStor 系统不仅可以把存储安全级别从硬盘 RAID 级别提升到物理节点级安全，彻底颠覆了传统存储系统架构，更加有力的保障了存储数据的安全性。3满足高性能要求在实际应用环境中，多台应用服务器同时并发访问存储时，对存储的性能要求十分高，本套集群存储系统聚

11、合所有网络带宽，对外提供服务，正好满足了对存储系统性能的要求。4提高业务连续性在存储系统安全性得到保障的同时，大大的提高了前端应用服务器访问后端存储设备的安全，减少了故障发生的概率，大大的提高了业务连续性。5应用场景介绍平安城市公安分局存储扩容改造、市局存储扩容改造、公安网、视频专网、社会资源接入网存储扩容改造、智能分析等海量数据存储。5、案列分享HxStor 在 CNGI 科学数据云中云存储改造的应用:1项目背景概述面向科学数据管理的云存储环境（简称科学数据云）作为中国下一代互联网示范工程(CNGI 项目)的 CNG-CstNet的重要组成部分，主要为科学院系统遍布全国的 100 多个科研院

12、所、八万多科研人员以及上万个课题组服务，为这些单位用户、个人用户、集体用户提供基础的虚拟资源存储服务，同时考虑各地现在存储设备利用通过云存储改造逐步建设适应科学数据管理的数据交互、数据处理、数据备份服务，为将来科学数据归档中心建设奠定基础。2项目总体结构在 CNGI 国家科学数据云项目中北京互信互通信息技术有限公司根据现实情况充分利用了各区域的现在存储设备，通过和 PC 服务器对接和新增 X86 架构造体机一起成为云存储平台节点，全面采用了 HxStor 集群存储系统，为科学数据云平台提供方便高效的存储支撑、应用访问支撑。目前已经采购 HxStor 集群文件系统多套（共计容量 5PB），形成了比较完善的协议栈，满足不同类型用户的需要和未来应用扩展的需要。3应用与部署情况l 分布式集群存储系统 HxStor 将根据需求部署中科院多个分院数据中心。l 每套 HxStor 集群存储系统均基于标准 X86 存储服务器构建。l 数据中心间通过科技网（IPV6/IPV4）网络高速互联。l 建立统一存储