宏杉科技存储及解决方案介绍

1、存储及解决方案介绍宏杉科技目录CONTENT01宏杉全闪存产品与业界产品对比02宏杉科技对象存储特点03MOFS分布式存储介绍第一部分宏杉全闪存产品与业界产品对比对比标准控制器（SP）数量2-32缓存/SP128GB-768GB缓存掉电保护4块保留盘二级缓存（每双控）12.8TB板载前端接口无后端磁盘通道2*2*48Gb SAS3.0IO插槽数量/SP11个扩展接口类型iSCSI、FC、FCoE、最大主机接口数80个（每双控）最大支持硬盘数2600（每双控150）支持硬盘类型SSD控制器自带槽位0扩展柜规格90盘24盘25盘65536最大LUN数65536最大主机接入数RAID/CRAID支持

2、RAID级别基础软件功能ODSP管理套件等性能监控Yes自动精简配置YesHotCacheYes自动分层存储Yes复制Yes快照Yes双活Yes镜像YesSAN/NAS一体化Yes异构虚拟化Yes重复数据删除Yes数据一键销毁No电源模块数量2个电源模块规格770W电源输入参数100V120V/200V240VAC60Hz/50Hz240V HVDC电池模块数目5个功率峰值功率：1130W平均功率：1125W重量满配重量：64kg裸重量：64kg尺寸(高宽长(mm)175(4U)446720温度工作：0C-40C非工作温度：-20C-60C湿度工作湿度：10%-85% 非工作湿度：10%-90

3、%产品配置软件功能硬件规格全闪存型号对比NVMe全闪存AFF A800EF600D orado 系列：包括 Dorado 18800MS7000G2-machEF570V6/6800 V6/5600EF280V6/5300 V6/6000 V3/5000 V3SAS SSD 全闪存MS7040G2-AFTMS5580G2-AFTMS3000G2-AFTMS7040G2-AFA70018800F V5MS7020G2-AFA40018500F V5MS5580G2-AFA2206800F V55800F V5MS5520G2-AF5600F V5MS3000G2-AF5500F V5MS2500

4、G2-AF5300F V52600F V3H610S-1H610S-218810F V5H610S-2F18510F V5H610S-46810F V55810F V55610F V55510F V55310F V55210F V55110F V5宏杉全闪存技术特点（一）：闪存优化技术宏杉全闪存技术特点（一）：闪存优化技术宏杉全闪存技术特点（二）：在线全局重复数据删除宏杉全闪存技术特点（二）：在线全局重复数据删除第二部分宏杉科技对象存储特点类型典型厂商主要特点产品优势云服务商AWS、阿里云、腾讯云、 青云等以公有云产品为主，较少有正面竞争 配合云网关产品有合作机会。部分私 有云项目会作为一个模

5、块产品销售， 比如青云。，阿里私有云采用飞天定制，客户维护/运维方便传统厂商宏杉、华为、新华三、浪 潮、DellEMC、HDS、 NetApp、IBM等一般为标准化产品，软硬件一体交付 软件定义版本也有严格的兼容性要求， 一般均为同品牌硬件。利用其在金融、大企业、铁路、航空等传统高价值 行业的品牌优势和客户基础拓展对象存储，利用外 企产品在生态和解决方案的全面性体现优势。软件定义厂商XSKY、杉岩、紫光西数等软件定义产品，常见以Ceph架构为主 也存在其他架构产品，支持独立的软 件销售。软件定义程度较高的产品除了可以支持软件单独销 售之外，还利用对象存储需要与应用对接或者一些 特殊功能的需求为

6、用户提供定制化开发的服务。磁盘S1云网关公有云（10/25/100Gb以太网交换机）客户端客户端客户端客户端客户端客户端客户端客户端MOSS（MacroSAN Object Storage System， 宏杉对象存储系统）是面向海量非结构化数据的通 用数据存储平台的应用场景，可提供安全可靠的对象存储服务。满足对扩展性的要求，同时故障自动切换，可从小 规模到大规模进行无缝升级。磁盘S2磁盘S3磁盘Sn（10/25/100Gb以太网交换机）缓存：256GB，电源带电池缓存刷至内置SSD；高度：4U， 16*2.5/3.5板载： 14*GE+4*10GE， 2个IO扩展模块带盘数：单台带盘数=18

7、4块；MS2500G2-16M 前面板MS2500G2-16M 后面板2020年财务预算计划.xlsx用户元数据系统元数据对象文件+ 元数据 = 对象型存储用户元数据部门：财务部 类别：预算报表 负责人：李明重要程度：1级保密系统元数据MOSS灵活检索MOSS可针对桶进行自由灵活的检索，可对系统元数据、用户元数据就进行精确查询和模糊匹配。能有效满足文档管理系统的需求，达到毫秒级响应，保障业务无忧。系统元数据查询文件名称目录名称修改时间01用户元数据查询按用户自定义元数据内容查询，例如：姓名、年龄、性别等02灵活检索支持精确查询、模糊匹配支持对查询结果设置显示范围支持选择内部桶或外部桶进行查询支

8、持对对象最后修改日期范围进行查询03未使用“含有前缀的临时UL”功能时：每份文件上传需申请一个URL每次上传都需经过TCP/IP三次握手等过程低效传输，消耗大量系统资源申请IP资源同时上传大量文件时系统资源紧张！省政中心办公支出报表.doc省政中心预算报表.doc使用“含有前缀的临时URL”功能时：所有前缀相同的对象只需申请一个临时URL只需经过一次TCP/IP三次握手等过程高效传输，减少系统资源负担客户端Bucket省政中心业务近10年业务报表100份文件省政中心近15年预算报表1000份文件500份文件有效解决多文件并发上传难题采用临时URL数据更安全VS企业网盘系统企业网盘中有大量的图片

9、、文档等非结构化数据客户端1MOSS对象存储 传统对象存储客客户户端端11客户端1客户端1100份文件550000份份文文件件申申请请110次0U次RULRL申请150次0U次RULRL申请10次0U0次RLURL1000份文件系统资源紧张临时文件1临时文件2临时文件3临时文件4保留文件1保留文件2过期3天过期3天过期3天过期3天有效期内有效期内Bucket2：删除过期三天的文件基于批量删除API通过配置规则定期删除桶内对象每个桶最多可设置1000条规则为什么要使用生命周期管理？在企业数据中心中存在海量的数据，运维人员常需要定期手动清理。MOSS生命周期管理能够让系统按照策略定期清理数据，简化

10、了工作难度。Bucket1：删除前缀为“临时”的文件交通集成指挥平台统一管理多个交通相关终端设备的反馈数据，例 如卡口监控设备、视频监控设备、流量监控设备 等。利用这些数据可进行数据分析、归档等应用。电子卡口桶电子警察桶抓拍全部过车图片，若不涉及违法，三个月后系统自动删除。电子卡口仅抓拍违法车辆，系统需要将所有有效违法图片永久保存。电子警察 过车文件1 涉及违法图片1过车文件2 涉及违法文件2 保留文件1 保留文件3保留文件4保留文件2 存储期3个月，期满删除意外上传同名文件导致数据丢失误操作删除重要文件，怎么办？Object.pdfnullObject.pdfnull创建覆盖Object.t

11、xtVersion1Object.txtVersion2Object.txtVersion3创建意外删除恢复同 名 文 件 覆 盖文 件 恢 复不启用多版本启用多版本MOSS多版本功能说明文件同名或删除都会保留版本版本全部可检索、可还原根据需要可暂停多版本详细的版本管理历史版本可回溯防止上传同名文件覆盖历史数据存档Work1.docWork1.docWork1.doc防止同名文件上传覆盖未启用多版本启用多版本2020年公司发文.pdf2020年公司发文.pdf Version12020年公司发文.pdf Version22020年公司发文.pdf Version n文件版本存档和查询Work1

12、.docVersion 3未启用多版本启用多版本防止文件误删除Bucket1Bucket2Bucket3Bucket4本地上 传同名文件覆盖Work1.doc Version 2Work1.doc Version1 Work1.docVersion 1Work1.doc Work1.docVersion 2Work1.doc Version 1删除Work1.doc账户/桶级容量配额：账户/桶的容量大小上限。当账户/桶容量达到所配置的配额后，无法再对该桶进行写入操作。账户/桶级性能配额：账户/桶的带宽/OPS大小上限，从而限制账户/桶的最大带宽/ops。网络桶对象对象对象桶对象对象对象桶对象对

13、象对象用户用户账户桶（Bucket）、对象（Object）、账户、用户之间的关系图Share账户A（容量200TB）MOSS可使用资源用户A 用户B桶A（容量50TB） 桶A桶A（性能：带宽50Mb/SOPS20）账户A（性能：带宽1Gb/SOPS200）注：OPS（Operation per Second，每秒钟操作数）REST API认证服务类型服务内容提取平台监控全文检索文件处理数据校验权限服务日志服务对象存储系统医院业务系统医院存储系统医院1医院业务系统医院存储系统医院2医院业务系统医院存储系统医院3医院业务系统医院存储系统医院6医院业务系统医院存储系统医院5医院业务系统医院存储系统医

14、院4区域医疗中心健康档案远程会诊大数据区域影像辅助诊断检测化验50Mb/s100Mb/s200Mb/s500Mb/s1Gb/s150Mb/s50TB30TB10TB40TB15TB12TB为不同账户配置云空间容量和性能灵活管理系统资源，自由分配科室一10TB50Mb/s科室二10TB50Mb/s科室三10TB50Mb/s科室一5TB150Mb/s科室二5TB25Mb/s科室三5TB25Mb/s科室一10TB100Mb/s科室二2TB400Mb/s科室一50TB50Mb/s科室一10TB50Mb/s科室二20TB50Mb/s科室一10TB1Gb/sBucket1Bucket2Bucket3Buc

15、ket4Bucket5Bucket11Bucket7Bucket8Bucket9Bucket10Bucket6Bucket12第二部分MOFS分布式存储介绍传统NAS面临的新挑战海量文件性能无法存储海量文件目录层级较深无法满足海量文件的快速读写大容量空间扩展单文件系统的空间有限系统扩展性差存储资源无法池化共享数据安全电子票据、影像等关键数据需保证绝对安全智能终端、公有云业务访问企业内部数据 的安全性保障价值挖掘语音、证件信息智能识别，进一步提取非 结构化数据信息海量图片、语音及日志等数据的大数据分析海量的非结构化数据据IDC预测，到2020年，非结构化存储数据量 将达到410EB。每天产生的8

16、0%+以上数据是非结构化的。分布式文件系统应用场景生命科学MOFS媒资广电/ 视频制作/ 动画渲染/ 视频播放票据影像大数据分析平安城市/视频监控卫星测绘石油勘探HPC/科学计算/科研教育宏杉分布式文件系统MOFS非结构化数据存储分布式去中心化架构高可靠的故障自动切换512个节点，100亿级文件高性能、高可靠、易管理海量空间、弹性扩展Node 1后端网络（10/25/100Gb低延迟以太网）客户端客户端客户端客户端客户端客户端客户端客户端Node 2Node 3Node 4Node n客户端MOFS丰富的接口类型访问接口NFS/CIFS接口HDFS 接口S3/Swift接口网络接口业务网络支持

17、Gb/10Gb/25Gb以太 网以及 InfiniBand后端网络支持Gb/10Gb/25Gb/100Gb 以太网RDMA支持负载均衡和冗余1Gb/10Gb/25Gb/100Gb 以太网MOFS逻辑架构应用 服务器Linux服务器Windows 服务器NFS、CIFS、Object、HDFS数据节点数据节点数据节点1Gb/10Gb/25Gb 以太网 orInfiniBand元数据元数据元数据MOFS文件读写流程以太网客户端MOFS节点以太网读取流程则反向进行，数据根据智能算法均衡分布在所有存储节点上，无需任何暂存操作，直接将文件转发到相应位置，降低转发时延，提升节点性能，不存在任何性能瓶颈点。

18、文件写流程MOFS 文件写流程1.客户端向节点发送数据（当节点接收数据时会根据哈希计 算出该数据应该写到哪个节点）2. 接收数据并将其转发至相应的节点3. 节点将数据落盘并返回MOFS路径优化技术 Big HashMD5：274F3BD2C775C4B9E1E9E6FFA62FC648完整MD5值利用BigHash技术，使得MOFS存储系统的文件访问效率，相较于传统的分 布式存储MD5值对比查找方式，提高50%以上。BigHash是宏杉科技分布式存储系统查找文件过程使用的Hash技术的统称针对文件类型、文件路径等不同的属性参数自适应不同的Hash算法，以最优的方式提供数据读写甚至文件系统大小写

19、不敏感的查找也基于BigHash、提供近似线性的查找效率宏杉科技分布式存储系统可以通过检索文件MD5值中的关键键值，快速定位文件校验关键健值次级健值MOFS文件传输优化技术 Uni MemUniMem技术是MOFS发明用来减少传统文件系统实现中同一份数据在传输和存取过程中多次copy的现象。UniMem可以帮助用户的应用程序缩短数据存取延迟，对于实时应用有重要意义。磁盘MOFS缓存客户端1步骤1：文件从客户端写入MOFS节点缓存写+ECC校验2 读+ECC校验+计算步骤2：文件从缓存下刷到磁盘无UniMem的文件写流程磁盘MOFS缓存客户端2步骤1：文件从客户端写 入MOFS节点缓存步骤2：文

20、件从缓存下刷到磁盘1写+ECC校验+计算有UniMem的文件写流程MOFS文件读写特性以太网以太网64MB64MB8MB32KB32KB读写特性分片读写特性不分片8MB8MB4KB4KB4KB元数据元数据元数据元数据元数据元数据以太网以太网64MB64MB64MB32KB32KB元数据32KB元数据注：分片、不分片均支持，可灵活应对大小不同数据块的高效读写。MOFS灵活配额管控资源的使用Share部门A（200TB），限制部门A的可用资源MOFS工程师 A工程师B销售员A销售员B用户组A（100TB），限制用户组的可用资源用户A、用户B，限制经理A的可用资源经理A（50TB）权限配额：一种资源

21、管控技术，用以限制单个用户或组最多的可用资源。（资源包括容量空间、以及文件数）意义：防止资源被个别用户过度使用，从而影响其他用户。MOFS负载均衡前端网络后端网络灵活的负载均衡策略，按需匹配相关业务模型性能自动均衡，消除热点，资源利用最大化最小连接数轮循HASH随机MOFS网关架构前端用户访问前端网络 后端网络MOFS节点MOFS网关架构网关型与SAN存储组合，统一资源池按需灵活Scale-out/up扩展兼容第三方SAN单节点2GB带宽支持全系列宏杉SAN存储高性能缓存32384GB按需配置MOFS高可靠MonopodS4后端网络（10/25/100Gb低延迟以太网）通过合理调配MOFS拓扑

22、结构，当集群中一半节点宕机的情况下，文件系统仍旧可以提供服务对应于N台阵列，每台阵列中都down掉（任意）一个控制器，MOFS可继续提供服务Pool 2S3Pool 3主机A以太网交换机1以太网交换机2Pool 0的Owner为S1； Pool 1的Owner为S2； Pool 2的Owner为S3； Pool 3的Owner为S4；S6Pool 4S5Pool 5S2Pool 0S1Pool 1Sn+1Pool n-1SnPool nDISK DISKDISK DISK DISK DISKDISKDISK DISKDISK DISK DISKDISK DISKDISK DISK DISK D

23、ISKNode 1MOFS网关Node 3Node 2MOFS网关DISK DISKDISK DISK DISK DISKDISKDISK DISKDISK DISK DISKMOFS网关MOFS网关Node NMOFS网关MOFS网关MOFS网关硬盘无需重建更换掉故障的网关节点即可MOFS全部节点故障重建控制器控制器控制器控制器MOFS网关DISKDISKDISKDISK DISK DISK存储阵列存储阵列MOFS的性能类别小文件模 型大文件模型混合模型多层目录常见分布式文 件系统XXXMOFS文件系 统小文件模型：KB、MB级文件读写大文件模型：数十MB、GB级文件读写混合模型：大数据块与

24、小数据块混合读写MOFS三大创新技术大幅提升性能两种工作模式：分片、不分片BigHash：快速hash，索引速度提升100%Unimem：单一拷贝，延迟减少50%类别写读删除（文件数）常见分布式文件系统0.5MB/s1MB/s20/sMOFS文件系统5.7MB/s12.11MB/s100/s某用户单位分布式文件应用实测案例：（文件大小：约32KB）MOFS产品特点多样化的应用场景性能容量二维扩展架构按需动态扩展，支持横向（Scale-out）和纵向扩展（Scale-up）横向性能扩展，最多支持512个节点，性能随着存储单元增加得到提升，聚合带宽超过200GB/s纵向容量扩展，容量可以从PB级扩

25、展到EB级，统一命名空间下支持100亿+规模的目录和文件数量产品高可靠NAS网关灵活组合，灵活搭配对外提供多协议服务，支持标准网络文件传输协议（NFS、CIFS、 FTP）一体化架构单台设备起配，配置简单，一体化解决方案，减少系统故障点灵活支持 (SATA /SAS/SSD)磁盘混插小数据块、大数据块均有较好的性能MOFS特色方案（ SAN+ 文件系统统一资源池）HA以太网 交换机LUN1LUN3FC/以太网 交换机MOFS架构SAN架构LUN2LUN4 8Gb或16Gb FC10/25/100Gb 以太网1.统一资源池：构建统一资源池，可同时提供SAN+高性能、海量文件读写访问功能。开放兼容

26、：分布式文件网关可兼 容第三方存储，既可利旧已有存储， 也可兼容未来的新增存储。广泛环境下的高性能：无论SAN 访问还是文件访问，都可同时应对 大小数据块、大小文件的高性能访 问。前端用户访问MOFS服务器架构前端网络 后端网络MOFS节点MOFS一体化架构交换机交换机一体化型高性价比14/38盘位Scale-out扩展单节点1.2GB带宽2U14盘位4U38盘位MOFS一体化架构高扩展Scale-Out扩展方式LAN性能/(GB/s)容量/(TB)性能和容量随着节点数增加而线性增长MOFS纠删码（ EC）N+ M: BN+M：BN：数据对象个数M：校验对象个数B : 允许故障的节点支持的EC

27、方式：4+2 : 18+4 : 1metadatadatadatametadatadatadataD1D2P1D3metadatadatadataP2D41234Node 1以3节点4+2:1为例。每4 片数据计算后得到6 EC分 片，每个节点存储2分片。D1D2D3D4P1P2Node 2Node 3数据条带化纠删码冗余并发数据写入两个分片不会存储 在同一节点的同一 块硬盘上。MOFS硬盘故障修复62可用空间热备空间DISKDISKDISKDISK单节点内硬盘故障修复56781234Node1Node2Node3123 451234566多节点间硬盘故障修复MOFS典型场景 高校Node 4

28、Node 3Node 2Node 1Node n+1Node n客户业务端以太网交换机以太网交换机智慧校园or院系科研or图书馆智慧校园（监控+大数据分析）院系科研图书馆大小文件混合模型下的高性能（大、小文件混合下的高性能根据业务需求，按需单独扩展性能或者容量与双活存储搭配，提升可靠性场景需求应用特点应用案例中国科学技术大学、山东大学等MOFS典型场景 医院Node 4Node 3Node 2Node 1Node n+1Node n客户业务端以太网交换机以太网交换机PACSor电子病历电子病历(EMR)、影像(PACS)、检验(LIS)、科研 项目小型医院：HIS+EMR+PACS+LIS的存储一体化 方案，统一存储资源池场景需求海量小文件，高性能访问应用特点中大型医院：电子病历、PACS、检验、科研，提 供高性能NAS，提高小文件读写性能应用案例华西医院中山大学精准医疗中心MOFS典型场景HPC高性能计算HPC头节点计算节点队列1计算节点队列2计算节点队列n10GE/InfiniBand高性能领先的读写性能，性能超过1024GB/S，可以很好的满足高性能应用的需求高可用无任何单点故障，设备运行稳定，保证数据安全，业务连续灵活扩展动态扩展，按需横向扩展性