中国存储行业发展趋势分析

1、 中国存储行业发展趋势分析目 录 TOC o 1-3 h z u HYPERLINK l _Toc46604313 一、鉴往事 PAGEREF _Toc46604313 h 3 HYPERLINK l _Toc46604314 （一）、软件定义（以分布式存储为主） PAGEREF _Toc46604314 h 5 HYPERLINK l _Toc46604315 （二）、云化（含容器、超融合、混合云） PAGEREF _Toc46604315 h 7 HYPERLINK l _Toc46604316 （三）、闪存化 PAGEREF _Toc46604316 h 10 HYPERLINK l _

2、Toc46604317 （四）、智能 PAGEREF _Toc46604317 h 12 HYPERLINK l _Toc46604318 二、知来者 PAGEREF _Toc46604318 h 15 HYPERLINK l _Toc46604319 （一）、边缘存储 PAGEREF _Toc46604319 h 18 HYPERLINK l _Toc46604320 （二）、长期存储 PAGEREF _Toc46604320 h 23 HYPERLINK l _Toc46604321 （三）、区块链存储 PAGEREF _Toc46604321 h 28简而言之，存储如何以更高效、更低成本

3、的方式，围绕着数据的产生、存放、保护、优化、利用，直至数据成为资产，满足数据对存储提出的要求。相关的关键词有十个：软件定义和分布式、云存储、容器存储、全闪存、AI存储、区块链存储、边缘存储、量子存储、生物存储或基因存储等等。鉴往事我们先回顾一下历史，过去十年（2010-2019）存储发生了什么事件？2010年：EMC收购Isilon，22.5亿美元 ;2010年：惠普收购3Par，23.5亿美元 ;2011年：戴尔收购Compellent，9.6亿美元 ;2011年：希捷收购三星硬盘，13.75亿美元 ;2011年：西部数据收购日立GST，48亿美元 ;2012年：VMware提出SDDC（软

4、件定义数据中心）和SDS（软件定义存储）的概念，之后推出SDS产品 VirtualSAN的预览版 ;2013年：Avago收购LSI，66亿美元 ;2014年：闪迪收购Fusion-io，11亿美元 ;2015年：戴尔收购EMC，630亿美元 ;2015年：西部数据收购闪迪，160亿美元 ;2016年：IBM收购对象存储，约13亿美元 ;2016年：HCI（超融合）概念提出者Nutanix上市；2016年：博通收购博科，59亿美元 ;2016年：OpenText收购Dell EMC企业内容部门(包括Documentum等)，16.2亿美元 ;2017年：HPE收购NimbleStorage，1

5、0.9亿美元 ;2018年：微软收购混合云数据存储公司Avere Systems ;2019年: AWS收购E8 Storage，估计在5000万美元至6000万美元之间 ;2019年: 谷歌收购存储企业Elastifile,2亿美元 ;2019年: IBM收购 RedHat, 340亿美元，RedHat有两款开源存储产品：Ceph和Gluster。站在企业存储系统的角度，有几件事值得注意：HCI、SDDC、SDS的相聚出现、戴尔收购EMC、西部数据收购闪迪、HPE收购3Par和Nimble Storage，以及云计算厂商微软、AWS和谷歌的收购。这些事件体现了全球存储发展的几大趋势：分布式、

6、云化、闪存化、智能等。（一）、软件定义（以分布式存储为主）软件定义存储，为云而生。软件定义存储就是将硬件的可操控成分按需求，分阶段的，通过编程接口或者以服务的方式逐步暴露给前端应用，分阶段地满足应用对资源的不同程度、不同方面的灵活调用。软件定义存储其实是一个过程，不是一蹴而就的目标，它分成不同阶段：抽象、池化和自动化。目前，软件定义存储最显著的特征是呈现分布式，根据近年来IDC的报告，软件定义存储按照访问方式，分为三类：分布式块存储、分布式文件存储、分布式对象存储。未来十年，分布式存储的相对市场份额将不断增长，预计将超过集中存储的市场份额，然而两者将长期并存。浪潮存储G2/G5的InRaid，

7、戴尔Compellent、HP 3Par，华为存储OceanStor的Raid 2.0实现了基于数据块的智能虚拟化，将数据块和硬盘解耦；浪潮存储G2/G5的NPIV，戴尔Compellent的虚拟WWN将控制器前端卡的物理唯一ID抽象出来，也是一种解耦；VMware Virtual SAN（现命名为vSAN）、Nutanix、Ceph有别于以往的专用存储，将存储软件与专用存储硬件解耦，采用标准的商用服务器；，分别体现了软件定义存储征程中的不同阶段。浪潮存储G2/G5的智能RAID，也即InRaid如下图所示：浪潮存储G2/G5的InRAID示意图回顾一下Gartner 在2015年7月发布的技

8、术成熟度曲线，彼时处于曲线的最高点，也即阶段二（过高期望的峰值，Peak of Inflated Expectations）。四、五年左右的时间，被市场广泛认可，但迄今离占据市场主流份额还需一段时间。好消息是，目前软件定义存储的主要部分-分布式存储发展非常迅猛，远超平均值。（二）、云化（含容器、超融合、混合云）据报道，全球云存储市场2017年为307亿美元，预计到2022年889.1亿美元，CAGR为23.7%；中国云存储市场2017年规模为88.68亿人民币，同比增长71.8%，2018年同比增长率将上升至72.8%，市场规模为158.5亿元人民币。Gartner在2019年的报告中显示：到

9、2024年，40%的企业将实施至少一种混合云存储方式，高于2019年的10% 。上述提到的云存储主要是以AWS S3、EBS、阿里云块存储、OSS为代表的公有云存储。在本篇文章里，云化的概念更广泛，包括了公有云和私有云。云的特点包括弹性灵活、按需交付、按用付费等，除了众所周知的公有云之外，还要看到私有云。AWS CEO Andy Jessy在AWS 2019 re:Invent大会上分享了如下消息：公有云的总支出只占到总IT支出的3% 。也就是说，全球IT支出总，私有云仍占绝大多数。我曾在2017年看到一篇文章提到：预计到2040年，公有云大约占整个IT开支的1/3和1/2之间。如果真是如此，

10、也就是说即使二十年后，私有云仍占半壁江山。1）私有云的云化对接存储如何更好的服务私有云，成为企业级存储的一个重要课题。除了存储自身的池化、自动化之外，向上提供API，方便私有云管理平台按需驱动存储资源的创建、调整、优化甚至回收，将逐渐成为必备配置。云化对接包含两大块，一是对接开源的云管理平台，例如OpenStack的块接口Cinder、文件接口Manila、对象接口Swift和几乎成为标准的AWS S3接口；二是对接商业的云管理平台，首当其冲的是能够被主流Hypervisor识别，再被相关的商业云管软件调度，如VMware ESXi、Microsoft Hyper-V。国内存储厂商中，浪潮的A

11、S13000在云化对接中做得更齐全。容器对接也可以视为云化对接的一部分，我们看到越来越多的用户，包括互联网、金融、电信等行业，开始部署容器技术。因此存储支持CSI（Container Storage Interface）接口也将逐渐成为企业级存储的必备配置。超融合可以视为私有云的一种部署形态，当计算资源池和存储资源池在初次采购以及后续扩容的过程中，计算和存储的比例比较适中，也即，不会出现少量计算资源需要搭配大量存储空间；也不会出现大量计算资源需要搭配很少的存储空间，此时超融合是不错的选择。2）公私相互渗透在云计算领域，开始出现To C和To B的融合。早期公有云的用户主要是一些C端，或者小B的

12、用户，随着云计算的深入和普及，云巨头开始希望吸引大B用户。但是，出于隐私保护、安全性、政府合规、管理、兼容性、惯性、迁移成本等多种因素的考虑，原有大B用户迁移到公有云的进展比预期要缓慢。因此，云巨头早在几年前就开始通过构建混合云或者私有云的方式来瓜分B端IT市场的大蛋糕。AWS收购E8和推出Outposts，微软收购混合云数据存储公司Avere，阿里云推出混合云存储方案，腾讯云、金山云、京东云也不甘人后。另外，因为成本、空间、能耗等因素，逐渐有更多用户希望To B的存储厂商，能够支持将历史数据备份或归档到公有云存储上。（三）、闪存化根据IDC 在2019年12月31日的报道：“2019前三个季

13、度，中国企业级全闪存存储阵列市场同比增长超过60%。IDC预测， 2019年全闪存存储市场仍将达到近50%的增长”。据报道，闪存颗粒价格逐年下降（按照30%40%的降幅），如下图所示。国内的长江存储或将加速闪存颗粒下降趋势，不过2020年1月的从武汉爆发的新型肺炎疫情对此有影响。当全闪存相比机械盘价格差距不大时，更多用户愿意为延时缩短而买单（目前和15k转，10k转的机械盘价格相差不多；7.2k转的机械盘当下价格还有一些优势）；机械硬盘逐渐退化成类似磁带地位的介质。而且在当前的大背景下，因为机械硬盘的核心技术欠缺的原因，中国大力发展和推进闪存落地具有重要的意义。国内大的存储厂商中，华为和浪潮都

14、推出了自己的NVMe闪存盘。闪存化的过程中，必然催生全闪存阵列的发展，其中的相关技术NVMe Over Fabric（简称NVMe-oF）借助RDMA等超低延时的传输协议，可远程访问SSD，解决了下一代数据中心在横向扩展(Scale-out) 时所遭遇的性能、功能、容量三者之间难以取舍的权衡问题。下图可以看到NVMe和NVMe-oF列入2018年7月Gartner的技术成熟度曲线图中。（四）、智能这里包括两个方面，一是存储的智能化；二是存储如何为智能应用进行优化，也即AI存储应该如何优化。1）存储智能化存储智能化所希望达到的就是能够根据业务负载、运维管理等的历史记录，预测未来可能会发生什么，再

15、据此动态地调整存储资源池，做到物尽其用；以及提供预警信息和执行动作，做到防患于未然。然而这个道路非常漫长，因为厂商需要在安全性稳定性和性价比（也即动态调整存储资源）之间做取舍；另外要想取得根据负载自动调整存储，其实不亚于将AI算法植入存储系统之中，难度不小。目前，存储厂商中，做得比较好的有浪潮的InView智能管理和HPE的Infosight。2）AI存储Gartner报告显示，到2022年，企业高管中将有半数以上会规划AI技术的部署，而这一数字在2018年的时候仅有4% 。根据IDC数据，2018年上半年，中国AI基础架构市场销售额和出货量分别同比增长176%和129% 。AI所需存储，可以

16、分为准备、训练、推理和归档等阶段，每个阶段的IO特征不一样，对于存储的要求也不一样。例如，在推理阶段，IO的特征是读写混合，并且要求存储的延时低，能快速响应。下图列出了AI各个阶段的IO特征，及其对存储的要求。国内的AI公司针对不同行业不同细分场景，通过AI训练导出的模型，销售给最终用户。为了增加营收，降低部署难度，有不少AI公司将模型以及所需的软硬件打包，以一体机的方式销售。其中的存储系统应采用OEM或者转售的方式，因为AI公司的主业是它的算法以及针对场景不断优化，AI公司自研存储并负责存储的售后，性价比不高。总结而言，过去的这些年，解决了数据的存放、保护和优化，尤其是在数字宇宙迅猛膨胀的过

17、程中，如何低成本、高效率地存放。知来者在上篇 “鉴往事”里，我们讨论了分布式、云化、闪存化、智能等存储发展趋势。下一个十年随着人工智能、物联网、区块链、人体增强(HumanAugmentation)等新技术的快速发展，存储也将迎来新的形态，例如：区块链存储、边缘存储、量子存储、长期存储、生物存储或基因存储等，下面探讨下这些新存储技术的发展趋势。微软创始人比尔.盖茨在未来之路曾说过一句话：人们总是高估了未来一到两年的变化，却低估了未来十年的变革。不经意间，十年过去，我们忽然发现从2009年到2019年，全球市值排名前列的公司，发生很大的变化，IT公司成为市值第一梯队的绝对多数。有趣的是，这些IT

18、巨无霸们的市值和所采购的服务器的数量有着正相关的现象。2019年12月27日，在2019国际超级计算产业博览会上，中国工程院院士、浪潮集团首席科学家王恩东提到：“智慧时代，计算力就是生产力，计算力指数是衡量一个国家、地区，甚至是企业发展水平的重要指数”。“从全球GDP与服务器出货量的分布来看，全球GDP排名前四的美国、中国、日本、德国，服务器采购量同样排名前四。数字经济在整个国家GDP的占比越高，这个国家的经济就越发达”。“同样，在企业领域，10年前全球市值最高的十个企业，埃克森美孚、中石油、沃尔玛、中移动、中国工商银行等，都是来自能源、金融、通信等传统领域。今天全球市值最高的TOP10企业，

19、清一色都是互联网企业，比如google、微软、亚马逊、腾讯、阿里巴巴，只有一家来自传统行业的沃尔玛。全球市值TOP级的企业也是计算力消耗最大的，市值排名和服务器采购量排名基本一致”。王院士还剖析了计算的演变历史，“从计算发展的形态来看，云计算、智慧计算和科学计算三大典型计算场景已经成为主流信息化形态。其中，科学计算主要用来完成宇宙探索、石油勘探、海洋开发、工业仿真、基因测序等前沿科技领域；云计算已成为当今经济社会发展的水电煤”。其中智慧计算包括了AI计算、大数据、云计算和边缘计算。有计算，就会有存储，只是或多或少，或快或慢，或过渡或长期保存的区别。（一）、边缘存储随着物联网和5G技术的迅猛发展

20、，分分合合的轮回开始出现新的变化。加州大学伯克利分校的团队早在2015年7月6日7日发表的题为“The Cloud is Not Enough: Saving IoT from the Cloud“ 的文章，就指出物联网与互联网的七个不同之处：隐私和安全；可伸缩性；交互模型；延迟；带宽；可用性；持久性管理。图:加州大学伯克利分校：互联网与物联网的七个不同之处1）隐私和安全方面（Privacy&Security）互联网是开放访问的。物联网里，植入到人们周边环境的传感器，其收集的通常是敏感信息。例如智能门锁、心脏起搏器等，这类信息的泄密将直接关系到人的生命财产安全。2）可伸缩性（Scalabili

21、ty）物联网中的可伸缩性比互联网更具挑战，生成的数据量将达数万亿个对象。物联网设备所需的大多数数据应该在本地处理，并可能立即丢弃，因此只有集中式的云是不够的。3）交互模型（InteractionModel）互联网是人机交互的。而物联网是机器与机器交互；需要注意的是，有些交互必须伴随着交易，或者说是价值的转移，否则这些交互是不会发生的。4）延迟（Latency）场景不同，互联网对延迟的要求不同。但物联网要求实时响应。例如，为响应本地温度的升高而打开风扇的应用程序，如果只有集中式的云，那这一简单的操作，也将经历来自感知、无线传输、网关处理、互联网访问和云处理的不可预测的延迟。图：其实集中式的云，相

22、对传感器，就是距离较远的“边缘”备注：虽然应用程序通常将云视为所有连接设备的中心(上半图)，但实际上云通常位于互联网主干的边缘，就像其他设备(下半图)一样。5）带宽（Bandwidth）互联网主要产生的是下行流量。物联网中，将数据传送到云端会产生大量的上行流量。物联网应用程序在网络边缘生成数据，这种模式很容易使上行链路的带宽饱和。使用边缘计算后，能让数据就地处理，也能减少不必要的带宽浪费。6）可用性（Availability）互联网用户可以容忍某些场景的可变延迟，容忍偶尔丢失Web服务。相比之下，物联网应用中传感器或执行器（actuators）的临时失效将严重影响到物理世界。物联网中，有不少场

23、景对于可用性有着近乎苛刻的要求。例如，对周边道路环境的感知和处理，是不可能仅仅依赖于集中式的云。7）持久性管理（DurabilityManagement）持久性管理。一些传感器数据是短暂的，而另一些数据应该是持久的，以抵御灾难。现在没有有效的方法来验证数据是否已经被完全销毁，因为云已经超出了用户的控制范围，无论云实现了什么持久性，通常都是在不考虑特定应用程序的隐私的。对持久性的控制一般与控制密切相关：应该确保用户重新控制和拥有他们的数据，而不是提供者。综上所述，我们认为，有别于云存储，边缘存储应该具有高可用性、超低延迟、高安全性、高隐私性、弱一致性、功耗低、空间小的特点。边缘存储仍处于发展早期

24、，还有很多特点需要进一步探索，例如：1、 数据就近计算，是不是意味着计算存储密不可分？采用容器技术（非Hypervisor架构）的超融合是不是更好的边缘设备？2、 数据敏感，对安全性和隐私性要求很高；数据为用户所控制；数据在物与物之间交互、交易，是不是意味着边缘存储与区块链密不可分？（二）、长期存储1、蓝光光盘华中科技大学谢长生教授在2019中国数据与存储峰会分享了“Long Data”也即长期存储的挑战的应对。他提到，国际上有个研究课题How preserve information for 100 years？就是如何保存信息一百年。国内有些基于蓝光技术的光存储公司可以提供解决办法，蓝光光

25、盘具备超过50年的寿命，同时拥有极低功耗，高安全性，较高密度，较低成本，对环境要求低等特点。总体而言，光存储技术尤其适合大量冷数据的长期安全存储。针对于需要符合法规遵从，尤其是保存长达数十年的行业或场景，基于蓝光光盘的存储技术是一个不错的选择，例如电子档案、医疗影像、金融影像、备份归档等。目前涉足光存储技术的有中国华录、紫晶存储、苏州互盟、日本索尼等。谢教授曾告诉我，一个标准机柜可保存1.22万片光盘，如果采用500GB光盘，裸容量可高达6PB。另外，市场上有一种叫M-Disc的产品，号称千年光盘。2、玻璃光盘更令人惊讶的是，科学家们正在研究的玻璃光盘，容量是蓝光光盘的几千倍，能够承受超过几百

26、度的高温，寿命能高达上万年甚至百亿年。研究单位包括华中科大武汉光电国家实验室、美国微软、南安普敦大学、俄罗斯先进研究项目基金会激光纳米玻璃实验室等。图：微软的玻璃光盘项目ProjectSilica3、全息光存储谢长生教授在2019存储峰会提到，蓝光之后下一代变革性光存储技术包括两种：第一种是同轴多维全息光存储技术，刚刚列入国家重点研发计划，武汉光电国家实验室和福建师大，中科院光电所和紫晶一起参与了这个项目。第二种是2014年得了诺贝尔奖的突破光的衍射极限项目，澳大利亚科学家把这个技术用到光上，把光斑从300纳米理论上可以减少到九个纳米，容量上得到巨大的提高，至少可达每盘15TB，理想上可实现P

27、B级。第一发明人是大陆过去的甘棕松博士，现在甘博士回到国内的武汉光电国家实验室，最新的进展在密度上实现了百倍的提高。4、生物存储或基因存储如果需要更长期的保存，例如数百年甚至长达千年呢？在人类历史上，已经有过历经千百年的存储介质，例如青铜器铭文、竹简、纸书、石碑等。不过，众所周知，这类手段存储密度极低。随着生物技术的发展，这种需求，也许会催生出生物存储，或基因存储？站在上帝或者造物主的角度看，生命体最最重要的信息，不就是存放在DNA上吗？借助DNA，物种得以世世代代繁衍。仿照自私的基因一书的观点，包括人在内的动植物不过是DNA繁衍的躯壳，你也可以看成是DNA的存储器。现在，我们可以反其道而行之

28、，让DNA的片段，也即基因成为人类存放信息的存储器。基因存储将0、1数据通过一定的编码方法转换成DNA中的A、T、C、G四种碱基，通过合成含有这些碱基序列的DNA即可实现数据信息存储。这并不是空穴来风或者异想天开。2017 年7月12日，哈佛大学医学院就利用CRISPR DNA 编辑技术，将赛马的视频录入大肠杆菌的基因组中，并以超过 90% 的准确率读取出来。图：哈佛大学医学院的DNA存储-利用 CRISPR 基因编辑技术存储赛马的视频2019年7月，美国布朗大学研究人员在新一期科学公共图书馆综合杂志上发表了一篇论文，提到他们用基于生物小分子的存储系统累计存储了超过10万比特的数字图像信息，从

29、中获得图像的准确率可达98%以上。2020年2月7日，据华尔街日报报道，波士顿初创公司Catalog Technologies正在开发一种独特的方式来存储大量数据。他们表示可以将维基百科中的14 GB数据存储在DNA分子中，几乎就像“在试管中滴几滴水”一样。Catalog用分子生物学仪器“打印”合成分子序列，这些序列以DNA的形式存储和表示数字信息。他们通过使用DNA测序仪和带有专有软件的计算机来读取信息，该软件可以将分子翻译成文本、图片甚至视频。（三）、区块链存储一百年太久，只看十年，未来十年，分布式、云化、闪存化、智能仍然会延续。与此同时，将出现一些新的趋势，其中有一个重要的趋势将伴随着数字化转型逐渐显现出来，背后的原因是：数据即资产、数据即权力。无论做为企业，还是政府，当意识到数据的重要性的时候，不会轻易的分享数据，或者说将这一权利拱手相让。如何促进数据共享呢？物理学家张首晟曾提到：“人工智能现在碰到了一个很大的瓶颈，因为如果 AI 要非常大的进步，它必然要需要很大的数据，但是现在的数据提供方都没有足够的激励机制提供极大量的数据”。如何激励数据提供方（也即用户和组织）提供数据，尤其是隐私数据（数据越隐私，价值可能越大）呢？如何在激励数据提供方分享数据的同时，又能保护隐私呢？答案就是区块链和存储的结合。张首晟在文章区块链技术是互联网世界新的分合转折点中自己回答