区块链+新基建行业市场分析报告

区块链+新基建行业市场分析报告2020年11月

目录1核心观点.............................................................................................................................................................3核心推荐逻辑............................................................................................................................................3我们区别于市场的观点...............................................................................................................................32分布式存储将成为下一代互联网基础设施...............................................................................................................3以IPFS协议为代表的分布式存储带来新思路................................................................................................3分布式存储将带来互联网基础架构变革........................................................................................................73分布式存储开辟互联网基础设施产业新格局...........................................................................................................9分布式存储开发新的存储市场......................................................................................................................9分布式存储已和传统存储不断融合应用......................................................................................................104分布式存储面临的技术瓶颈与发展机遇................................................................................................................12数据价值分层是分布式存储经济激励的关键...............................................................................................12性能瓶颈需要底层和应用层联合优化解决..............................................................................................13服务质量保障..........................................................................................................................................15在应用、运营层面中心化组织与分布式存储将进一步融合...........................................................................155市场建议..........................................................................................................................................................16市场提示..............................................................................................................................................................16图表目录图表：IPFS协议的分布式系统..............................................................................................................................4图表：IPFS协议构架............................................................................................................................................4图表：集中化的版本控制系统...............................................................................................................................5图表：分布式版本控制系统...................................................................................................................................5图表：MerkleDAG数据结构及功能特点................................................................................................................6图表：网络工作原理.....................................................................................................................................6图表：全球数据圈每年规模...................................................................................................................................7图表：IPFS协议关注的基础问题...........................................................................................................................7图表：IPFS与协议的对比............................................................................................................................8图表：IPFS与寻址方式对比......................................................................................................................8图表：全球数据量增长状况.................................................................................................................................9图表：中国云存储市场规模及增速.......................................................................................................................9图表：中国公有云市场规模及增速.......................................................................................................................9图表：个人云盘行业用户渗透率及MAU.............................................................................................................10图表：储迅部分合作伙伴..................................................................................................................................11图表：高性能分布式文件系统...........................................................................................................................11图表：CRUST技术架构：工作量证明层、区块链共识层及分布式云存储计算层...............................12图表：CRUST部分合作伙伴..............................................................................................................................12图表：数据价值分层是分布式存储经济激励的关键.............................................................................................13图表：IPFS与性能对比：远程读取操作的平均延迟...................................................................................14图表：IPFS与性能对比：远程读取操作的延迟范围...................................................................................14图表：IPFS与性能对比：远程读取操作的吞吐量......................................................................................14图表：分布式存储面临的技术瓶颈与发展机遇....................................................................................................15P.21核心观点1.1核心推荐逻辑基于分布式存储，将开辟新的存储应用市场。分布式存储采用不同于传统中心化存储的资源和市场激励方式，不仅仅是充分利用分布式节点资源，而是为个人节点贡献的内容投入市场交换创造了基础，从而深度挖掘数据内容价值、开辟全新的应用市场，这在传统的互联网公司控制中心云平台数据的情况下是无法实现的。同时，分布式存储与中心化存储将不断融合，改变现有的互联网构架和商业模式。1.2我们区别于市场的观点市场低估了分布式存储为互联网基础构架和商业模式带来的变革与创新空间。市场通常将分布式存储视为一种新的技术，而忽略了分布式存储带来的个人存储资源、用户内容贡献价值挖掘和市场交换的潜力。在分布式文件系统的互联网上，个人存储资源可以投入到市场进行资源交换，为用户贡献的内容在数据确权、安全的基础上进行内容价值提供市场交换的平台。因此，分布式文件系统将会催生更多的全新的互联网应用，而非传统互联网的技术迭代。2分布式存储将成为下一代互联网基础设施目前，互联网将海量计算机（智能移动）终端连接在一起，使得用户能够访问存储其他计算机终端上的海量数据。数据的传输与访问，是基于（超文本传输协议）为代表的互联网协议实现的，数据是以计算机（服务器）终端（或者说域名）为地址进行中心化存储的，具体存储数据的服务器节点就像一个集中式的仓库，要承担巨大流量访问、数据传输压力。能否将数据文件分散存在网络不同服务器节点上，革新互联网基础构架？类似IPFSIPFS而言，就只需确认验证内容的哈希，这样就能过获得速度更快、安全、健壮、持久的网页。我们将探讨分布式存储将如何带来互联网基础构架的变革，将创造怎样的新的应用场景和市场。2.1以IPFS协议为代表的分布式存储带来新思路IPFS协议是一个将多种成功的分布式系统思路与区块链相结合的文件存储和内容分发网络协议，为用户提供统一的可寻址数据存储。IPFSInter-PlanetaryFileSystem）由Protocol提出，字面意义是星际文件系统。其本质是一个的分布式存储系统，将所有具有相同文件系统的计算设备连接在一起，目标是补充甚至替代超文本传输协议IPFS域名的地址去访问，而是通过基于文件内容生成的唯一编码去访问，不需要验证发送者的网络上运行P.3着一条区块链，即用来存储互联网文件的哈希值表，每次有网络访问，即要在链上查询IPFS协议最大的特色是系统的耦合及设计的综合性，其整合的分布式技术包括协议、版本控制系统、MerkelDAG、分布式哈希表DHT和自认证文件系统SFS。因此在IPFS系统中，人人都可以作为存储文件的服务器。图表：IPFS协议的分布式系统资料来源：公开资料整理，市场研究部IPFS协议借鉴了BitTorrent共享文件的网络传输协议。（简称）是一种广泛应用的内容分发协议，特FTP、访问和下载文件的用户过多时，由于服务器处理能力和带宽的限制，下载速度会急剧下降，部分用户甚至会无法访问服务器。而协议下，分配器或文件持有者将文件发送直到每个用户的下载全部完成。这种方法可以使下载服务器同时处理多个大体积文件的下载请求，而无须占用大量带宽，因此常用于大型文档和自由软件的发布以降低服务器负担。IPFS团队对BitTorrent称为BitSwap协议。用户在BitSwap里分享数据会增加信用分，从其他节点接受数据则会降低信用分。如果用户只去检索数据而不分享数据，信用分就会越来越低，而被其它节点忽略。图表：IPFS协议构架资料来源：星际文件系统IPFS生态研究报告，市场研究部P.4作为分布式存储管理带来的离散性、伸缩性和良好的容错性，以及基于IPNS的文件域名系统。IPFS使用分布式版本控制系统并标记不同的版本号，一旦发生问题，可以将文件回溯到之前的任何一个版本。本地版本控制系统和集中化的版本控制系统都是由单一服务器保存所有文件的修订版本，一旦服务器发生故障，则面临丢失所有数据的风险。Git是分布式版本控制系统（DVCS）的一种，客户端除了保存最新版本的文件，还把代码仓库和历史记录都完整地镜像下来。Git还可以比较文件变化细节，查出谁进行了什么修改，从而可以在发生问题时快速准确的DVCS系统都可以指定和若干不同的远端代码仓库进行交互，而这在以前的系统中是无法实现的。图表：集中化的版本控制系统图表：分布式版本控制系统资料来源：Git官网、市场研究部资料来源：Git官网、市场研究部IPFS团队对数据结构进行改造，在MerkleTree的基础上得到了MerkelDAG，将文件划分成单个大小不超过256kB据块，每个数据块拥有唯一的哈希值，并构造一个Merkel将所有文件碎片组织起来。MerkelDAG是实现版本化文件系统的一种核心数据结构，比Merkle的限制更MerkleDAG的三大功能得以实现：12Merkle3）去重：内容相同的数据块的哈希是相同的，可据此删除重复数据，节省存储空间。P.5图表：Merkle数据结构及功能特点资料来源：IPFS白皮书，市场研究部IPFS的路由功能采用分布式哈希列表，帮助客户节点快速找到所需数据所在的节DHTDHT由网络中所有的节点维护。在不需要服务器的情况下，每个节点负责一小部分路由和数DHTDHTDHT具有以下性质：1）23系统的工作。图表：DHT网络工作原理资料来源：维基百科，市场研究部IPNS是IPFS的文件域名系统，像系统的域名（网址）一样，使用户搜索文件IPFS中文件的哈希值完全取决于文件内容，不仅难以记忆，一旦修改文件内容其哈希值也会发生改变，每次更新文件后都需更新引用的哈希值，十分不便。为了能够在不破坏其链接的情况下更改文件内容，IPFS团队使用了一种标记更新网址哈希的域名系统，即星际名称系统IPNS。IPNS是一个去中心化的命名系统，使用类似哈希的地址安全地指向可变内容，每个文件都可以被协作命名为易读的名字，通过搜索就可以找到文件。自认证文件系统SFS对文件进行命名，同时提供了IPNS以解决传播问题，很好地解决了当前用户不习惯输入哈希值访问文件的问题，在现有的互联网系统和IPFS系统间搭建了一个桥梁。IPFSP.6IPFS希望达到创建持久且分布式存储和共享文件的网络传输协议的目标。而为代表传统的中心化存储差别十分明显——的文件是中心化的方式存储，通过文件的域名进行访问，且域名文件服务器需要保持在线，否则将无法访问。2.2分布式存储将带来互联网基础架构变革以被记录并用数据表达，数据从单一内部小数据向多元动态大数据转变。据IDC预测，全球数据圈的规模将由33ZB增长至2025年的175ZB等非结构化数据将拥有更高的增长率，在整体数据圈的占比也将持续增加。因此，需要更先进的互联网基础架构来对数据进行采集、存储和利用。图表：全球数据圈每年规模资料来源：，市场研究部目前，中心化互联网架构下的主要问题集中在安全性、时效性和集中化三个方面，而以IPFS为代表的分布式存储协议将通过解决以下问题带来互联网构架的变革：图表：IPFS协议关注的基础问题问题描述数据存储的安全性IPFS协议将文件打碎成若干数据块并进行分布式存储，具有良好的防篡改作用。另一方面，整个网络中存在多个备份，可以有效避免战争、自然灾害等外在原因造成的中心数据丢失，有助于提高长期数据保存的安全性。所有网络终端节点都可以作为网络的运营者和服务器，使用者越多，下载速度越快。使用去中心化版本控制系统，用户可以和同一个项目中的不同工作小组相互协作，还可以根据需要设定不同的协作流程。每个用户的每次修改都被完整记录，方便文件的更新和回溯。用户协作的时效性降低存储和带宽成本中心化数据存储依赖于IDC机房，大数据时代背景下集中存储的硬件成本急剧上升。在中心化存储的协议中，用户之间没有交互，大量用户访问和下载文件是对服务器处理能力和带宽的极大挑战。使用分布式存储系统，可以充分利用用户存储空间和带宽资源，大幅降低存储和带宽成本。IPFS表的分布式存储系统可能解决这个问题，成为未来区块链领域的基础架构。与区块链技术结合资料来源：市场研究部P.7图表：IPFS与协议的对比IPFS采取分布式存储数据采取中心化存储数据通过内容寻址（网站内容生成唯一对应的哈希值），利通过域名找到服务器所在IP地址，而后访问文件所在路径下用分布式哈希表（）查询、下载、验证载单个节点不需要不间断运行服务器需要不间断运行，否则连接就会中断，内容无法传送保证网站数据的永久性，同时提供版本回溯功能服务器端数据需要备份，否则删除不可恢复过渡依赖主干网，占用带宽和服务器存储，易受管制、封锁、监控和攻击；易受天灾人祸影响可以突破中心网络带宽的限制，并降低延时文件更新传播需要项目所有者更新版本后加密全网传中心化服务器，不存在文件更新传播的问题播，节点在验证后进行更新，更新传播速度可能受限资料来源：市场研究部传统的协议使用非对称架构实现网络的高并发，但是中心服务器难以负担过大的传输数据量，影响用户体验，云计算厂商和电信运营商需要为此付出较大的设备成本。IPFS性，冷门且具有价值的文件容易丢失，主要原因是激励层缺失导致的节点不稳定性。目前，一种对标IPFS的分布式技术（网格裂变系统）也在悄然崛起，提供去中心化的CDN服务、存储服务和算力服务。兼顾了协议的优势，对路由和传输逻辑进行重新定义，采用对称架构，将网络的分裂做到了前所未有的程度。图表：IPFS与寻址方式对比资料来源：市场研究部HTTPXP2P的技术架构设计属于网格设计，每一个节点既是独立个体也是全局功能体，可以支持存储、计算和传输别的信息，定位资源存储节点，并通过最优网络传输路径回传到用户临近节点。和IPFS相比具有明显优势，有望将云计算服务推向新的高峰：下降，提供更低延时的优质服务响应；2）低成本：为产业链服务，定价较低；硬件兼容性高，可部署到家庭、社区、办公场所；3）兼容性强：兼容、协议，同时提供高级开源代码接入模式；4）实力雄厚：采用P2P思想，CDN支撑能力出众；提供存储、GPU资源的挖矿模式，真正做到一机多用。5）快速发布：带宽需求大，发布周期短，资源提供方不用担心项目延期带来的资本周转问题。P.83分布式存储开辟互联网基础设施产业新格局3.1分布式存储开发新的存储市场全球数据量的爆发式增长推动云存储市场的快速发展。云存储是一种以数据存储和管理为核心的云计算服务，指通过集群应用、网络技术或分布式文件系统等，将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访任何地点，通过可连网装臵连接到云上方便地存取数据。图表：全球数据量增长状况资料来源：，市场研究部根据云存储服务性质的不同，可以分为公有云、私有云和混合云。其中，公有云面向包括个人、家庭、企业在内的多种客户；私有云由企业或组织使用及维护，用户在个性化等方面有更多的控制权；混合云将公有云和私有云进行混合和匹配，达成相对高性价比IDC2025年中国数据规模将达到48.6ZB为非结构2018年中国云计算整体市场规模达962.8亿元，增速为39.2%。其中，公有云市场规模达到437亿元，增速为65.2%，预计接下来三年内仍将快速增长。图表：中国云存储市场规模及增速图表：中国公有云市场规模及增速16120%1412108100%80%60%40%20%0%6422012020132014201520162017中国云存储市场规模（亿美元）增长率资料来源：、市场研究部资料来源：中国信息通信研究院、市场研究部分布式存储将开辟新的应用场景，充分激发个人存储资源和内容贡献的市场价值，创新互联网商业模式。随着分布式存储技术和生态的发展，将充分激发个人存储资源市场的P.9资源配臵，激励更多的个人存储资源进入市场——即个人可以将闲臵的存储资源投入到分布式存储系统进行市场交换，这在传统互联网巨头控制中心云模式下是无法实现的。更重要的是，个人在互联网上的内容共享将可以安全地进行发布、交换和价值共享。如STEEM区块链和标是成为的替代品，允许用户在IPFS基础上观看或上传视频，并在不可变的STEEM的所有数据都是公开的，任何有互联网连接的人都可以对其进行分析，无需广告即可运行，提供了最佳的用户体验。可以这样说，几乎任何现有的互联网应用都可以迁移到分布式文件系统上，获得新的体验和创新商业模式，这里面的想象空间是无限的。边缘云计算和小型数据中心成为行业趋势，分布式存储有望率先打开个人云存储市场空间。2019年13.11存储市场仍有庞大的潜在用户基础和可利用存储空间。面对数据规模的高速增长，边缘云计算和分布式存储成为行业趋势，利用分布式文件系统将个人闲臵的存储资源投入到网络中，进行市场交换，将成为分布式存储率先进入的领域之一，目前已有这方面的初创应用。图表：个人云盘行业用户渗透率及MAU1401201008020%15%10%5%60402000%2018.112019.012019.032019.052019.072019.092019.11MAU（百万）对全国手机网民的渗透率资料来源：AURORA极光、市场研究部3.2分布式存储已和传统存储不断融合应用在分布式存储的实际应用中无法避免一定程度的中心化，因此常和传统存储方案融合应用。分布式存储会带来系统性能和管理成本的问题，因此现有的存储解决方案通常将分布式技术与传统存储方案相结合：一方面，对数据进行分布式备份保存，使数据更接近边缘侧，同时避免数据的物理损坏和人为篡改；另一方面，通过一定程度的集中存储和集中管理来降低系统运维成本，提高服务质量。案例上海储迅信息技术有限公司（StorSwift）是一家专注于企业生产数据存储和管理的高新Rasilient15年的存储行业研发和运维经验。储迅在大规模存储运维、存储安全及性能优化领域拥有核心的硬件软件技术今为止已部署和存储超过300PB业界处于领先地位。储迅已在安防、医疗、媒资等行业提供了成功的存储解决方案，和因特尔、中国移动等多家企业开展业务合作。P.10图表：储迅部分合作伙伴资料来源：储迅官网、市场研究部储迅为企业提供专业的分布式数据存储方案，在数据存储优化、I/O运维管理等方面经验丰富。主打产品有高性能分布式文件系统、分布式块存储、分布式对象存储网关等，同时提供从硬件选型到挖矿程序优化、存储性能优化、运维调度等一整套的Filecoin解决方案。和传统的集中数据中心存储相比，分布式存储的优点在于数降低运维成本。图表：高性能分布式文件系统资料来源：储迅官网、市场研究部案例CRUST链接分布式云CRUST是基于有意义工作量证明机制（MPoW）和担保权益证明共识（GPoS）构建的数字加密应用层，同时也是一种支持去中心化存储与计算的新一代区块链技术。CRUST实现了去中心化存储的激励层协议，适配包括IPFS在内的多种存储层协议，并对应用层提供支持：第一层量化资源和工作量，提供了一个让所有人都能认可的计算方式，这是解决问题的根本；第二层利用达成共识，共同维护网络；第三层CRUST的架构也有能力对去中心化计算层提供支持，构建分布式云生态。P.11图表：技术架构：工作量证明层、区块链共识层GPoW及分布式云存储计算层资料来源：《CRUST白皮书》、市场研究部CRUST与FilecoinTEE三方硬件为载体，保证其中创建和运行的数据不可被攻击和篡改。主流的芯片厂家如IntelAMDARM内都有TEECRUST社区成员认可的程序包，实现对资源量化工作的监督，进而把量化证明通过签名发送到区块链网络。Filecoin样是开源算法，但是带来了硬件消耗和带宽需求的问题，还需要刻意提高算法的复杂度来保证节点短时间内不能作弊。则解决了这些问题，在本地就可以完成资源证明过TEE内程序对数据进行封装保存时无须担心被篡改，算法效率更高，用户可以获得更好的使用体验。图表：部分合作伙伴资料来源：CRUST官网、市场研究部4分布式存储面临的技术瓶颈与发展机遇4.1数据价值分层是分布式存储经济激励的关键不同数据的市场价值是不同的，不同个体对相同数据的价值判断也并不一致。而存储节P.12点并不知道数据的内容、难以评判数据价值的情况下，如何有效将存储激励与数据市场价值做到优化配臵？数据价值分层是甄别数据价值以及实现有效激励的关键。分布式的节点负责存储数据碎片，但并不知道数据内容以及数据的价值，也就是说，矿工的工作量衡量如果不能考虑Filecoin）Filecoin目前并没有对数据价值进行具体分层，只做了垃圾数据和可验证数据的区分。目前现存的共网络服务质量差的成本是以经济激励来衡量，但因此造成的用户数据服务质量和数据价值损失并不对等。简单说，矿工最多损失的是系统经济激励，而用户损失的可能是数据的损毁或极差业务服务质量——毕竟对于矿工来说，数据的价值是的核心衡量因素是存储容量。应考虑底层构架和应用层结合的方式解决数据分层问题。解决数据价值分层，对分布式存储的经济激励十分关键。在基础构架层面难以单独解决，必须结合应用层来实现。结合应用场景，在应用层实现数据的分层，从而实现矿工节点的分层；如，对于一些服务质量、内容价值较高的数据，则可以圈定一个激励价格较高的矿工市场，同时对矿工节点的硬件配臵、服务质量做更高的要求。这类应用在私有网络、局域网更方便实现。针对不同的应用场景，采用不同的应用层策略。也就是说，广泛而统一的分布式存储网络很难满足各个场景和用户个体的需求，针对不同场景采取不同的应用层解决方案来完成数据价值分层是可行的方案。图表：数据价值分层是分布式存储经济激励的关键资料来源：市场研究部4.2I/O性能瓶颈需要底层和应用层联合优化解决分布式存储会带来系统碎、多节点备份保存，在查询使用数据时需要进行大量碎片文件的调度工作，工程量极大。另外，当文件较大时，用于内容寻址的哈希表也会很大，寻址时间也会更长。更为关键的是，矿工节点的网络资源状况对网络I/O性能的影响也存在诸多不确定性，尤其是那些流媒体数据，若某些数据碎片的节点网络状况较差，则会影响整个数据文件的访因此，现有的分布式存储系统的I/O效率是技术新能方面首要考虑的问题之一，从代码实现到协议层都有很大的优化空间，还需要进一步突破。实验测试显示的I/O受到节点自身及全网其它节点的影响，主要包括：节点数量和稳定性、带宽、网络（地P.13IPFS的进IPFS面，当请求是小的请求时，在间，IPFS低。遇到16-256k之间的文件，IPFS的延迟状况由于IPFS在延迟上的表现不尽人意，尤其是请求大小朝贡时，IPFS的处理时间接近了秒。超过64MB时，延迟更是可以达到70秒，是（秒