云存储架构设计最佳实践

1、云存储架构设计最正确实践 TOC o 1-5 h z 前言2.概述2.云存储技术分析22. 1云存储通用框架22.2云存储硬件架构31集中式存储4分布式存储-独立部署架构5分布式存储-超融合架构53分布式底层存储技术6. 1分布式文件系统7.2分布式键值存储83.云存储架构框架设计91总体设计原那么和方法9需求分析10. 1应用场景分析10.2数据存储需求10云存储总体架构11架构设计评估125技术选型13需求分析应用场景分析不同行业、业务场景往往决定了云存储不同的应用场景，传统行业和互 联网行业之间往往也有着明显差异：核心业务应用场景：传统行业核心业务逻辑的变化不频繁，核心系 统的业务量增长

2、是规律的，可预估的，系统架构稳定；而互联网行业 来说，业务系统追求敏捷迭代，业务量起伏变化较大，系统架构从简 单到复杂，要求弹性伸缩；互联网业务应用场景：对于传统行业来说，互联网是一种新的业务 拓展渠道，是业务转型的方向，需要逐步试点开放的；非结构化数据场景：非结构化数据场景也有很大差异，在局部场景 下，非结构化数据多是系统产生或提供的临时数据，一次写入屡次读 取，要求10性能稳定，如个人网盘场景；另外一些场景下，非结构 化数据要求长期存放，一次写入很少读取，逐渐成为冷数据，典型的 如银行保险业务双录场景；数据灾备与平安：无论是传统行业还是互联网行业，都需要考虑业 务连续性需求，建立数据灾备体

3、系和敏感数据保护方案。而金融行业 还有着更加严格的国家法律法规和金融监管部门要求，业务系统的 RT0、 RP0要求更加明确，重要、敏感数据需要平安可控，一般会 审慎选择云存储的部署模式。数据存储需求部署模式敏感数据情况决定了云存储的部署模式，对于涉及敏感数据较多的系 统，一般采用私有部署模式；对于非敏感数据，云存储的本钱往往是一个是 重要的考虑点，公有云部署除了考虑数据存储费用外，也还需考虑存储流量 费用。综合考虑我司的业务应用场景，云存储排除了公有云模式，而是采用了私有 部署模式。存储访问接口存储访问接口对应的是云存储的功能需求，对于我司来说，包括块存储、NAS存储接口和对象存储S3接口。块

4、存储对应于云服务器硬盘需求，NAS 存储对应于多个云服务器间的文件共享需求，对象存储S3接口对应于互 联网类业务非结构化数据存储和冷数据归档需求。数据存储分级数据存储分级可以在满足不同业务系统存储需求的基础上，降低整体 云存储本钱，结合我司业务情况分为：.核心业务类型系统及其数据库，需要最高的存储性能和可靠性；.其他轻量级数据库，需要较高的存储性能和可靠性；.互联网类新业务和其他非关键类应用，需要一定的存储性能和较 好的扩展性；.非结构化类型业务数据，需要较高的扩展性，存储性能要求不高；.数据备份与归档，数据存储冷热分层；.开发测试系统，利旧存储。云存储总体架构从行业开展趋势和企业IT战略转型

5、方向看，我司传统业务依然处于 基础性的重要地位，这也决定了集中式存储架构将与分布式存储架构长期 并存的状态。分布式存储架构主要用于新的线上业务场景，集中式SAN存 储和NAS存储在传统业务场景依然占据重要地位。最终确立了统一纳管异构存储资源，提供多种类型数据接口、面向海量 数据场景的云存储架构，如图7所示.可通过引入超融合架构来构建私 有云laaS平台，实现IT基础架构云化转型，分别构建开发测试、互联 网类新业务应用等超融合集群。而海量的半结构化和非结构化数据需要通 过分布式对象存储来构建可弹性扩容的数据湖，采用基于策略的数据全生 命周期管理，提供热、温、冷不同资源池，实现数据在不同资源池以及

6、云平 台间的流动和分层。云存储服务身份认证对象存储身份认证对象存储访问控制文件共享存储备份归档大数据存储云存储资源池存储系统API接块窑文仲喜对象备存飞接口层存储抽象层敷堀存储层图7.云存储架构示意图架构设计评估云存储架构设计是否合理，需要从敏感点、权衡点以及架构风险点这三 个方面去评估：敏感点敏感点对应于不同数据存储的共有的一些特性，比方存储的软硬件成 本、可靠性、存储10性能、架构复杂度、灵活扩展能力、资源孤岛、故障 域隔离和可管理性等属性；权衡点权衡点那么是影响多个架构质量属性的敏感点，需要架构师评估取舍的 局部。比方存储架构是集中式还是分布式决定了存储的架构复杂度和灵活 扩展能力；存储

7、的软硬件本钱也很大程度上决定了存储的可靠性和性能；资 源孤岛虽然会造成资源浪费，但合理规划好，也是故障域隔离的前提。风险点对于架构师来说，最需要关注的往往是架构中的风险点，是架构设计成 败的关键。分布式存储架构存在着复杂度高、新技术引入风险以及版本迭代 速度快等风险点；超融合架构还面临着扩展性受限、资源孤岛等风险；而传 统存储架构主要风险点在于难以应对海量数据存储扩展，本钱较高，与新技 术的适配度也不高。对应于我司的云存储架构设计，传统SAN存储性能稳定，10延时低, 本钱高，不易扩展，但适合于核心业务场景；NAS存储性能不高，但易于使 用和文件共享，本钱也不高，适合于绝大多数文件共享访问场景

8、；分布式对 象存储性能一般，架构复杂度高，但可以灵活扩展，支持海量数据存储，成 本低，适合于海量结构化数据存储和互联网业务场景；而超融合架构可以很 好地与计算资源融合，架构简单，本钱低，虽然有扩展性受限和资源孤岛问 题，但结合公司业务和计算资源配比建立不同超融合集群，可以做好数据存 储分级，隔离不同的故障域。技术选型按照云存储架构设计评估，我司还需要分别引入分布式对象存储和超 融合两种不同硬件架构的云存储方案。结合云存储底层存储技术的分析，分 布式对象存储更适宜采用基于分布式键值存储的产品，性能需求不高，扩展 性更强；超融合那么倾向于基于分布式文件系统的产品，逻辑架构更加清晰， 并不追求超大规

9、模部署，而小规模部署下性能更有优势。对于传统行业来说，开源云存储技术并不能拿来即用，是不适应不同业 务系统的存储需求的。要在云存储这样的基础架构领域做到技术自主是非 常困难的，也缺乏相应的技术积累、人才队伍建设和研发资源投入。因此大 多数传统企业都需要选择不同厂商的云存储产品，做技术选型也就是在筛 选不同厂商产品。不同厂商的分布式存储都会有其清晰的市场定位和优势场景，其中厂 商对于存储产品核心技术的把控能力是最重要的，其次是厂商的售后服务 水平，当然还要看产品的定价水平。对于我司这样的中小企业来说，更倾向 于跟随策略，筛选市场份额前列、有大规模的同行业落地案例的厂商产品。 在筛选出了厂商产品之

10、后，技术层面还需要做好P0C测试，来验证技术选 型。对于云存储产品来说，选型测试还需要考虑以下六点：业务应用场景业务类型决定了数据存储分级标准，数据类型决定了使用存储连接方 式以及云存储产品类型等功能需求，数据容量那么决定了云存储的扩展性能 力要求；兼容性对于云存储产品来说，软硬件的兼容性是一个重要指标，包括通用服务器选型、设备微码驱动版本、操作系统版本、不同虚拟化平台等的兼容性；10性能10性能也是云存储是产品是否适配业务应用场景的另一个重要考量 点，相比于通用的存储性能指标数据，业务场景下的测试更有说服力；高可靠性通过开展破坏性测试，来验证云存储产品的高可靠性；易管理性分布式架构复杂度高，

11、云存储的易管理性关系到运维人员是否能很好 地管控云存储；数据保护和容灾数据保护和容灾会增加本钱，但依然需要考虑数据多维度的平安。随着互联网类新兴业务的激增、业务数据快速增长，云存储技术应运而 生。本文深入剖析了云存储通用框架、硬件架构以及其底层原理这三个技术层 面的差异性，为云存储架构框架设计提供了理论依据；再结合细分行业及其业 务应用场景的差异性需求，最终确定了满足企业需求的云存储总体架构，并详 细介绍了架构设计评估和技术选型过程中的一些实践经验。.概述随着互联网类新兴业务的激增、业务数据快速增长，使得企业数据中心 存储系统面临新的挑战：大数据、云计算等新技术应用带来了新的存储应用 场景；海

12、量数据存储冲击着传统存储架构，性能容量成为瓶颈；存储系统扩 容和新建周期长，无法满足业务敏捷需求。云存储技术应运而生，敏捷、资源可弹性部署、按需获取的特性很好地 满足了数据中心海量数据和新兴业务快速上线的存储需求。.云存储技术分析顾名思义，云存储是在云计算基础上衍生和开展出来的，通过网络将大 量异构存储设备构成了统一的存储资源池，在集中式存储技术基础上，融合 了分布式存储、多租户共享、软件定义存储等多种云存储技术。新技术应用都有其两面性，在设计构建云存储架构框架之前，有必要详 细了解和剖析云存储技术，这样才能结合自身需求做好规划。下文将从云存 储通用框架、存储硬件架构以及分布式底层存储技术这三

13、方面展开表达。1云存储通用框架相比于传统存储来说，云存储系统是一种层次化的体系结构，其通用框 架可参考图1分为云存储服务和云存储资源池两种，其中云存储资源池是 云存储最为核心的局部。云存储服务。份认证访问控制云存储资源池存:储系统存储费源管理存储费源管理API 接 C块存储文件存储对象存储存储接I儿!存储抽象层集中式存储 分价式存储数据存储所图1.云存储通用框架图云存储资源池又可细分为数据存储层、存储抽象层和存储接口层。数据 存储层是云存储的基础，由不同类型的硬件设备组成，提供多种10性能 的存储资源；存储抽象层实现了不同类型的存储设备的逻辑虚拟化管理，为 上层应用提供不同存储资源的抽象，实现

14、存储资源的灵活调配；存储接口层 提供了不同类型的存储接口，实现存储系统与外部应用的数据传输。 云存储服务为用户提供统一的协议和编程接口，提供云数据盘和对象存储 服务，是云存储资源调度控制的入口，授权用户可以公共应用接口访问云存 储。云存储硬件架构数据存储层可根据差异化的需求、细分行业以及不同的应用场景，部署 不同架构的数据存储，这也是存储硬件选型的关键。一般可分为集中式和分 布式两种存储架构，其中分布式存储中又可以依据计算与存储是否解耦，再 细分为独立部署与超融合两种架构，下文将对这三种架构存储进行评估。. 1集中式存储集中式存储的代表是传统SAN存储或NAS存储，使用专用硬件和存 储控制器。

15、其架构如图2所示，存储控制器采用双控或多控互联架构，包 含RAID功能和大容量Cache。控制器后端连接到磁盘柜，磁盘柜包含了 多个RAID组，每个RAID组又包含多块磁盘，这就组成了集中式的磁盘 阵列。0 0-0 A磁盘柜图2.集中式存储硬件架构示意图集中式存储一般提供块存储或文件存储接口服务，其优点可总结为：性能：10分片粒度小，数据10传输路径短，表现为低时延和高 I0PS ；可靠性高：专有硬件和存储控制器的可靠性高，基于RAID和硬件 冗余等技术也较成熟；数据强一致性：控制器、磁盘间的集中式互联架构最大限度地保证 了数据的强一致性。当然传统集中式存储也有其劣势，这也是分布式架构兴起的原

16、因，表现在：扩展性差：集中式存储是无法无限制地扩展磁盘柜的，受限于存储 控制器的扩展能力；本钱较高：集中式存储的高可靠专有硬件也会带来更高的设备采购本钱和维保本钱。分布式存储-独立部署架构分布式存储采用可扩展的系统结构，通过网络将数据分散存储在多台 独立的存储节点上，其架构如图3所示，分布式存储-独立部署架构由 多个专门的存储节点组成，对外提供各种存储服务。图3.分布式存储-独立部署架构示意图分布式存储不再依赖于传统专用硬件，大局部部署在通用服务器之上, 通过软件定义的方式来实现核心存储逻辑，其优势在于：灵活迭代：相比于硬件的迭代，软件版本迭代周期更快更灵活；硬件本钱低： 消除了专有硬件依赖，

17、硬件本钱低；易扩展： 分布式架构易于横向扩展，性能容量线性扩展。而分布式存储的劣势在于：复杂度高：相比于集中式单体架构来说，分布式运维复杂度高；稳定性低：局部产品技术成熟度不够，硬件故障或系统异常场景下, 存储性能易受影响。分布式存储-超融合架构超融合架构是一个包含计算、网络、存储的整体架构解决方案，其存储 本身也是分布式存储。在超融合形态中，计算与存储是同一软件堆栈运行在 通用服务器中的，其架构如图4所示，大多数超融合产品在其节点上会部署控制器虚拟机CVM , CVM会承当存储服务功能，而普通的虚拟机需与 CVM通信才可访问数据存储。虐蚁机虚拟机,留务喜虚拟化层,留务喜虚拟化层,服务25虚拟

18、化层,一爆务器虚Q化层CVM scsifiSIHCVM scsifiSIHCVMSCSI 拉制器-toogj loom Loox- -100三0皂I00H1loot- LOQZ- Is制君超融合超融合图4.分布式存储-超融合架构示意图超融合倾向于计算层和存储层可以很好耦合的设计理念，除了分布式 存储的优点外，其优势还包括：降低运维复杂度：通过架构设计、部署、日常运维管理的简化，单 一厂商可提供所有软硬件的支持。而分布式存储的独立部署架构的优势在于资源自由调配、计算与存储 层可独立部署扩展。这样来看，超融合的劣势如下：新的资源孤岛：无法与外部做资源共享，会带来资源利用率和统一 管理问题；性能问题

19、： 计算与和存储会争抢服务器硬件资源和网络带宽，性能 问题会更明显；横向扩展性缺乏：性能风险也间接带来了无法大规模部署的问题;系统内部复杂性：系统架构的简化带来了更高的内部复杂性。2.3分布式底层存储技术相比于集中式存储，分布式存储的复杂性更高，但更适应大规模的云部 署场景，有必要深入了解其底层原理。分布式存储存在着独立部署和超融合 的硬件架构差异，而从逻辑层面来看，不管是独立部署还是超融合架构，又 主要分为分布式文件系统（DFS ）和分布式键值（k-v ）存储这两种存 储技术。1分布式文件系统云存储技术的复杂性还在于存储虚拟化技术，它屏蔽了数据10与底 层数据存储的映射与实现细节。如图5所示

20、，分布式文件系统（DFS ） 是一种虚拟文件系统，本身有着文件目录结构特征。而DFS对外提供的存 储单元那么是由文件组成，这些文件又会被逻辑分片，再按照多数据副本分布 算法分布到不同数据节点上。| vDisk | | vDisk | | vDisk | vDisk |XDFSXDFSchunk g-unF |chunk 一-chunk 一 raunk 一 一chunk 一 -chunk 一I逻辑数据分片 k但凰僮m HUM数据节点数据节点数据节点元数据管理图5.基于DFS的云存储底层原理示意图基于DFS的云存储逻辑清晰，也有着比拟广的应用范围，比方GFS、 HDFS等典型应用，包括一些超融合底

21、层存储也是基于DFS来实现的，但 也存在着明显缺陷：扩展性受限：基于目录结构的文件系统，会成为DFS大规模扩展的瓶颈；性能方面：文件目录信息可以通过缓存到内存中来提高定位数据的速度，但是当文件数量到达一定量级时，硬件无法满足时，性能会急 剧下降。分布式键值存储分布式文件系统的文件目录管理遵循着map-reduce的设计思路，化 大为小，分而治之，再合并处理，其架构中需要元数据管理节点来协调，本 质上还是一种中心化；分布式键值（k-v ）存储是一种无中心化架构，解 决了主节点本身的瓶颈，其架构设计思路那么是均衡设计，所有节点的地位都 是对等的，通过数据布局算法均衡分布在不同节点上。一致性hash算法 和虚拟节点是一种通用做法，不同于简单散列hash将数据分布在一条直 线上，而是采用首尾相连，将整个哈希值空间组织成一个虚拟圆环。ceph是一种典型基于分布式键值的存储系统，其object数据分布采 用的是crush算法，是在一致性hash算法基础上，充分考虑多副本、故 障域隔离等约束设计而来，其实现原理如图6所示。数据写入数据写入数据写入。PoolPGPGPGPG图6,基于