云存储技术规范

1、云存储技术规范0810“ CHINA TELECOM云存储技术规范上海电信互联网部2010年7月1、总则1.1 编写目的为了更好的推进网盘项目招标和工程规范实施，特此编写此技术规范， 对系统的各个特性和性能要求提出具体要求，起到规范统一的作用。1.2 建设背景和目标随着互联网的急速发展和非结构化数据的爆炸性增长，公众对高效，快 速，分布式存储提出了更高的要求。中国电信云存储方案基于这个需求 被提出来。1.3 适用范围中国电信云存储项目1.4 起草单位中国电信股份有限公司上海分公司互联网部1.5 解释权中国电信股份有限公司上海分公司互联网部1.6 术语解释1.7 参考文献1.8 设计要求及使用条

2、件1.3.1 总体设计要求要求系统部署合理，提供完善的网络硬盘服务，提供完善的开发接口，提供 及时有效的售后服务。1.3.2 使用条件满足一般条件下的使用条件。2、技术要求及规范2.1平台架构按照解耦和，多模块的观点，要求系统各个模块结构清晰，功能相对独立, 便于维护和升级。架构图可以参考如下的模型（图3 1 ）:全国网盘平台逻辑结构图1加邮箱3卜HG ，吟川迨一3 盘芬台 网业平爱音乐足溟空间上他用筲砰 认证计在 统计日志离线F段共享好发空间管理应用管理比卜认证度II产品管理数据存垠楼口其他应用系统HTTP CSOAP REST）接口、NFS C1FETOSIX接口文件管理11应用管理| J

3、安全管理11配置管理| |调度卷份11内容索引云存储管理平台网就1 1云存储资源池访问检制接IJ据存取粽II（图 3 1 ）图详解： 存储业务作为磁盘空间，为中国电信内部自有业务提供存储支撑； 存储业务为公众用户（主要是中国电信客户）提供丰富的个人存储产品 和服务； 云存储系统必须提供丰富的业务接口，以支持开发丰富的上层应用。2.2组网结构按照分布式的组网需求，并充分使用中国电信CN2骨干网络，要求全国云 存储采取分点组网，快速连接。整个组网结构，请参考如下图（图3 2 ）:51广州机舟成箱矶格2.3功能性要求2.3.1基础存储服务2.3.2存储管理云存储管理平台提供基础的存储资源池，将多个物

4、理设备上的存储资源虚拟为统一的存储资源池，供上层使用设备管理：通过查询域内所有设备的磁盘、CPU内存、电源、风扇、网口等信息。让用户实时了解域内设备运行信息，运行状态，从而可以操控设备;同时及时了解运行有误的设备，有必要可以采取适当措施保证其正常运行资源管理：用户可以方便的了解云存储系统的各个节点的服务情况，包括-恸阳岫：京札历哥州用户&»IF |0E蕈阳明机等MDS勺主备、MDSOSN勺容量和Tt能（读IOPS 写IOPS 读流量、写流量）等信息，让用户实时了解域内资源信息，运行状态，从而可以操控这些资源；同 时及时了解资源的异常，有必要可以采取适当措施保证其正常运行。1.

5、1.3 策略管理云存储平台提供灵活的存储策略，包括文件的副本数量、异地存储、加密存储、 压缩存储、同步或异步存储。可以对用户不同目录设置不同的存储策略。1.1.4 多租户管理云存储平台要求能支持对多租户的管理，可以为每个租户设定存储空间、存储 带宽、存储策略、用户数。租户可以设置管理子租户和孙租户，形成目录树结 构。1.1.5 统计报表云存储管理平台提供统计报表接口， 能够完成用户存储容量、存储数据访问 量等数据的统计1.1.6 多线程支持云存储管理平台提供的接口支持多线程及断点续传上传下载文件。1.1.7 跨数据中心部署云存储管理平台要求支持跨数据中心的部署和管理，并支持跨数据中心的用户访问

6、调度、数据迁移、数据异地存储备份等功能。支持集中管理，云存储管理平台部署在全国中心机房， 存储节点可以部署在 全国各机房中，管理平台对分点机房的存储设备可以统一管理调度。1.1.8 数据写多份云存储平台要求能够针对不同应用或用户的可靠性和性能需求，灵活设置文件存储的副本数。在满足数据可靠性要求（要求支持同时坏任意两块磁盘数据 不丢失）和读写性能要求的前提下，尽量提高存储空间利用效率，降低存储成 本。1.1.9 分级安全服务传输安全云存储系统采用 HTTPS（ Secure Hypertext Transfer Protocol ）安全超文 本传输协议，是以安全为目标的HTTP!道，简单讲是HT

7、TP的安全版。Https:URL 表明它使用了 HTTP ! HTTPS#在不同于HTTP的默认端口及一个加密/身份验 证层（在HTTP与TCP之间）。这个系统提供了身份验证与加密通讯方法，目前 广泛用于万维网上安全敏感的通讯，例如交易支付方面。云存储提供的业务接 口及管理接口都基于Https ,从而保证数据的在传输层的安全。存储安全云存储系统在数据存储时，根据条带策略，将用户数据根据侧录进行分条， 根据条带策略决定每个分条的大小，数据分条的存储物理位置等。数据的所有 分条及布局信息是元数据的一部分内容，由元数据节点统一管理。即使任何一 个磁盘、一个云存储节点被盗或被入侵。都无法得知具体的数据

8、内容。入侵者 无法将零散的数据恢复成完整的数据内容。从而保证数据在存储过程中的安全。 保证数据在存储过程中不被窃取。支持用户指定的目录和文件加密存储。用户和权限控制云存储系统对每份数据都提供丰富的访问控制策略策略，对数据的所有操作 都会进行权限检查。访问控制策略包括：用户和权限。1.1.10 内容搜索支持按关键字搜索文件名和文件内容。1.1.11 离线下载关机后也可以雇佣服务器下载，支持 HTTP多线程下载。1.1.12 维护管理设备管理、系统监控、日志、节点管理、域管理、异地灾备、负载均衡等等基 础存储服务1.1.13 应用接入接口云存储管理平台提供基于 HTTP(SOAP/REST的应用接

9、入接口，包括对用户 所有资源的操作接口、用户容器、用户数据的操作、数据访问控制和权限的接 口。云存储管理平台提供资源分配、空间使用、空间回收等管理接口。1.1.14 资源统计接口云存储管理平台提供基于用户的存储资源使用情况相关接口，满足计费要求。 具体包括：用户使用空间的统计、用户上传下载的数据流量统计、用户上传下 载的次数统计等。2.4 扩展性要求考虑到后期扩容的需求，对系统扩展性的要求十分重要。主要体现在以下几 个方面：(1)可以实时对容量进行扩充和升级；(2)支持磁盘的热插拔，新增的资源可以立即被平台辨识， 管理和分配；(3)最低要求可以同时更换两块坏磁盘，更换上的新磁盘自 动进行数据填

10、充修复，以保持数据完整性、一致性；(4 )新增磁盘空间要对磁盘的总体负载要起到良好的均衡作 用；(5)支持新增空间的主动和被动的数据备份作用。2.5 容量要求为了提供优秀的读取速度，稳定的数据存储性能，对云存储系统的整体容量 和最小容量提出要求，具体如下：(1 )整体支持P B级的存储能力，具有快速部署一个P B的 能力；(2 ) 最小磁盘支持 仃B(7200rmp);(3)整个云存储平台最大存储能力要求达到 30PB以上；2.6 性能要求(1)云存储平台的吞吐能力要求能够随着存储能力的增长而 线性增长；(2)要求能够通过调整云存储平台的硬件配置，灵活调整吞 吐能力与存储能力的比率，以适应业务

11、变化对平台能力的要求；(3)要求支持客户端多线程并发上传下载文件，提供访问速 度；(4)要求支持大文件分片存储在多个存储节点，各存储节点 能够完成对各分片的并发读写能力，提高大文件的访问速度；2.7 可靠性要求云存储一旦投入运作，是全年不断电无休系统，需要确保高度的可靠性。具 体要求以下几点：(1)全年不下电，不停机，不闪断;(2)出现故障及时进行告警(声音、灯闪)，告警分等级，界面可见，具有详细说明和修复手段提示；(3)要求有raid保护机制，在用户数据写单份的情况下，要 求数据访问的可靠性达到99.999%,即对单个存储节点要求：可访问时长/全年时长=99.999 %(4)要求用户数据可靠

12、性可灵活配置，支持设置用户数据的副本数、是否异地存放，向用户提供不同级别的可靠性保护；(5)要求任意两块磁盘或单个存储节点损坏，不会导致用户 数据丢失；(6)要求任意磁盘或存储节点故障，不影响云存储平台其他 设备的正常使用和用户访问。2.8 安全性要求2.3.1硬件安全性硬件安全性是指硬件在安装、调试、维护、更新等环节，对人员和环境是安 全的，具体体现在以下几点：(1) 产品电位接地，防止触电事故；(2) 尺寸、规格、形状合理，以免倾斜倒伏，碰撞；(3) 产品材质耐温，散热；(4) 明确警示触电、有毒害、或其它危险发生的可能；2.3.2系统安全性系统安全性主要体现在：(1)强有力的加密手段和管

13、理策略，确保管理员账户的安全性；(2)采取设置防火墙等手段，防止来自公网的破坏；(3 )对于大规模访问量，异常访问等情况进行监控；(4)强大的系统管理能力，提供简洁，高效，互动良好的GUI界面进行系统配置，这些配置项应该包括(但不局限于)以下一些属 性：管理，监视，控制硬件资源；管理网络资源(IP分配和服务)；管理每个结点(node)上运行的软件；配置每个结点服务均衡；控制整体行为；设置异常或故障的告警；释放结点或系统的资源。2.3.3数据安全性数据安全性，指用户存放的数据不可被非法访问、 复制、修改等，具体如下：(1) 提供加密接口，对用户数据进行加密；(2) 基于角色的数据保护策略：角 色

14、级 别职责备注安 1 系统初始安装，创系统新建时默认全 建账户，分配/删除 的管理员，对“系管系统管理员账户统管理员”进行理授权员系 2 管理整个云存储系对“租户管理员”统统：网段，存储群进行授权管和节点；更换坏盘理和硬件；员租 3 在给定的空间内进对“子租户管理户行策略配置，User员”进行授权管ID分配等工作；理员子 4 在给定的空间内创无租 建用户，重构策略；户管理员(3) 策略化数据管理，管理员通过可视化界面，进行策略配置，从而实现诸如：创建不同的策略等级(金牌，银牌，铜牌)；配置不同的用户对应不同的服务等级，或者同一用户的 不同数据对象拥有不同的服务等级；同步副本和异步副本数目策略配

15、置， 副本压缩，选择存储地的权 限(4 )采取冗余手段和版本管理，实现数据恢复和灾难备份：副本种类定义属性备注同步副本数据对象 的一个完 全拷贝每个数据对象都有至少一个同步副本同步副本数量，副本间跑离，网 络连接情况等都影响响应速度异步副本基于某种 策略的数 据备份“尽最大努力”进行数据恢复系统自动进行异步副本的更新， 以保持数据f2.9 磁盘利用率磁盘利用率指磁盘在提供数据冗余备份功能的前提下，能提供的实际裸存储 空间占总空间的比例，该指标反应系统的有效利用率，对投入产出比具有重 要的参考意义。参考目前主流的技术指标，要求云存储提供方65%勺磁盘利用率。A:可以被系B B:系统自行耗用的空间(数要求：A/(A+B) > 65%要求支持重复数据删除技术，通过删除重复数据，进一步提高存储空间利用 效率。2.10 维护与升级保障随着未来硬件技术和服务质量的提升，考虑到产品有较长的生命周期， 故在此单独提出对维护和升级保障方面的要求：(1) 单个磁盘损坏或故障时需使用新磁盘替换，系统需在4小时之内恢复数据到新替换的磁盘；(2 )单个存储节点损坏或故障，需在 24小时内解决并恢复用户访问(3)当存储空间使用率达到一定额度时，需对存储扩容，存储扩容工作从提出到完成上线，需在2个月之内完成。(4) 工程实施的质量、安全，效率有保障；(5 ) 主动发现运行中出现的隐