云创存储-任军远_cStor超低功耗云存储系统

1、 任军远任军远cStorcStor超低功耗超低功耗云存储系统云存储系统Google文件系统(GFS)Google48%MSN19%Yahoo33%客户端客户端客户端互为备份管理节点GFS主节点GFS主节点C0C1C2C5数据结点1C0C2C5数据结点NC1C5数据结点2客户端客户端客户端客户端客户端客户端C1 Google需要一个支持海量存储的文件系统需要一个支持海量存储的文件系统 购置昂贵的分布式文件系统与硬件？Google设计GFS的动机是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统？ 硬件出错是正常而非异常硬件出错是正常而非异常 系统应当由大量廉价、易损的硬件组成 必须保持文

2、件系统整体的可靠性 主要负载是流数据读写主要负载是流数据读写 主要用于程序处理批量数据，而非与用户的交互或随机读写 数据写主要是“追加写”，“插入写”非常少 需要存储大尺寸的文件需要存储大尺寸的文件 存储的文件尺寸可能是GB或TB量级，而且应当能支持存储成千上万的大尺寸文件GFS的假设与目标 将文件划分为若干块（将文件划分为若干块（Chunk）存储）存储 每个块固定大小（64M） 通过冗余来提高可靠性通过冗余来提高可靠性 每个数据块至少在3个数据块服务器上冗余 数据块损坏概率？ 通过单个通过单个master来协调数据访问、元数据存储来协调数据访问、元数据存储 结构简单，容易保持元数据一致性 无

3、缓存无缓存 Why?GFS的设计思路 单一Master, 若干ChunkServerGFS的架构1、文件存储方式2、数据读写流程 分布式系统设计告诉我们：分布式系统设计告诉我们： 这是单点故障 这是性能瓶颈 GFS的解决办法的解决办法 单点故障问题单一Master问题采用多个（如3个）影子Master节点进行热备，一旦主节点损坏，立刻选举一个新的主节点服务 GFS的解决办法 性能瓶颈问题单一Master问题尽可能减少数据存取中Master的参与程度不使用Master读取数据，仅用于保存元数据客户端缓存元数据采用大尺寸的数据块（64M）数据修改顺序交由Primary Chunk Server完成

4、Simple, and good enough! 存储元数据存储元数据 文件系统目录管理与加锁文件系统目录管理与加锁 与与ChunkServer进行周期性通信进行周期性通信 发送指令，搜集状态，跟踪数据块的完好性 数据块创建、复制及负载均衡数据块创建、复制及负载均衡 对ChunkServer的空间使用和访问速度进行负载均衡 对数据块进行复制、分散到ChunkServer上 一旦数据块冗余数小于最低数，就发起复制操作 平滑数据存储和访问请求的负载Master节点的任务 垃圾回收垃圾回收 在日志中记录删除操作，并将文件改名隐藏 缓慢地回收隐藏文件 与传统文件删除相比更简单、更安全 陈旧数据块删除陈

5、旧数据块删除 探测陈旧的数据块，并删除Master节点的任务 采用中心服务器模式采用中心服务器模式 可以方便地增加Chunk Server Master掌握系统内所有Chunk Server的情况，方便进行负载均衡 不存在元数据的一致性问题GFS架构的特点 不缓存数据不缓存数据 GFS的文件操作大部分是流式读写，不存在大量的重复读写，使用Cache对性能提高不大 Chunk Server上的数据存取使用本地文件系统，如果某个Chunk读取频繁，文件系统具有Cache 从可行性看，Cache与实际数据的一致性维护也极其复杂GFS架构的特点 在用户态下实现在用户态下实现 直接利用Chunk Ser

6、ver的文件系统存取Chunk，实现简单 用户态应用调试较为简单，利于开发 用户态的GFS不会影响Chunk Server的稳定性 提供专用的访问接口提供专用的访问接口 未提供标准的POSIX访问接口 降低GFS的实现复杂度GFS架构的特点 GFS的容错机制的容错机制 Chunk Server容错 每个Chunk有多个存储副本（通常是3个），分别存储于不通的服务器上 每个Chunk又划分为若干Block（64KB），每个Block对应一个32bit的校验码，保证数据正确（若某个Block错误，则转移至其他Chunk副本）GFS的容错方法 GFS的容错机制的容错机制 Master容错 三类元数据

7、：命名空间（目录结构）、Chunk与文件名的映射以及Chunk副本的位置信息 前两类通过日志提供容错，Chunk副本信息存储于Chunk Server，Master出现故障时可恢复GFS的容错方法 超过50个GFS集群 每个集群包含数千个存储节点 管理着PB(1015Byte)级的数据GFS在Google中的部署巨型、廉价、稳定的数据中心cStor云存储硬件架构云存储硬件架构cStor云存储软件架构云存储软件架构cStor云存储云存储硬件硬件 Master Server (管理服务器管理服务器 ) 管理整个文件系统，存储各文件的元数据信息，调度各数据存储服务器 Data Server (数据存

8、储服务器数据存储服务器 ) 存储文件数据，接受管理服务器的调度，为客户端提供数据传输 Client (客户端客户端) 从管理服务器上获取修改元数据信息，并向数据服务器读写数据cStor云存储软件架构云存储软件架构 支持支持master节点双机镜像节点双机镜像 控制流与数据流的分离控制流与数据流的分离 Cache机制机制 支持支持POSIX接口接口 支持加入节点动态扩展支持加入节点动态扩展 支持节点损失实时自适应容错支持节点损失实时自适应容错核心技术核心技术 使用主备双节点方式解决单节点故障问题使用主备双节点方式解决单节点故障问题 主备切换时间短，且无数据丢失主备切换时间短，且无数据丢失 数据访

9、问不间断，而且性能不受影响数据访问不间断，而且性能不受影响支持支持master节点双机镜像节点双机镜像 解决了解决了master节点的性能瓶颈问题节点的性能瓶颈问题控制流与数据流的分离控制流与数据流的分离 master节点在内存中保存节点在内存中保存metadata Chunkserver节点利用本身的文件系统提供的节点利用本身的文件系统提供的 cache Client 节点缓存节点缓存metadataCache机制机制 客户无需学习专门的客户无需学习专门的API接口接口 可应用在可应用在Linux和和Windows等各种平台下等各种平台下支持支持POSIX接口接口 可以任意加入节点（包括硬盘

10、）以扩展容量可以任意加入节点（包括硬盘）以扩展容量 采用负载均衡策略重新分布数据采用负载均衡策略重新分布数据支持加入节点动态扩展支持加入节点动态扩展 1:1 容错技术容错技术 1:2 容错技术容错技术 高顽存容错技术高顽存容错技术支持节点损失实时自适应容错支持节点损失实时自适应容错cStor云存储界面云存储界面cStor的性能的性能0100200300400500600从1个客户端写数据从2个客户端写数据从4个客户端写数据从8个客户端写数据从11个客户端写数据从15个客户端写数据使用1个存储节点使用2个存储节点使用4个存储节点使用8个存储节点使用11个存储节点使用15个存储节点cStor性能性

11、能 在某数据中心已经成功应用在某数据中心已经成功应用2年，期间未出现年，期间未出现系统故障，节点故障均自动屏蔽。系统故障，节点故障均自动屏蔽。 另外还用于数字地球、视频监控、视频点播另外还用于数字地球、视频监控、视频点播等领域。等领域。cStor云存储的应用云存储的应用基于基于cStor的云分发系统的云分发系统基于基于cStor的云处理系统的云处理系统HBaseMap-ReduceZooKeeperNameNodeDataNodesHMasterRegionServerHDFSHive/PigJobTrackerTaskTracker 自研的超低功耗云存储硬件节点，功耗仅自研的超低功耗云存储硬件节点，功耗仅约为约为10W（不含硬盘），支持（不含硬盘），支持16块硬盘，容量达到块硬盘，容量达到32TB以上。以上。 在在1个标准的个标准的42U机架上集成总容量高达机架上集成总容量高达1024TB。下一代下一代cStor云存储硬件说明云存储硬件说明超低功耗云存储节点超低功耗云存储节点EMC EMC AtmosAtmos云存储云存储名称名称单单机机架最架最大大容容量量是否是否支持支持POSIX接口接口能耗能耗易用易用性性应用适应用适用性用性是否支是否支持对文持对文件进行件进行修改修改是否可是否可以单独以单独出售云出