对象存储技术

1、信息喜储理讼£較术对象存储技术1W克存储及宓用实验室信息喜福理讼鸟蛊术网络存储需要解决的主要问题随着网络技术的发展，网络化存储逐渐成为主流E：技术。其需要解决的主要问题如下：-提供高性能存储，在I /0级和数据吞吐率方面能满足成 百上千台集群服务器访问请求；-提供安全的共享数据访问，便于集群应用程序的编写 和存储的负载均衡；-提供强大的容错能力，确保存储系统的高可用性。主流网络存储结构的问题存储区域网(SAN):-咼性能 -容错性-安全共享?附网存储(NAS)-扩展性-共享-性能？1W克存储及宓用实验室信息喜储理讼£較术对象存储结构对象存储(Object-Based Sto

2、rage, OBS)综合了NAS和SAN的优点，同时具有SAN的高速直接访问 和NAS的数据共享等优势，提供了具有高性能、高 可靠性、跨平台以及安全的数据共享的存储体系 结构。信克存储及宓用实验室信息喜储理讼£較术对象存储结构lock-Based DiskObject-Based Disk1W克存储及宓用实验室信息喜储理讼£較术对象存储结构1W克存储及宓用实验室信息喜储理讼£較术对象存储结构235678g1011121314161718191W克存储及宓用实验室信息喜储理讼£較术对象存储结构1W克存储及宓用实验室信息喜储理讼£較术对象存储结构传

3、统块存储与对象存储1W克存储及宓用实验室信息喜储理讼£較术对象存储结构1W克存储及宓用实验室信息喜储理讼£較术对象存储结构Objects / OIDsVirtual View AVirtual View BVirtualTraditionalHierarchical1W克存储及宓用实验室信息喜储理讼£較术对象存储结构1W克存储及宓用实验室信息喜储理讼£較术对象存储结构传统的访问层次和虚拟数据访问模型1W克存储及宓用实验室信息喜福理讼鸟蛊术对象存储系统组成对象(Object)-包含了文件数据以及相关的属性信息，可以进行自我 管理 OSD (Object-b

4、ased Storage Device)-个智能设备，是Object的集合文件系统-文件系统运行在客户端上，将应用程序的文件系统请 求传输到MDS和OSD上元数据服务器(Metadata Server, MDS)-系统提供元数据、Cache一致性等服务网络连接信息赤福理唸占牧本K 对象(Object)对象存储的基本单元。每个Object是数据和数据 属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统 的存储中，块设备要记录每个存储数据块在设备 上的位置。Object维护自己的属性，从而简化了 存储系统的管理任务，增加了灵活性。Object的 大小可以不同，可以

5、包含整个数据结构，如文件、 数据库表项等。1W克存储及宓用实验室信息喜储理讼£較术对象分类Object TypesRoot Object (OSD)Partition ObjectUser ObjectCollection Object克存储及宓用实验室信息喜福理讼鸟蛊术2、OSD (Objecbbased Storage Device)每个OSD都是一个智能设备，具有自己的存储介 质、处理器、内存以及网络系统等，负责管理本 地的0bject,是对象存储系统的核心。OSD同块 设备的不同不在于存储介质，而在于两者提供的 访问接口。信息喜储理讼鸟較*OSD的主要功能数据存储和安全访问O

6、SD使用Object对所保存的数据进行管理。它将数据存放到磁盘的磁道和扇区，将若干磁道和扇区组合起来 初成Object,并且通过此Object向外界提供对数据的 访问。每个Object同传统的文件相似，使用同文件类 似的访问接口，包括Open、Read Write等。但是两者 并不相同，每个Object可能包括若干个文件，也可能 是某个文件的一部分，且是独立于操作系统的。除了具体的用户数据外，OSD还记录了每个Object的属性信 息，主要是物理视图信息。将这些信息放到OSD上，大 大减轻了元数据服务器的负担，增强了整个存储系统 的并行访问性能和可扩展性。1W克存储及宓用实验室信离衣褴據如匕衣

7、丈传统模型OSD模型竜存储及科实验室信息赤福理唸层就卡3、文件系统文件系统对用户的文件操作进行解释，并在元数据服务器和OSD间通信，完成所请求的操作。LT现有的应用对数据的访问大部分都是通过POSIX文 件方式进行的，对象存储系统提供给用户的也是标准 的POSIX文件访问接口。接口具有和通用文件系统相同的访问方式，同时为 了提高性能，也具有对数据的Cache功能和文件的条带 功能。同时，文件系统必须维护不同客户端上Cache的一 致性，保证文件系统的数据一致文件系统读访问实例1）客户端应用发出读请求；2）文件系统向元数据服务器发送请求，获取要读取 的数据所在的OSD;3)然后直接向每个OSD发

8、送数据读取请求;1W克存储及宓用实验室4） OSD得到请求以后，判断要读取的Object,并 根据此Object要求的认证方式，对客户端进行 认证，如果此客户端得到授权，则将Object的数据返回给客户端;5)文件系统收到OSD返回的数据以后，读操作完成。4元数据服务器(Metadata Server)为客户端提供元数据，主要是文件的逻辑视 图，包括文件与目录的组织关系、每个文 件所对应的OSD等。信息喜福理讼鸟蛊术-4元藪据服务器(Metadata Server)在传统的文件系统中，元数据由本机或者文件服 务器负责维护，每次对数据块的操作都要获取元 数据。在对象存储系统中，由于每次操作只有一

9、次对元 数据的访问，具体的数据传输都由OSD和客户端 通过直接连接进行，大大减少了元数据的操作, 降低了元数据服务器的负担，从而为系统的扩展 提供了可能性。1W克存储及宓用实验室4元藪据服务器(Metadata Server)特点-客户端采用Cache来缓存数据当多个客户端同时访问某些数据时，MDS提供分布的 锁机制来确保Cache的一致柱。-为客户端提供认证为了增强系统的安全性，MDS为客户端提供认证方 式。OSD将依据MDS的认证来决定是否为客户端提 供服务。信息喜储理讼£較术5.网络连接络连接是对象存储系统的重要组成部分。它将客户端、MDS和OSD连接起来, 构成了一个完整的系

10、统。1W克存储及宓用实验室信息喜储理讼鸟蛊术对象存储与传统存储的对比存储接口存储系统优点缺点块块存储设备如:SAN ,提供高 性能的随机I/O和数 据吞吐率可扩展性和可管理性较 差、价格较高、不能满 足成千上万CPU规模的 系统文件块存储设备 +文件系统如:NAS,扩展性好、 易于管理、价格便宜开销高、带宽低.延迟 尢不利于高性能集群中 应用对象块存储设备 +文件系统 +定位逻辑 +应用程序支持高并行性.可伸 缩的数据访问，管理 性好、安全性高、适 合高性能集群使用处于发展阶段，相应的硬 件、软件支持有待进一 步完善块级存储文件储存对象存储I寿迅仔两艾 宓用实验室对象存储的特性（总结）性能优势

11、存储设备的智能化数据的共享更容易管理更方便更好的安全性信息喜福理讼鸟蛊术对条存储系统实例：Lustre A shared file system for HPC clusters- Open Source software (GPL)一 linux cluster Very high metadata and I/O performance一 5,000 file creations/sec in 1 dir, 1,000 nodes一 Single clients up to 290MB/sec,-Aggregate up to 11 GB/sec Scalable to 1,000'

12、;s of nodesIn production now on such clustersiw克存储及宓用实验室信息喜福理讼鸟蛊术Lustre Retrospective 1999 Initial ideas CMU Seagate: management aspects, prototypes一 Much survives today 2000 National Labs一 Can Lustre be next generation FS? 100 GB/sec, trillion files, 10,0005s clients, secure, PBs 2002 - 2003一 Many

13、partners: Dell, HP, Cray, LNXI, DDN others一 Production use, 1.0 releasedft克存储及宓用实验室信息喜福理讼鸟蛊术A Lustre ClusterSecurity and及宓用实验室信息喜福理讼鸟蛊术Lustre SystemsClients一 1000's now, 10,000's future一 Obtain access to Lustre file system一 Typical role: Linux compute serverOSS一 100's now, 1000's fut

14、ure一 Object storage servers一 Linux servers handling (stripes of) file dataMDS一 10ls, 1005s nodes一 Metadata request transaction engine.一 Linux server handling metadata requests1W克存储及宓用实验室信息喜福理讼鸟蛊术二Key Design Issue: ScalabilityI/O throughput一 How to avoid bottlenecksMetadata scalability一 How can 10,00

15、05s of dients work on files in same folderCluster Recovery一 If sth fails, how can transparent recovery happenManagement-Adding, removing, replacing, systems; data migration & backupft克存储及宓用实验室QSW ElanOST1 <failoverMBS 1MDS2(active'；standby；Lustre Clients(1.0DD Lustre Lite； *Up to 10:000*sMyrinetIEGigEMultiple storage networkssuppose0S3OS*5OS*6Enterprise classRaid storageCommodit