对象存储技术和方法Object-BasedStorage

1、对象存储技术和方法Object-Based StorageHistory of Object StorageThe Data Access TaxonomyThe Block ParadigmDAS, SANThe Block ParadigmThe Data Access TaxonomyThe File ParadigmLocal FS, Distributed FS: (NFS, CIFS, WAFS) Shared FS: (Cluster FS, SAN FS) Global, Distributed & Parallel FSNASLocal File SystemsOne mor

2、e levelof indirectionDistributed File Systemse.g. NAS with NFS,CIFS ProtocolNAS Aggregation/Virtualization Global NamespaceNAS Aggregation/Virtualization Global NamespaceNAS ClusterTightly Coupled NASNAS ClusterLoosely Coupled NAS: Global Namespace with NFSv4.1 and pNFSThe Data Access TaxonomyThe Ob

3、ject ParadigmOSDCASOSS The Old Block Paradigm The New Object Paradigm Block ParadigmThe New Object Paradigm WRITE 26,763 BytesQoS= HighDescription = “X-Ray”Retention = 50 yearsAccess Key = *&%#Data Payload.Object Storage Responsibilities: Space Management Access Control (Identity Mgmt) QoS Managemen

4、t Cache, Backup Policy Migration, Retention Self-Contained ObjectsMetadata: creation date/time; ownership, size.Attributes inferred: access patterns, content, indexes.Attributes user supplied: retention, QoSBlock Access - Inodes The inode contains a few block numbers to ensure efficient access to sm

5、all files. Access to larger files is provided via indirect blocks that contain block numbersBlock Access - InodesInodes vs. Objects ANSI T10 OSD SCSI Targets SCSI Standards Architecture Object AutonomyStorage becomes autonomous:capacity planningload balancingbackupQoS, SLAsunderstand data/object gro

6、upingaggressive pre-fetchingthin provisioningsearchcompression/de-duplication/encryptionstrong securitycompliance/retention/secure deleteavailability/replicationaudit . . .Data SharingHomogeneous/HeterogeneousData SharingHomogeneous/HeterogeneousData Migration - ILMHomogeneous/HeterogeneousAdditiona

7、l Layer of Security strong security via external service authentication authorization NIS, LDAP.fine granularity per object Living in a Flat NamespaceVirtual View / Virtual File SystemsThe First Generation of Object StorageObject Decomposition对象存储系统结构对象存储系统组成对象(Object)包含了文件数据以及相关的属性信息，可以进行自我管理 OSD（O

8、bject-based Storage Device)一个智能设备，是Object的集合 文件系统文件系统运行在客户端上，将应用程序的文件系统请求传输到MDS和OSD上 元数据服务器(Metadata Server，MDS)系统提供元数据、Cache一致性等服务 网络连接1. 对象(Object) 对象存储的基本单元。每个Object是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储中，块设备要记录每个存储数据块在设备上的位置。Object维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。Object的大小可以不同，可以包含整个数据

9、结构，如文件、数据库表项等。 对象分类2、OSD（Object-based Storage Device) 每个OSD都是一个智能设备，具有自己的存储介质、处理器、内存以及网络系统等，负责管理本地的Object，是对象存储系统的核心。OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。 OSD的主要功能数据存储和安全访问 对象放置管理：OSD使用Object对所保存的数据进行管理。它将数据存放到磁盘的磁道和扇区，将若干磁道和扇区组合起来构成Object，并且通过此Object向外界提供对数据的访问。对象操作：每个Object同传统的文件相似，使用同文件类似的访问接口，包括Open、R

10、ead、Write等。但是两者并不相同，每个Object可能包括若干个文件，也可能是某个文件的一部分，且是独立于操作系统的。除了具体的用户数据外，OSD还记录了每个Object的属性信息，主要是物理视图信息。将这些信息放到OSD上，大大减轻了元数据服务器的负担，增强了整个存储系统的并行访问性能和可扩展性。 3、客户端文件系统 文件系统对用户的文件操作进行解释，并在元数据服务器和OSD间通信，完成所请求的操作。 现有的应用对数据的访问大部分都是通过POSIX文件方式进行的，对象存储系统提供给用户的也是标准的POSIX文件访问接口。 接口具有和通用文件系统相同的访问方式，同时为了提高性能，也具有对

11、数据的Cache功能和文件的条带功能。 同时，文件系统必须维护不同客户端上Cache的一致性，保证文件系统的数据一致 文件系统读访问实例：客户端应用发出读请求;文件系统向元数据服务器发送请求，获取要读取的数据所在的OSD;然后直接向每个OSD发送数据读取请求；OSD得到请求以后，判断要读取的Object，并根据此Object要求的认证方式，对客户端进行认证，如果此客户端得到授权，则将Object的数据返回给客户端；文件系统收到OSD返回的数据以后，读操作完成。4.元数据服务器 (Metadata Server) 为客户端提供元数据，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应

12、的OSD等。4.元数据服务器 (Metadata Server)在传统的文件系统中，元数据由本机或者文件服务器负责维护，每次对数据块的操作都要获取元数据。 在对象存储系统中，由于每次操作只有一次对元数据的访问，具体的数据传输都由OSD和客户端通过直接连接进行，大大减少了元数据的操作，降低了元数据服务器的负担，从而为系统的扩展提供了可能性。 4.元数据服务器 (Metadata Server)特点客户端采用Cache来缓存数据 当多个客户端同时访问某些数据时，MDS提供分布的锁机制来确保Cache的一致性。为客户端提供认证为了增强系统的安全性，MDS为客户端提供认证方式。OSD将依据MDS的认证

13、来决定是否为客户端提供服务。 5. 网络连接 网络连接是对象存储系统的重要组成部分。它将客户端、MDS和OSD连接起来，构成了一个完整的系统。对象存储与传统存储的对比存储接口存储系统优点缺点块级存储块块存储设备如: SAN , 提供高性能的随机I/O和数据吞吐率可扩展性和可管理性较差、价格较高、不能满足成千上万CPU 规模的系统文件储存文件块存储设备文件系统如:NAS, 扩展性好、易于管理、价格便宜开销高、带宽低、延迟大,不利于高性能集群中应用对象存储对象块存储设备文件系统定位逻辑应用程序支持高并行性、可伸缩的数据访问, 管理性好、安全性高、适合高性能集群使用处于发展阶段,相应的硬件、软件支持

14、有待进一步完善对象存储的特性（总结）性能优势 存储设备的智能化 数据的共享更容易管理更方便 更好的安全性 对象存储系统实例：LustreA shared file system for HPC clusters Open Source software (GPL) linux clusterVery high metadata and I/O performance5,000 file creations/sec in 1 dir, 1,000 nodesSingle clients up to 290MB/sec.Aggregate up to 11GB/secScalable to 1,0

15、00s of nodesIn production now on such clustersLustre Retrospective1999 Initial ideas CMUSeagate: management aspects, prototypesMuch survives today2000 National LabsCan Lustre be next generation FS?100 GB/sec, trillion files, 10,000s clients, secure, PBs2002 2003Many partners: Dell, HP, Cray, LNXI, D

16、DN othersProduction use, 1.0 releasedA Lustre ClusterLustre SystemsClients1000s now, 10,000s futureObtain access to Lustre file systemTypical role: Linux compute serverOSS100s now, 1000s futureObject storage serversLinux servers handling (stripes of) file dataMDS10s, 100s nodesMetadata request trans

17、action engine.Linux server handling metadata requestsKey Design Issue : ScalabilityI/O throughputHow to avoid bottlenecksMetadata scalabilityHow can 10,000s of clients work on files in same folderCluster RecoveryIf sth fails, how can transparent recovery happenManagementAdding, removing, replacing,

18、systems; data migration & backupReferenceLustre: A SAN File System for LinuxSeveral presentation materials from Dr. Peter J. BraamThe Current Generation of Object StorageCloud Storage, Storage Clouds, Object StorageCloud Storage is the storage used for Compute Cloud infrastructuresCompute Clouds are

19、 very IOPS intensive and usually block storage is used in these applicationsStorage Clouds are “storage in the cloud”, whether public or privateStorage Clouds are simply storage capacity that is made available through the Internet Most of todays storage clouds use object storage technologiesScale ou

20、t object storage with simple REST API REST APIsREST stands for Representational State TransferIt is a software architecture that is used for distributed application environmentsREST APIs have become the predominant interface for cloud applications to connect to the cloudFor storage-centric cloud app

21、lications, a REST API is the interface between the application and the object storage platformPUT GET DELETECurrent Object Storage SummaryData is stored as objects in one large, scalable pool of storageObjects are stored with metadata information about the objectAn Object ID is stored, to locate the

22、 dataREST is the standard interface, simple commands used by applicationsObjects are immutable; edits are saved as a new objectWhy Object Storage?Massive Data GrowthAlways Onlinedata needs to be available anywhere at anytimePower to the ApplicationsApp. to storage with REST API directly, without add

23、itional (file system) layersThe Big Data ExplosionThe Evolution of Data ProcessingMigration of Storage ApplicationThe Evolution of StorageThe Vertical ConsolidationStorage and serverMigration of data processing applicationsNo I/O is best I/O主动对象存储传统存储系统被动响应服务请求对象具有智能性智能的系统能够提供主动服务存储组织结构对比应用系统接口主机适配器

24、驱动文件系统用户部件扇区接口块I/O管理器应用系统接口文件系统存储部件文件系统用户部件传统模式 主动对象模式块I/O管理器OSD接口文件系统用户部件适配器驱动文件系统存储部件盘设备驱动总线设备驱动总线驱动硬盘驱动文件系统存储部件 主机存储系统只含数据主机组织和管理被动响应含“数据、属性”和“操作”自组织和自管理主动服务性能高管理简单效率低管理复杂主动对象存储服务机制负载模型/预测模型根据历史负载预测未来趋势存储主动服务机制存储节点主动对象中的概念方法对象：一段可执行代码，用于对用户对象进行操作过滤型方法服务型方法策略对象：决定方法的执行有两种方式请求触发策略触发主动对象特点自我学习和策略触发机制，实现存储主动服务自我组织与管理，自我优化调节，使系统整体性能最佳利用对象“封闭”特性，使系统具有安全性提高系统可靠性，在故障出现时实现快速恢复IP硬盘硬