云存储工作负载

1、云存储的工作负载1.0介绍2.0工作联系3.0系统描述4.0工作量的特性5.0经济和提供6.0工作负载最优快速分配7.0有界写入的最优化8.0评估9.0结论摘要 Janus 是划flash存储层系统，工作负载在云规模上分配2层文件系统：flash存储和磁盘。文件系统用FIFO(file-in-file-out)或LRU(least-recently-used)在flash层上存储新的文件和把他们放到磁盘层里, Janus 建设不同工作负载flash缓冲能力的紧凑指标，根据大量的文件系统对使用样本分配痕迹得到的。1.0介绍 磁盘存储是很低的，效率也不快，磁盘容量的增加使任意输入或输出每个技嘉存储

2、在磁盘中降低。我们为了弥补每个技嘉存储，通过增加flash存储提供高I/O速率。 存储需要在大云存储环境，不同的使用者和工作负载导致 大云存储环境也不同，因此分配有用的flash容量单元在工作负载并不理想；相反的，我们寻找不同的竞争使用者和工作量优化flash供应。 Janus案例在我们的分配文件系统（colossus 巨大）中使用几个产品工作负载，我们从一些工作负载测量里提供了案例有效的评估，使用其它产品工作负载增加评估。我们工作量的特性显示最主要的I/O接口是在近期的创建文件。根据观察，文件安排在创建文件的快速层和移动磁盘层，使用FIFO和LUR退出方针。研究显示：案例由28%阅读操作的文

3、件是1%数据flash运行的。文件的三个主要贡献：1. 在大私有云里，存储使用格式的特征集中于近期所写的数据存储时间和I/O速率。2.flash分配文件组的最优化格式问题：卸载最大阅读速率来优先flash增加和最大快速写作速率。3.实验结果来自Colossus文件系统的实施。2.0工作关系 多层存储系统类型有：内存、固态硬盘、磁盘、磁带。包括：分级存储管理（HSM）、多层存储、多层文件系统、磁盘存储或flash存储、基于盘区企业数量管理。大多数包括自动方式，移动数据基于I/O活动水平，使用者或管理者定义管理设备或显示规则。然而，他们并没有集中分配云规模部署，增加供应政策问题和分布式管理工作量监

4、控兼容性。 TIP21使用暗示了未来I/O接口供应是通过应用程序员确定对数据提前获取，Janus不会依靠于明确的程序员的行为，暗示了API系统的使用。相反，我们从过去使用测量去预测不同使用者工作负载自动flash缓冲能力。Kroeger14在Linux核心水平提前获取内容去预测文件接口图案，使用过去接口序列；然而，它不是清楚怎么扩展分布是情况。 我们的方法于纳拉亚南（Narayanan） et la.18，分析几个企业工作量的痕迹去评估经济的替换flash存储磁盘可行性。我们集中大型云存储环境，发展算法是对于不同工作负载做出好的分配的选择，达到有意义地不同结果，关于使用flash有效和经济的方

5、式。3.0系统描述 在大型私有云数据中心的分布式文件系统里，Janus对工作负载提供快速存储分布案例（例如 Colossus）。下存储在明显的块存储是混合了磁盘和flash存储，文件可能放在flash层，之后放在使用FIFO或LUR方针的磁盘。我们一写的方式插入而不是读的方式插入于缓存里，因为它适合于我们系统。像GFS和Colossus的分布式文件系统特性是以读的方式而不是以写的方式插入一些指标，我们打算优化，特别是读的方式。因为数据接口直接发生顾客的块结点，不是每个块结点包含flash容量，读的方式插入不依赖写给顾客，另外读是为了填充数据于flash存储。另外，写返回快速存储认为瞬间操作，从

6、磁盘获得读数据，转给本地网络链接，最终写进快速媒体里。 当前离线优化解决者制作分布案例，周期性调试工作量行为的变化和有用flash存储。在每一个工作量组，一个关键输入给求解是紧凑数据存储时间表达式，随着时间数据读取速率，从浏览文件系统元数据和I/O行为样本痕迹获得。4.0工作量的特性 在数据中心，存储分享成千上万使用者与应用程序的关系。应用程序包括内容索引、广告服务、邮件、视频处理、小应用程序，小应用程序是由个人使用者拥有MapReduce职位，大的应用程序可能有许多部分职位。在数据中心，工作量特性和职位需求是关于使用者与职位的明显不同。 图1显示在数据中心：读的时间不同，位置也不同。所有读的

7、时间表达：位置是由一分钟到一年变化。4.1高缓冲能能 我们定义两个时间指标：FIFO时间和LRU时间，他们使用相同的退出方针。在创建文件时候，文件的FIFO时间有时间的限制；文件的LRU时间确定读者近期临时位置，在创建文件所需读取文件最长的时间。 FIFO时间分配直接表明：我们浏览文件系统元数据，它包括每一个文件创建时间，建立以字节方式存储到每组FIFO时间的直方图，在FIFO时间建立数据只读速率的直方图，我们要看到每一个只读接口，从痕迹查找到只读接口。在数据中心，只读速率是非常巨大的，无法在每个工作量考虑每个读取的数据。5.0经济和供应 在flash使用Janus时候，许多工作负载从早期数据

8、的输入所获得。我们现在考虑每个工作量的经济有效性，对一个工作量的读操作速率用 表示,写操作速率用 表示，容量大小用c表示高缓冲功能用f(),一个磁盘需要 表示，用磁盘和 flash 需 rraterraterratefdwrGxIxfrateretext)()(cosrratewrate),(diskGiBIOPS)i,(flashdiskdiskBGGiBIOPS),),(xxdxfrateratewr替换。6.0工作负载优化闪光分配 我们假设高缓冲功能是分段线性的和凹面的两种特性，以前提到的分段线性假设一直掌握线性插入有限点（符合直方图）。凹面假设等于只读速率，每一个工作量数据随着数据时间

9、的增长而降低。 任务： 找到每个工作量i分配快闪容量 最大总共优先重量的闪光只读速率 总共闪光容量的范围为 分段线性功能 是由 是凹面的， 表示最小分段功能： 替换 。7.0优化与有界编写速率 限制flash编写速率是很重要避免快速的用完，减少flash编写对读有潜在的影响。在限制flash编写速率时，我们描述怎么分配flash为了最大flash读出。我们也显示怎么放松对高缓冲功能凹性假设，一个工作量高缓冲功能可能不是凹性的， 在它建立之后，读速率在某段时间保持增长。 图五：非凹性高缓冲能力和部分编写的概率：一个工作量的数据块和只读速率在不同时间范围显示稳定状态、工作量在0到10时间数据块和只

10、读速率为30，第二个数据块10到20时间和只读速率为15，第三个数据块20到30时间和只读速率为45。存储比快速20时间更早的所有数据的点击速率为45。有界写的快速分配问题？ 例如： 建立工作负载，每个工作负载i给予总数据为 一个联系线性高速缓冲函数 写速率 。 有界总快速写速率W；有界总快速容量F。 工作： 每个工作量i，分配快速容量 和快速写概率 最大化的总快速读速率 ，总快速写速率的限制，总快速容量的限制。 我们移动写塑料厂界限 w 和改变目标函数，减去写速率和带写的乘法因子 此函数最理想解决松弛问题，总体写速率等于界限 ， 理想解决最初的问题。 其中 表示工作量贡献 i 和分配flas

11、h大小 x 的目标； 为写概率不依赖于其它变量； 函数是连续的和分段线性的8.0评估 在这一章节，我们评估前几章节方框图描述有效性，谷歌数据中心存储工作负载的产品。8.1章节描述产品的环境，8.2章节介绍数据集和用于评估。8.1文件存放在Colossus Colossus分配多个熟练节点存储系统和许多快服务器存储文件数据。文件系统客服端通过一个熟悉节点创建新文件，在选择快服务器分配空间。8.2数据集和定义 我们从几个数据集评估Janus。一个巨大网格隔离巨系统例子，分离的网格主要位于不同的设备，每个网格拥有自己熟悉的空间、快服务器、文件，每个网格独自管理使用者。 三个数据集来自多个使用者的网格

12、，工作负载反应不同网格的使用者。 Dapper(短小精悍)：37天Dapper例子，网格超过10个的读写方式。第一个30天用于训练（计算高缓冲功能），最后7天用于评估。 Janus Deployment(部署)：限制产品工作负载部署的数据，4 个网格用于Janus建议。在这些部署，flash仅仅分配单个工作量。Dapper例子用了30天训练周期用于部署。 Multi-user Cell (多个使用者的网格)：一周读/写活动的痕迹，在单个网格只有1%文件样本。第六天用于训练，第七天用于评估。 近期的数据集来自网格，所有活动通过数据块定位。文件分成工作负载，采用了数据块定位编码。8.3Janus

13、部署 根据Colossus FIFO使用，我们从每个工作量的分配里计算TTLs退出。Janus从训练期间计算TTLs使用直方图的文件时间，然而，对文件分配时间可能改变训练和部署。例如，一个工作量可能高速率写新数据，或它可能显示峰谷变化，不能在超过30天里获得柱状图。 图7也显示了工作量快速只读速率的周期，一般情况，我们得到30k快速速率ops/sec,峰值超过40k快速速率ops/sec。从30天训练周期，我们预测快速只读速率为33k快速只读ops/sec。 表格2显示这个工作量在四个不同的网格部署。8.4比较选择分配的方法 表格3显示单个网格和多个网格快速点击率。在多个使用者的网格，在单个FIFO到优化FIFO时候，快速点击率从1