七牛云存储详解ppt课件

1、七牛云存储详解许式伟2019年5月1日大纲 需求 七牛云存储的功能特性 存储、加速、数据处置 功能与实现原理 存储与加速 数据处置 总结七牛云存储 为挪动时代开发者打造的数据平台 存储 海量、可靠、廉价 加速 上传、下载速度快 可分块并行上传 可断点续上传、下载 数据处置 图片缩略图/裁剪/水印/. 音视频转码 流媒体 可快速定制新的数据处置模块框架表示图开发者的任务自动选择最近节点上传下载客户的业务效力器可以变得非常轻量。智能DNS和路由优化，协助他屏蔽国内网络环境的复杂性数据处置增值效力多副本、分布式、多IDC互备的平安存储视频转码图片处置加速节点加速节点加速节点加速节点挪动运用业务效力器

2、客户端SDK效力器端SDK123存储 目的 海量、可靠、廉价 如何用廉价的机器、很低的冗余度，组装出可靠的系统集群可靠性 存储集群的可靠性取决于 硬盘寿命 比较难调整，且与本钱挂钩 容错度 集群可以容忍同时损坏多少块硬盘 通常与冗余度有关，与本钱比较相关 单位修复时间 指单块硬盘损坏的修复时间 实现上可产生宏大差别 存储集群可靠性的关键目的修复时间 参考值：单盘对拷时间 局域网带宽 磁盘带宽 磁盘大小 修复时间 = 磁盘大小/min(局域网带宽, 磁盘带宽) 如何突破单盘带宽瓶颈？ 让更多磁盘参与其中：将丧失的数据，均匀地分配到集群其他磁盘上 留意：为了高可用，同一文件的数据不应该同时出如今一

3、台机器的不同硬盘上 实际上限 修复时间 = 磁盘大小/min(局域网带宽, 磁盘带宽)/(N-1) N = 集群的磁盘数目容错度/冗余度 三副本 冗余度：3 容错度：允许3块硬盘同时损坏2块 可靠性：在单位修复时间内，同时损坏3块盘，那么发生数据丧失 跨机器做RAID6 冗余度：(N+2)/N 容错度：允许N+2块硬盘同时损坏2块 (N越大风险越大) 可靠性：在单位修复时间内，同时损坏3块盘，那么发生数据丧失 典型配置：N=4，冗余度=1.5 跨机器做EC 冗余度：(N+M)/N 容错度：允许N+M块硬盘同时损坏M块 (M越大风险越低) 可靠性：在单位修复时间内，同时损坏M+1块盘，那么发生数

4、据丧失跨 IDC 的数据冗余 目的 高可靠 单IDC出现自然灾祸比如地震时不丧失数据 高可用 单IDC网络出现缺点时，整个集群依然正常任务加速 下载加速 利用成熟的CDN网络 多CDN智能管理 上传加速 跨IDC的分布式存储构造下载加速 考量 CDN这样的下载加速网络曾经开展了10年多，非常成熟 七牛不希望在这一块上反复投入 七牛希望成为业界最专业的多CDN管理者 假设某个区域某家 CDN 比较快，将流量分配给它 在一个 CDN 出问题的时候，迅速将流量切到另一家 CDN .下载速度对比与国内某知名云的对比上传加速 上传加速是个新课题，随着UGC内容添加而兴起 上传加速需求结合存储一同思索 区

5、别于下载加速，他不能以为上传节点是加速节点，它需求是存储节点，Why？ 上传加速节点有数据可靠性的要求，不能丢数据 上传加速节点的数据，需求被立刻访问 不能有一个中间形状，他告知用户上传胜利了，但是用户经过其他 IDC 下载不到这个数据存储与加速一体化 目的 跨 IDC 的分布式存储 传统分布式存储通常是单IDC集中式的 用户可选择恣意的 IDC 就近上传 可大大提升上传速度 可分块并行上传 对传视频等大文件特别有效 可断点续上传 对2G/3G等挪动网络特别有效上传速度对比与国内某知名云的对比数据处置 目的 快速、高伸缩性 功能易扩展 需求非常容易添加新的数据处置模块 可预转 上传即转换，加快

6、用户第一次访问时的速度有点笼统？来点真的 微软的网站 i.microsoft/global/ImageStore/PublishingImages/Asset/Features/WindowsUpgrade_0702_800 x470_EN-US.jpg 七牛镜像 micro.qiniudn/global/ImageStore/PublishingImages/Asset/Features/WindowsUpgrade_0702_800 x470_EN-US.jpg可以做更多缩略图micro.qiniudn/global/ImageStore/PublishingImages/Asset/Fe

7、atures/WindowsUpgrade_0702_800 x470_EN-US.jpg?imageView/1/w/128micro.qiniudn/global/ImageStore/PublishingImages/Asset/Features/WindowsUpgrade_0702_800 x470_EN-US.jpg?imageView/2/h/256打水印micro.qiniudn/global/ImageStore/PublishingImages/Asset/Features/WindowsUpgrade_0702_800 x470_EN-US.jpg?imageView/2

8、/h/256|watermark/1/image/aHR0cDovL3d3dy5xaW5pdXRlay5jb20vaW1hZ2VzL2xvZ28tMi5wbmc=/dissolve/90/gravity/NorthEast/dx/20/dy/20旋转micro.qiniudn/global/ImageStore/PublishingImages/Asset/Features/WindowsUpgrade_0702_800 x470_EN-US.jpg?imageMogr/rotate/45裁剪micro.qiniudn/global/ImageStore/PublishingImages/As

9、set/Features/WindowsUpgrade_0702_800 x470_EN-US.jpg?imageMogr/crop/!150 x150a430a32数据处置款式 样例 micro.qiniudn/global/ImageStore/PublishingImages/Asset/Features/WindowsUpgrade_0702_800 x470_EN-US.jpg-large micro.qiniudn/global/ImageStore/PublishingImages/Asset/Features/WindowsUpgrade_0702_800 x470_EN-US.