七牛云存储详解

1、七牛云存储详解许式伟2013年5月1日1大纲需求七牛云存储的功能特性存储、加速、数据处理功能与实现原理存储与加速数据处理总结2七牛云存储为移动时代开发者打造的数据平台存储海量、可靠、便宜加速上传、下载速度快可分块并行上传可断点续上传、下载数据处理图片缩略图/裁剪/水印/.音视频转码流媒体可快速定制新的数据处理模块3框架示意图开发者的工作 复杂难懂且质量低下的移动互联网自动选择最近节点上传下载客户的业务服务器可以变得非常轻量。智能DNS和路由优化，帮助你屏蔽国内网络环境的复杂性数据处理增值服务多副本、分布式、多IDC互备的安全存储视频转码图片处理加速节点加速节点加速节点加速节点移动应用业务服务器

2、客户端SDK服务器端SDK1234存储目标海量、可靠、便宜如何用便宜的机器、很低的冗余度，组装出可靠的系统5集群可靠性存储集群的可靠性取决于硬盘寿命比较难调整，且与成本挂钩容错度集群可以容忍同时损坏多少块硬盘通常与冗余度有关，与成本比较相关单位修复时间指单块硬盘损坏的修复时间实现上可产生巨大差异存储集群可靠性的关键指标6修复时间参考值：单盘对拷时间局域网带宽磁盘带宽磁盘大小修复时间 = 磁盘大小/min(局域网带宽, 磁盘带宽)如何突破单盘带宽瓶颈？让更多磁盘参与其中：将丢失的数据，均匀地分配到集群其他磁盘上注意：为了高可用，同一文件的数据不应该同时出现在一台机器的不同硬盘上理论上限修复时间

3、= 磁盘大小/min(局域网带宽, 磁盘带宽)/(N-1)N = 集群的磁盘数目7容错度/冗余度三副本冗余度：3容错度：允许3块硬盘同时损坏2块可靠性：在单位修复时间内，同时损坏3块盘，则发生数据丢失跨机器做RAID6冗余度：(N+2)/N容错度：允许N+2块硬盘同时损坏2块 (N越大风险越大)可靠性：在单位修复时间内，同时损坏3块盘，则发生数据丢失典型配置：N=4，冗余度=1.5跨机器做EC冗余度：(N+M)/N容错度：允许N+M块硬盘同时损坏M块 (M越大风险越低)可靠性：在单位修复时间内，同时损坏M+1块盘，则发生数据丢失8跨 IDC 的数据冗余目标高可靠单IDC出现自然灾害（比如地震）

4、时不丢失数据高可用单IDC网络出现故障时，整个集群仍然正常工作9加速下载加速利用成熟的CDN网络多CDN智能管理上传加速跨IDC的分布式存储结构10下载加速考量CDN这样的下载加速网络已经发展了10年多，非常成熟七牛不希望在这一块上重复投入七牛希望成为业界最专业的多CDN管理者如果某个区域某家 CDN 比较快，将流量分配给它在一个 CDN 出问题的时候，迅速将流量切到另一家 CDN.11下载速度对比与国内某知名云的对比12上传加速上传加速是个新课题，随着UGC内容增加而兴起上传加速需要结合存储一起考虑区别于下载加速，你不能认为上传节点是加速节点，它需要是存储节点，Why？上传加速节点有数据可靠

5、性的要求，不能丢数据上传加速节点的数据，需要被立刻访问不能有一个中间状态，你告知用户上传成功了，但是用户通过其他 IDC 下载不到这个数据13存储与加速一体化目标跨 IDC 的分布式存储传统分布式存储通常是单IDC集中式的用户可选择任意的 IDC 就近上传可大大提升上传速度可分块并行上传对传视频等大文件特别有效可断点续上传对2G/3G等移动网络特别有效14上传速度对比与国内某知名云的对比15数据处理目标快速、高伸缩性功能易扩展需要非常容易添加新的数据处理模块可预转上传即转换，加快用户第一次访问时的速度16有点抽象？来点真的微软的网站七牛镜像17可以做更多缩略图http:/micro./glob

6、al/ImageStore/PublishingImages/Asset/Features/WindowsUpgrade_0702_800 x470_EN-US.jpg?imageView/1/w/128?imageView/2/h/256打水印?imageView/2/h/256|watermark/1/image/aHR0cDovL3d3dy5xaW5pdXRlay5jb20vaW1hZ2VzL2xvZ28tMi5wbmc=/dissolve/90/gravity/NorthEast/dx/20/dy/20旋转http:/micro./global/ImageStore/PublishingImages/Asset/Features/WindowsUpgrade_0702_800 x470_EN-US.jpg?imageMogr/rotate/45裁剪http:/micro./global/ImageStore/PublishingImages/Asset/Features/WindowsUpgrade_0702_800 x470_EN-US.jpg?imageMogr/crop/!150 x150a430a3218数据处理样式样例largerotate19