云计算（第三版）配套之36中国云计算技术（一）课件

1、11.1 国内云计算发展概况11.2 国产云存储技术11.3 国产大数据库技术11.4 云视频监控技术11.5 阿里巴巴阿里云服务11.6 云创存储万物云服务of40云计算第三版配套PPT课件11.1 国内云计算发展概况of40云计算第三版配套PPT课件311.1 国内云计算发展概况以“BAT”等为代表的互联网企业成为现阶段中国云计算服务创新发展的主导力量。后起之秀UCloud、QingCloud等，也希望能够在未来的庞大的企业级市场占据领导地位。11.1 国内云计算发展概况未来云计算的发展离不开以下四大发展趋势：第一，随着云计算创新水平的不断提升，产业链上中下游整合趋势更加明显。第二，国内云

2、计算应用市场进一步发展成熟，市场空间显著扩大。第三，云计算服务发展迅速，公共云服务和大型企业、机构内部的私有云建设与运维将成为重点。第四，云计算公共化程度将进一步提升。国内云计算应用市场进一步发展与成熟，市场空间显著扩大。11.1 国内云计算发展概况11.2 国产云存储技术11.3 国产大数据库技术11.4 云视频监控技术11.5 阿里巴巴阿里云服务11.6 云创存储万物云服务of40云计算第三版配套PPT课件11.2 国产云存储技术11.2.1 淘宝分布式文件系统TFS11.2.2 云创存储cStor分布式文件系统11.2.3 A8000超低功耗云存储一体机of40云计算第三版配套PPT课件

3、711.2 国产云存储技术淘宝分布式文件系统TFSTaobao （TFS）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构建在普通的Linux机器集群上，可对外提供高可靠和高并发的存储访问。淘宝提供海量小文件存储采用了高容错架构和平滑扩容扁平化的数据组织结构of40云计算第三版配套PPT课件11.2 国产云存储技术淘宝分布式文件系统TFSApplication/ClientBlock iddataserverNameServerBlock iddataserverNameServerDataServerdsp1dsp2dsp3hdahdahdaD

4、ataServerdsp1dsp2dsp3hdahdahdaBlockid,fild id/AllocateDataserver id(blockid,)Heartbeatmessagecontrol messageHeartbeat message8of40云计算第三版配套PPT课件9wBlockblockmasterblockmasterblockmasterblockmasterWirtableBlockListBlockListDataServerListSERVERWriteLeaseListBlock11.2 国产云存储技术淘宝分布式文件系统TFSof40云计算第三版配套PPT课件

5、1011.2 国产云存储技术淘宝分布式文件系统TFS1）集群容错l TFS可以配置主辅集群，一般主辅集群会存放在两个不同的机房。l 主集群提供所有功能，辅集群只提供读。2）NameServer容错l Namserve负责维护Block列表和DataServer与Block之间的关系。 l NameServer和DataServer之间也会有定时的heartbeat。3）DataServer容错l TFS采用Block存储多份的方式来实现DataServer的容错。l TFS对每一个文件会记录校验CRCl 对于每一个写入请求，必须在所有的Block写入成功时才算成功。of40云计算第三版配套PP

6、T课件1111.2 国产云存储技术淘宝分布式文件系统TFS平滑扩容TFS集群容量不足时，只需新增DataServer，在上面部署好应用程序后启动即可。在集群负载较轻时，NameServer会对DataServer上的Block进行均衡，保证每个DataServer的Block数尽可能均衡。of40云计算第三版配套PPT课件11.2 国产云存储技术11.2.1 淘宝分布式文件系统TFS11.2.2 云创存储cStor分布式文件系统11.2.3 A8000超低功耗云存储一体机卷配置节点参数配置存储参数配置用户配额管理QoS管理告警配置存储空间监控设备状态监控程序状态监控网络状态监控磁盘状态监控流量

7、监控全面告警监控中心配置中心管理监控中心客户端1客户端2客户端3客户端4客户端N主卷管理服务器备卷管理服务器用户挂载客户端卷管理节点主元数据管理节点1备元数据管理节点1卷A主元数据管理节点2备元数据管理节点2卷B主元数据管理节点3备元数据管理节点3卷C数据节点1数据节点2数据节点3数据节点N数据节点1数据节点2数据节点3数据节点N数据节点1数据节点2数据节点3数据节点N元数据管理节点块数据存储节点总体架构存储机制cStor客户端向系统中写数据流程如图of40云计算第三版配套PPT课件11.2 国产云存储技术云创存储cStor分布式文件系统1cStor客户端向元数据服务器发起数据写请求2元数据服

8、务器根据存储服务器的负载情况，选择负载较轻的存储服务器1和存储服务器2存储数据的两个副本，在存储服务器1上预留存储空间保存数据3存储服务器1存储空间足够，向元数据服务器返回预留存储空间成功4元数据服务器同时向存储服务器2发起预留存储空间申请5存储服务器2存储空间足够，向元数据服务器返回预留存储空间成功6主元数据服务器同步元数据信息到备元数据服务器，保证元数据始终保存两份15of40云计算第三版配套PPT课件11.2 国产云存储技术云创存储cStor分布式文件系统7同步元数据成功8元数据服务器向客户端返回数据可以写到存储服务器1和29客户端向存储服务器1发起数据请求10存储服务器1保存数据11存

9、储服务器1同时把数据副本发送到存储服务器2，存储服务器2保存数据副本12存储服务器2副本写成功，返回写成功给存储服务器113客户端收到成功信号后，即完成数据的存储16of40云计算第三版配套PPT课件17cStor客户端从系统中读数据流程如图所示11.2 国产云存储技术云创存储cStor分布式文件系统of40云计算第三版配套PPT课件1811.2 国产云存储技术云创存储cStor分布式文件系统cStor云存储系统的控制流和数据流是分离的：l 一方面降低了元数据管理节点的负担，使得其处理能力更强；l 另一方面将数据读/写的负担分摊到各存储节点，使得系统的整体性能得到了提高，系统整体性能与节点数目

10、成正相关。1cStor客户端向元数服务器发起数据读请求2元数据服务器查找文件保存在存储服务器1上，然后告知客户端3客户端存储服务器1发出数据读请求，并从存储服务器1读取数据4存储服务器1返回数据内容给客户端关键技术0102030405负载均衡技术数据高可靠保证技术超安存编解码技术高速并发访问技术数据可扩展性of40云计算第三版配套PPT课件20D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8三副本超安存8:2编码P1P211.2 国产云存储技术云创存储cStor分布式文件系统of40云计算第三版配套PPT课件11.

11、2 国产云存储技术11.2.1 淘宝分布式文件系统TFS11.2.2 云创存储cStor分布式文件系统11.2.3 A8000超低功耗云存储一体机of40云计算第三版配套PPT课件2211.2 国产云存储技术A8000超低功耗云存储一体机3600TB3000W10倍of40云计算第三版配套PPT课件23l A8000采用了标准42U机架。l 其中4U 空间用于部署交换机、供电模块和RMC模块，其余38U用于部署38个1U的服务器，包括2个E5系列的主控节点，36个Atom系列的存储节点。l 供电模块由电源模块、配电板（PDU）、母排、背板组成。l 电源支持250VAC输入，集中输出至12VDC

12、 母排，机柜内母排分为上下两段，服务器节点通过母排或背板直接取电。l 风扇模块采用了风扇墙共享设计，由RMC实现独立风扇控制，其N+1冗余设计可以实现独立维护，对节点透明。11.2 国产云存储技术A8000超低功耗云存储一体机机架结构of40云计算第三版配套PPT课件2411.2 国产云存储技术A8000超低功耗云存储一体机产品特性优异性能超低功耗简单通用全面监控便捷管理超高密度高度可靠of40云计算第三版配套PPT课件25单块主板最大可接18个SATA3.0硬盘，对外网络提供4个千兆以太网，支持四网口绑定，网络带宽速率可达4千兆。处理器是Intel64位低功耗CPU，支持8GB DDR3内存

13、，单板可直接安装Linux发行版操作系统。11.2 国产云存储技术A8000超低功耗云存储一体机关键技术-(1) A8000低功耗主板of40云计算第三版配套PPT课件2611.2 国产云存储技术A8000超低功耗云存储一体机关键技术-(1) A8000低功耗主板of40云计算第三版配套PPT课件2711.2 国产云存储技术A8000超低功耗云存储一体机关键技术-(2) 集中式直流供电of40云计算第三版配套PPT课件28服务器服务器RMC管理模块散热模块散热模块散热模块散热模块散热模块散热模块散热模块散热模块冷风道热风道11.2 国产云存储技术A8000超低功耗云存储一体机关键技术-(3) 集中式散热系统A8000整套系统通过RMC管理模块，对整个机架8个散热模块进行实时控制，每个散热模块由6个独立的风扇组成，通过RMC集中管理模块，根据每个区域的温度，自动调节风扇转速，针对整个系统的问题进行有效散热，从而达到节点效果。of40云计算第三版配套PPT课件本章未完待续百度排名首位的大数据资料和交流中心百 度 排 名 首 位 的 云 计 算 资 料 和 交 流 中 心终生免费的智能硬件大数据托管平台扫一扫，进入万物云终 生 免 费 的 环 境