存储技术在AI、大数据与云计算中的运用

存储技术在AI、大数据和云计算中的运用本章主要介绍：新ICT架构的发展趋势。云计算的概念，采用的关键技术以及存储在云计算中的应用。大数据的概念，采用的技术架构以及存储在大数据中的应用。云计算、大数据、AI之间的融合技术及应用。学完本课程后，您将能够：了解ICT的发展趋势。了解什么是云计算、大数据和AI？掌握云计算中的存储技术及应用。掌握AI、大数据中的存储技术及应用。ICT技术发展趋势云计算存储应用技术AI、大数据存储应用技术ICT正在成为传统产业转型升级的引擎1st

机械化基于大数据的行业应用4th

智能化万物互联2nd

电气化3rd

自动化重构世界的IT四大趋势大数据云计算物联网移动互联网数据生产/数据消费数据收集数据分析数据计算云数据中心无处不在全球建设660+数据中心，包括255+云数据中心ICT技术发展趋势云计算存储应用技术AI、大数据存储应用技术ICT产业布局中云计算的位置和作用Backend-DC：几个Frontend-DC：几十个2025:1000亿连接海量接入百倍连接增长大流量：10G/人1000G/企业低时延：4G<50ms5G<1ms大规模应用千万应用100GbER1R1100GbER2R2CloudRANONTONTRRUMxUCloudAccessRRURRUCloudFieldSDN/NFVIOT/5G云数据中心&大数据小型机/服务器+存储+交换设备1955-

1980大型机/小型机OSApp1Appn…多应用共享封闭的软硬件系统“天下大势”DBOS1OS2OSnApp2Appn应用绑定服务器…1980-2010App1“合久必分”DBDBDBCloudOSApp1App2Appn云基础设施资源池…多应用共享、开放的“云计算机”OS1OS2OSn2010

&Later…“分久必合”…BigDataIT架构云化：由“分离”走向“融合”传统业务向云平台迁移虚拟化虚拟化虚拟化融合资源池云统一管理虚拟化虚拟化虚拟化虚拟化融合资源池AB分布式云数据中心D云数据中心C物理资源池虚拟化融合资源池云统一管理网络拉通虚拟化虚拟化数据中心N数据中心1OpenStack融合资源池计算/存储/网络统一管理平台虚拟数据中心VDC计算服务OpenStack融合资源池计算/存储/网络SDN物理资源池物理资源池存储服务网络服务绿色机房绿色机房什么是云计算？云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。——美国国家标准与技术研究院云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备。云计算依赖资源的共享以达成规模经济，类似基础设施（如电力网）。——维基百科云计算是商业模式和技术理念的统一+云服务“On-Demand”的商业模式HugeCapability云平台分布式和并行软件系统Internet云平台Servers&StorageDistributed&ParallelSoftware云服务IaaSSaaSPaaS云计算关键技术=模式：ScaleOut基于软件可靠性可扩展性整体性能最优计算架构网络：高密度以太网交换机存储:低成本、多备份服务器：高可靠性，高性能云计算硬件分布式存储分布式文件管理并行计算技术云计算软件虚拟化技术智能化云计算系统管理技术云计算的单点技术都是“老”技术，组合起来却具有无与伦比的实用价值云计算业务模式存储网络虚拟化操作系统中间件运行环境数据应用程序服务器InfrastructurePlatformSoftware云平台（广义）=存储

+交换机+计算+分布式软件+网络化应用软件通过网络将可扩展、高弹性的IT相关能力以服务的形式提供出去的计算模式控制点主要玩家基础架构作为服务(IaaS)（虚拟的服务器、存储、网络)应用、流程和信息作为服务(SaaS)（行业应用,CRM,ERP,OA等）平台作为服务(PaaS)（优化的中间件-应用服务器、数据库服务器等)提供的是“服务”业务应用软件中间件应用虚拟化技术云计算的本质就是服务硬件基础设施服务器（机架&刀片）网络（ToR&机箱）存储(IP&FC)云计算管理平台教育云政务云卫生云媒体云公有云电力云虚拟化内核系统（Hypervisor）软件定义计算软件定义网络软件定义存储虚拟化管理平台虚拟化，承上启下，是构建云计算平台的核心支撑技术！API云计算的关键实现技术-虚拟化DHT算法分区分配算法分布式Cache可伸缩DHT环FusionStorage（存储资源化）虚拟化FusionSphere/vSphere/Hyper-V/KVMSSDRAMSSDRAMSSDRAMSSDRAMSSDRAM存储资源化基于异构融合和应用模板的存储服务化大数据服务数据库服务存储服务混合云服务块服务文件服务对象服务双活/容灾应用加速异构管理数据迁移数据保护融合存储资源池OceanStorV3融合存储OceanStorDorado全闪存存储FusionStorage分布式存储OceanStor18000高端存储HUAWEIManageOne行业最佳实践应用模板3#Part第三方异构存储

FusionSphere®云操作系统软件定义网络FusionNetwork软件定义存储FusionStorage软件定义计算FusionCompute云计算开放平台FusionSphereOpenStack容灾备份迁移工具BCManager/Rainbow运营监控平台FusionSphereSOI桌面云解决方案FusionAccess灾备解决方案BC/DR网络虚拟化方案AgileControl云管理方案ManageOne云一体机FusionCube电信NFV方案NFVI华为云计算产品全景ICT技术发展趋势云计算存储应用技术AI、大数据存储应用技术一个大规模生产、分享和应用数据的时代正在开启…...

——肯尼思·库克耶（《大数据时代》作者）1980s

个人电脑1960s

大型机1990s

互联网2000s

移动互联网2010s

大数据大数据时代已经来临截至2014年末网络上有超过30

亿人现在有300亿个RFID记

（2005年时有13亿）全球有46亿

台照相手机每年售出数亿台支持GPS的设备在2009年有7600万台智能仪表……

至2014年将达到2亿台每天有超过3亿

活跃用户每天有超过25

TB

日志数据每天有超过1亿条消息社交数据机器数据大数据从哪里来？什么是大数据(BigData)？多样性(Variety)来源多：企业内部、互联网、物联网等格式多：不局限于结构化数据，也包括音频、图片、视频等非结构化数据高速度(Velocity)增长速度快：数据正在加速增长，IDC预测未来十年将增长50倍处理速度快：对时间敏感，必须快速识别和快速响应才能适应业务需求大容量(Volume)存储量大：充斥着各种数据，经常是PB（1000T）级的信息量计算量大：需要实时应对海量数据的抽取和分析高价值(Value)浪里淘沙却又弥足珍贵，虽然数据的价值密度较低，但是产生的价值总量却十分惊人。大数据的4V特征，决定了发掘数字金矿的难度，也意味着巨大商机大数据技术架构数据挖掘、商业智能、数据搜索Volume海量Velocity快速Value价值Variety多样性并行计算（批量计算、流计算）非结构化：分布式文件/对象系统半结构化：NoSQL数据库结构化：分布式数据库异构数据融合ETL过程优化大数据分析技术大数据存储技术数据处理数据存储数据采集数据源物联网、企业、社交化网络……数据分析应用及展现数据可视化大数据处理需要多方面的技术支撑计算存储数据库网络单机集群文件存储单机设备间连接设备内连接关系型数据库10GEFCIB分布式数据库非关系型数据库块存储10GESASIB横向扩展块级虚拟化横向扩展分布式文件系统存储技术的变革传统专业存储向海量存储系统演进大数据与云计算深度融合OpenAPI云搜索负载均衡弹性计算云引擎云数据库开放存储阿里邮箱大规模数据计算云安全服务阿里云OS（飞天）云生态面向云服务的一套架构，一套API，一套生态企业商业应用开发者行业和区域ISV/SIAPI计算服务FusionStage：PaaS服务分布式中间件框架容器服务存储服务网络服务FusionSphere：IaaS服务运营/运维云安全服务数据库服务桌面服务消息服务咨询/业务迁移FusionInsight：数据服务MR...SparkStreamingML...阿里华为大数据与AI深度融合-认知计算大数据1.0海量数据存储层HDFS/HBase批处理计算框架MapReduce统一数据存储HDFS/HBase/MPPYARN统一资源管理MR批处理Storm流式计算Spark内存计算Elk/Solr交互式分析Page28智能跨域数据中心存储HDFS/HBase/MPP/IMDBYARN智能跨域数据中心资源管理融合数据处理平台Spark/DataIntensiveStreaming认知计算

人工智