物联网技术概论（第3版）课件：物联网云边端平台技术

物联网云边端平台技术《物联网技术概论》1《物联网技术概论》第三版2课程提纲云边端协同技术的起源与发展四边缘计算技术二虚拟化与云计算技术一大数据管理技术三云边协同数据处理技术五本章小结六3课程提纲云边端协同技术的起源与发展四边缘计算技术二虚拟化与云计算技术一大数据管理技术三云边协同数据处理技术五本章小结六一、虚拟化与云计算技术1.1虚拟化技术虚拟化技术概念：虚拟化（Virtualization）技术是一个广义的术语，它通常指能够使计算元件在虚拟硬件资源的基础上运行的技术。虚拟化前虚拟化后软件必须与硬件相结合每台机器上只有单一的操作系统镜像每个操作系统只有一个应用程序负载每台机器上有多个负载软件相对于硬件独立未更改过的应用未更改过的OS虚拟硬件虚拟机是标准化的软件容器4一、虚拟化与云计算技术1.1虚拟化技术虚拟化技术优势：虚拟化前每台主机一个操作系统软件硬件紧密地结合在同一主机上运行多个应用程序通常会遭遇沖突系统的资源利用率低硬件成本高昂而且不够灵活虚拟化后打破了操作系统和硬件的互相依赖通过封装到到虚拟机的技术,管理操作系统和应用程序为单一的个体强大的安全和故障隔离虚拟机是独立于硬件的,它们能在任何硬件上运行5一、虚拟化与云计算技术1.1虚拟化技术通过虚拟化来进行服务器整合意味着用户能够将这样的环境…6一、虚拟化与云计算技术1.1虚拟化技术…改造成这样简捷的配置没有利用虚拟化软件之前是300台服务器使用虚拟化软件后，整合成8台服务器、1个机架7一、虚拟化与云计算技术1.1虚拟化技术分区在一个物理机上运行多个OS更充分利用服务器资源支持高可用——分区之间可以组建集群（负载均衡、双机容错）封装将虚拟机封装成与硬件配置无关的文件随时对虚拟机进行快照通过简单的文件拷贝对虚拟机进行迁徙隔离从硬件层面隔离系统故障和安全威胁在虚拟机之间动态的分配CPU、内存等系统资源保证服务可用虚拟化的关键特征89一、虚拟化与云计算技术1.1虚拟化技术虚拟化技术分类：内存（Memory）虚拟化存储（Storage）虚拟化网络（Network）虚拟化桌面（Desktop）虚拟化数据（Data）虚拟化……虚拟化管理内存虚拟化存储虚拟化网络虚拟化桌面虚拟化数据虚拟化虚拟化硬件平台…10一、虚拟化与云计算技术1.1虚拟化技术虚拟化技术分类：内存（Memory）虚拟化内存管理在操作系统中十分复杂和关键。内存虚拟化可以动态为虚拟机分配内存，并维护真正物理地址和虚拟机地址之间的映射关系，还可以允许联网的多个计算机共享内存池，从而提高整体性能。MachinememoryPhysicalmemoryVirtualmemoryProcess1Process2VM1Process1Process2VM2一、虚拟化与云计算技术1.1虚拟化技术虚拟化技术分类：存储（Storage）虚拟化存储虚拟化将多个硬件资源进行抽象化表现，由一个中央控制台进行集中控制和管理，同时保证数据集中安全。通过软件技术，存储虚拟化可以识别真实硬件资源的可用容量，而对于用户而言是透明的，用户不会看到具体的存储硬件，也不必担心数据的流通过程。存储虚拟化是一种集中化管理方式，可以提供存储硬件的利用率，降低管理成本。11一、虚拟化与云计算技术1.1虚拟化技术虚拟化技术分类：网络（Network）虚拟化网络虚拟化将软硬件网络资源抽象集成为一个软件管理的虚拟网络。网络虚拟化可以将多个物理网络合并为一个基于软件的虚拟网络，也可以将一个物理网络划分为独立的虚拟网络。网络虚拟化可以减少成本，缩短网络配置时间，增强网络的安全性。12一、虚拟化与云计算技术1.1虚拟化技术虚拟化技术分类：桌面（Desktop）虚拟化桌面虚拟化将计算机桌面环境和操作系统进行虚拟化，使其与访问桌面的物理设备分离开。通过桌面虚拟化，用户可以使用其他设备通过网络访问该桌面系统，以增强资源管理效率，实现远程办公，同时增加数据的安全性。13一、虚拟化与云计算技术1.1虚拟化技术虚拟化技术分类：数据（Data）虚拟化数据虚拟化是一种数据管理方法，它集成了不同系统、计算机上的数据，数据的数据细节（原始结构或存储位置）对用户来说是透明的，又可以为用户提供整体的数据视图。数据虚拟化可以提高数据访问效率，减少开发成本从而提高整体生产力，同时可以打破数据孤岛，实现数据的合理有效利用。14一、虚拟化与云计算技术1.1虚拟化技术虚拟化的功能优化整合：简化IT基础架构，提高利用率，降低成本简化管理--VC；业务连续性保障--HA，VMotion、FT资源均衡使用及动态优化--DRS和DPM增强的安全性15一、虚拟化与云计算技术1.1虚拟化技术虚拟化的功能简化管理7编程接口虚拟机和服务器管理1虚拟机部署2虚拟机迁移3资源管理4系统监控5安全和访问控制6集中统一管理通过虚拟化控制平台VC实现：集中管理统一部署16一、虚拟化与云计算技术1.1虚拟化技术虚拟化的功能VMwareHA确保系统高可用VMwareHA是什么?VMwareHA就是发生服务器故障时在其他的物理服务器上自动重启虚拟机客户优势对所有的应用实现了高可用性，并且成本很低不需要完全一致的重复硬件比传统的集群有更高的成本优势，同时易于使用和操作资源池X17一、虚拟化与云计算技术1.1虚拟化技术虚拟化的功能VMwareVMotion实现虚拟机的动态迁移,而服务不中断资源池业务需求客户优势零宕机时间:进行有计划的服务器维护和升级迁移工作负载，资源利用率最大化服务器的持续可用性,完整的交易集成18一、虚拟化与云计算技术1.1虚拟化技术虚拟化的功能VMwareFaultTolerance实现关键业务系统的容错在不同的主机上同步运行相同的虚拟机出现硬件故障时，所有虚拟机均可实现零宕机时间、零数据损失故障切换零宕机时间、零数据损失无需复杂的集群或专用硬件所有应用程序和操作系统通用的单一机制VMwarevSphere™操作系统应用程序操作系统应用程序操作系统应用程序X19一、虚拟化与云计算技术1.1虚拟化技术虚拟化的功能资源均衡优化：DRSDRS是什么?跨资源池动态平衡计算资源基于预先设定的规则智能分配资源对客户的优势基于业务优先级分配IT资源简化运行，大幅度提高系统管理员的生产率动态添加硬件资源而避免在繁忙时段服务器的过载动态硬件维护能力动态、智能地分配IT资源来满足业务部门不同需求资源池业务需求围绕业务进行组织和规划而不是您的硬件!20一、虚拟化与云计算技术1.1虚拟化技术虚拟化的功能分布式电源管理DPM资源池业务需求关闭群集需要的资源越少，就将工作负载整合到越少的服务器上将不需要的服务器置于待机模式工作负载需要增加时，再恢复服务器在线状态保证服务级别的同时减少电力消耗虚拟机不中断、不停机支持三种唤醒协议：1、智能平台管理接口(IPMI)2、IntegratedLights-Out(iLO)3、网络唤醒(WOL)21一、虚拟化与云计算技术1.1虚拟化技术虚拟化的功能增强的数据保护VCBVCB(VMware整合备份)是什么?集中的、无代理的虚拟机备份将备份移出虚拟机减少备份代理和数量消除生产虚拟机的备份负载充分利用虚拟机快照功能支持SAN、iSCSI和NAS和主流的第三方的备份产品预集成客户优势任意的备份窗口集中的、文件级的备份实现了简单、可靠的数据保护集中的数据

迁移器22一、虚拟化与云计算技术1.1虚拟化技术虚拟化的功能增强的数据保护VCBVCB(VMware整合备份)是什么?集中的、无代理的虚拟机备份将备份移出虚拟机减少备份代理和数量消除生产虚拟机的备份负载充分利用虚拟机快照功能支持SAN、iSCSI和NAS和主流的第三方的备份产品预集成客户优势任意的备份窗口集中的、文件级的备份实现了简单、可靠的数据保护集中的数据

迁移器2324一、虚拟化与云计算技术1.2云计算技术云计算技术发展：定义:基于虚拟化和数据中心技术，通过互联网为云平台用户提供按需供给和弹性的计算和存储资源。主要优势:灵活性：快速扩大或缩小规模，灵活满足计算需求低成本：按使用付费，大限度地降低硬件和IT成本可用性：通过任意设备，随时随地全天候访问云系统简易性：无需IT

部门管理服务器和更新软件25一、虚拟化与云计算技术1.2云计算技术云计算技术层次：软件即服务（SoftwareasaService，SaaS）平台即服务（PlatformasaService,PaaS）基础设施即服务（InfrastructureasaService,IaaS）专用通用一、虚拟化与云计算技术它们有什么区别呢？1.2云计算技术IBM的软件架构师AlbertBarron曾经使用披萨作为比喻IaaS：他人提供厨房、炉子、煤气，你使用这些基础设施，来烤你的披萨。26一、虚拟化与云计算技术1.2云计算技术PaaS：除了基础设施，他人还提供披萨饼皮。你只要把自己的配料洒在饼皮上，让他帮你烤出来就行了。也就是说，你要做的就是设计披萨的味道（海鲜披萨或者鸡肉披萨），他人提供平台服务，让你把自己的设计实现。27一、虚拟化与云计算技术1.2云计算技术SaaS：他人直接做好了披萨，不用你的介入，到手的就是一个成品。你要做的就是把它卖出去，最多再包装一下，印上你自己的Logo。28一、虚拟化与云计算技术1.2云计算技术基础设施即服务IaaS基础架构即服务（InfrastructureasaService，IaaS）指的是以服务的形式来提供计算资源、存储、网络等基础IT架构。用户通常能够根据具体应用需求，通过自助订购等方式来购买所需的虚拟IT资源，并通过Web界面、WebService等方式对虚拟IT资源进行配置、监控、管理。IaaS除了提供虚拟IT资源外，还在云架构内部实现了负载均衡、错误监控与恢复、灾难备份等保障性功能，将用户从IT基础设施建设、维护的工作中解脱出来，同时也为用户节省了大量建设、运营成本。IaaS平台的主要提供商:VMware、Citrix、Redhat、Microsoft、Amazon等。29一、虚拟化与云计算技术1.2云计算技术平台即服务PaaS：平台即服务（PlatformasaService,PaaS）是指以服务形式向开发人员提供应用程序开发及部署平台，让他们可利用此平台来开发、部署和管理应用程序。PaaS平台一般包括数据库、中间件及开发测试工具，并且都以服务形式通过互联网提供。Paas可通过远程Web服务使用数据存储服务，还可以使用可视化的API，甚至还允许开发者混合并匹配适合应用的其他平台。用户或者厂商基于PaaS平台可以快速开发自己所需要的应用和产品。同时，PaaS平台可以帮助开发者更好地搭建基于SOA架构的企业应用。主流的PaaS平台:GoogleAppEngine、AmazonWebService、F、MicrosoftWindowsAzurePlatform等。30一、虚拟化与云计算技术1.2云计算技术软件即服务SaaS：SaaS通过Internet向终端用户提供应用软件的模式，厂商将应用软件统一部署在自己的服务器上，客户可以根据自己的实际需求，通过互联网向厂商定购所需的应用软件、服务，并按定购的服务多少和时间长短向厂商支付费用，并通过互联网获得厂商提供的技术支持。相比传统软件使用方式而言，SaaS不仅减少或取消了传统的软件授权费用，而且厂商将应用软件部署在统一的服务器上，免除了最终用户在服务器硬件、网络安全设备和软件升级维护上的支出，客户不需要个人电脑和互联网连接之外的其他IT投资，就可以通过互联网获得所需软件和服务，大大降低了软件使用成本。代表性的SaaS服务提供商：Google、Microsoft、S、Netsuite等。31一、虚拟化与云计算技术1.2云计算技术软件即服务SaaS：SaaS通过Internet向终端用户提供应用软件的模式，厂商将应用软件统一部署在自己的服务器上，客户可以根据自己的实际需求，通过互联网向厂商定购所需的应用软件、服务，并按定购的服务多少和时间长短向厂商支付费用，并通过互联网获得厂商提供的技术支持。相比传统软件使用方式而言，SaaS不仅减少或取消了传统的软件授权费用，而且厂商将应用软件部署在统一的服务器上，免除了最终用户在服务器硬件、网络安全设备和软件升级维护上的支出，客户不需要个人电脑和互联网连接之外的其他IT投资，就可以通过互联网获得所需软件和服务，大大降低了软件使用成本。代表性的SaaS服务提供商：Google、Microsoft、S、Netsuite等。32一、虚拟化与云计算技术1.2云计算技术应用案例纽约时报使用亚马逊云计算服务在不到24个小时的时间里处理了1100万篇文章，累计花费240美元。如果用自己的服务器，需要数月和多得多的费用33一、虚拟化与云计算技术1.2云计算技术应用案例Google（Iaas,paas,saas）

Google搜索引擎建立在分布在30多个站点、超过200万台服务器构成的云计算设施的支撑之上，这些设施的数量正在迅猛增长。googlemap,googledoc,gmail目前，Google已经允许第三方在Google的云计算中通过GoogleAppEngine运行大型并行应用程序。3435一、虚拟化与云计算技术1.2云计算技术云计算技术部署模式：公有云混合云由若干企业和用户共享使用的云计算。在公有云中，用户所需的服务由独立的、第三方云提供商提供。公有云与私有云的混合由某个企业独立构建和使用的云环境，是为企业或组织所专属的云计算环境。私有云36一、虚拟化与云计算技术1.2云计算技术云计算技术部署模式：公有云公有云计算系统以Amazon、Google、Rackspace、S、Microsoft等公司推出的产品为代表，向用户提供了丰富多彩的IT服务和商业应用。例如Amazon公司为应用开发者提供的弹性的、可靠的、自助的IaaS服务平台AmazonEC2；Google公司、Microsoft公司分别推出的GoogleAppEngine、MicrosoftAzurePlatform则以PaaS的形式为应用开发者提供开放的应用开发、运行环境；在SaaS领域，则以Google公司的Gmail/GoogleDocs、Microsoft公司的MicrosoftOnlineServices为代表，这类公有云产品直接为终端用户提供在线邮件、在线办公等应用领域的软件服务。3637一、虚拟化与云计算技术1.2云计算技术云计算技术部署模式：私有云私有云是针对单个机构的需求而特别定制的云计算系统。例如，一些金融机构的业务支撑平台、政府机构内部使用的公共政务平台、企业内部的私有IT服务平台等。私有云计算系统通常是自封闭的系统，只允许机构内部人员、应用系统使用，信息安全性较高。一般来讲，私有云计算系统都会基于一些成熟的云计算解决方案来搭建。例如VMWare公司的vSphere、RedHat公司的EnterpriseVirtualization、Microsoft公司的Hyper-V虚拟化等。通过采用虚拟化操作系统和网络技术，能够降低机构内部使用服务器和网络设备的数量，提高IT资源的利用率和IT基础设施的可用度，并使机构内部IT资源的管理更为明晰。38一、虚拟化与云计算技术1.2云计算技术云计算技术部署模式：混合云

为了更好地实现公司业务的高效处理，越来越多的企业采用公共云用来补充现有的本地部署数据中心和私有云架构中的不足，混合云逐渐被业界提了出来。上图描述了一个简单的混合云架构，主要包括一个单一的私有云和一个单一的公有云，并利用安全连接(专线或虚拟专用网络VPN)将私有云和公有云相连，保证了网络传输过程中的安全性。特点：1.在混合云上，结合了私有云和公有云不同的优势，并弥补了他们各自的不足；2.将一些敏感数据或是运行关键性的工作负载放在私有云上面；而一般的工作或是需要扩展的工作放在公有云上面，以便有需求时能够进行扩展来应对日常的应用负载模式。39一、虚拟化与云计算技术云计算技术部署模式：混合云高性能低能耗、低成本优势极易扩展灵活易用混合云突破了私有云的硬件限制，利用公有云的可扩展性，可以随时获取更高的计算能力。1.混合云能够将资源和工作负载从本地迁移到云，反之亦然。2.对于开发和测试，混合云使开发人员能够轻松搞定新的虚拟机和应用程序，无需IT运维人员的协助。3.混合云还提供了各种各样的服务，如大数据分析、物联网等，企业可以随时使用这些服务，而不需要自己去构建。混合云利用“即用即付”云计算资源来消除购买本地资源的需求，从而使得企业可以便捷地将应用程序和数据放在最适合的平台上，获得最佳的利益组合。混合云平台下，私有云和公有云同时协调工作，在私有云里可以实现特定的业务处理，并在无须购买额外硬件的情况下，在需求高峰期充分利用公有云的资源来完成数据处理需求。1.2云计算技术40一、虚拟化与云计算技术1.2云计算技术云计算技术前沿：（1）超融合技术在同一套单元设备中不仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等元素，而多节点可以通过网络聚合起来，实现模块化的无缝横向扩展，形成统一的资源池。集成系统融合架构超融合架构模块化资源池统一程序接口发展历程定义关键技术一、虚拟化与云计算技术1.2云计算技术云计算技术前沿：（1）超融合技术图中单个节点为X86服务器架构，基于节点构建分布式存储。HCI具备计算、网络、存储和服务器虚拟化等资源和技术，同时包括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等，多节点可以通过网络聚合起来，实现模块化的无缝横向扩展（scale-out），形成统一的资源池客户端便可以直接此形式的数据中心进行交互。关键厂商1、NUTANIX

2、SMARTX3、华为FusionStorage4、深信服4142一、虚拟化与云计算技术1.2云计算技术云计算技术前沿：（2）云边端融合技术云计算和边缘计算的融合可以更好地满足各种需求场景的匹配，最大化其应用价值。云边端融合技术在内容分发网络、工业互联网、能源、智能家居、智慧交通、安防监控、农业生产、医疗保健及云游戏等方面有着广泛的应用前景。43一、虚拟化与云计算技术1.2云计算技术云计算技术前沿：（2）云边端融合技术云计算适用于非实时、长周期数据、业务决策场景，而边缘计算在实时性、短周期数据、本地决策等场景方面有不可替代的作用。两者在网络、业务、应用、智能等方面的协同将有助于支撑更广泛的场景与更大的价值创造。来自：《边缘计算架构2.0》白皮书44一、虚拟化与云计算技术1.2云计算技术云计算技术前沿：（2）云边端融合技术可穿戴设备是可以集成到衣服中或作为植入物或配件戴在身上的、带有微控制器的智能电子设备。而交互式可穿戴认知辅助的应用正成为边缘计算的受益者之一。利用边缘计算，可以在不牺牲准确性的情况下将设备端到端延迟减少了60％至70％来自：Anempiricalstudyoflatencyinanemergingclassofedgecomputingapplicationsforwearablecognitiveassistance44应用场景1：可穿戴计算45一、虚拟化与云计算技术1.2云计算技术云计算技术前沿：（2）云边端融合技术基于Cloudlet的物联网隐私系统。隐私中介程序在传感器拥有者信任的区域内执行，并实施隐私策略，对传感数据流进行处理——TheEmergenceofEdgeComputing45应用场景2：物联网隐私保护4546一、虚拟化与云计算技术1.2云计算技术云计算技术前沿：（3）人工智能驱动下的云计算技术在人工智能驱动下的云计算技术即为智慧计算，它是云计算、大数据和人工智能深度学习的统合。计算机行业逐步由自动化和信息化向智能化转变，人脸识别、自动对话、智能制造、自动驾驶、临床诊断等智能技术日益成熟并开始被大规模应用。这些智能应用都基于海量的历史数据发展而来，后台系统运行在云平台上，并采用深度学习技术不断优化，都是智慧计算的具体应用形态。人脸识别云计算技术前沿：（3）人工智能驱动下的云计算技术一、虚拟化与云计算技术47自动驾驶一、虚拟化与云计算技术云计算技术前沿：（3）人工智能驱动下的云计算技术4849一、虚拟化与云计算技术1.2云计算技术云计算技术前沿：（4）智能运维技术在大数据云计算时代，传统的运维方法难以支撑业务需求与规模的不断扩张。智能运维（ArtficialIntelligenceforOperations，AIOps），是一种将大数据、人工智能或机器学习技术赋能传统IT运维管理的平台（技术）。智能运维通过机器学习方法从海量数据中进行异常检测与诊断，及早报告给IT部门进行快速响应和补救或无需人工干预进行主动止损，并且不断学习改进模型，适应环境变化，从而实现更快的问题解决时间，解放人力。服务（云＋边）用户（终端用户+服务提供商）工程师（开发者+操作者）一、虚拟化与云计算技术智能运维技术-资源统一监控网络管理主机系统管理中间件管理应用系统管理数据库管理1.网络自动发现360度雷达扫描视图多协议多算法自动调整自动发现详情多协议并发发现，效率高自动发现与建模2.网络设备性能管理全局性能监测设备负荷TOPN排名实时性能监控3.网络拓扑管理全局拓扑视图、拓扑分层视图拓扑试图可自定义编辑分布式拓扑模式拓扑发现深入，2、3层拓扑4.网络流量管理全局流量监测链路流量TOPN排名重要链路流量信息应用流量分析5.网络故障管理网络管理：通过多种协议的主动管理方式，实时监控网络设备性能参数，快速发现故障，及时发出告警自动发现设备性能管理网络故障管理机房监控管理网络拓扑管理50一、虚拟化与云计算技术智能运维技术-资源统一监控网络管理服务器管理中间件管理基础服务管理数据库管理机房监控管理1.业务视图（以业务角度管理IT）2.非代理监控方式3.实时性能分析

网络实时性能分析

主机性能实时分析4.关键进程监控管理5.应用指标TOP10总结应用系统管理：对网络内的主机、操作系统、数据库、中间件等应用系统的故障检测和性能管理。1.事件关联分析2.根源性告警设置3.智能化告警处理告警通知

智能告警处理，避免告警风暴4.告警详细信息展示5.经验知识库维护管理告警事件管理：将IT环境中的事件统一搜集，经过智能分析与过滤，形成告警事件，并予以通知和展示。应用监控管理告警设置平台统一告警平台性能状态51一、虚拟化与云计算技术智能运维技术-资源统一监控网络管理主机系统管理中间件管理应用系统管理数据库管理机房监控管理机房监控管理：全面的机房动力环境元素的监控，形成多维汇总报表数据，通过Portal统一展现，1.温湿度、UPS、市电等统一显示2.告警数据集成显示3.机房管理系统页面集成4.统一事件管理5.统一机房监控对比6.实时机房性能数据展示52一、虚拟化与云计算技术智能运维技术-业务系统掌控Page5353一、虚拟化与云计算技术智能运维技术-问题高效解决异常事件即时告警，定位故障万一出了事要能快速定位，解决看看设备之间的关联关系，追查故障，排除影响查看维护记录，寻求相关知识帮助排除问题，恢复业务54一、虚拟化与云计算技术智能运维技术-运维水平提升手工化的设备健康检查耗时费力，依赖命令检查技术门槛高，缺乏有效监督和提醒，问题发现不及时，巡检记录难以统计、分析。自定义设定自动巡检范围、指标、频度以及巡检报告表单；自动、手动两种方式对设备的运行状况进行巡检；自动生成巡检报告；支持巡检报告自动发送功能。自动巡检设置巡检报告55一、虚拟化与云计算技术智能运维技术-运维水平提升这台设备是谁负责？什么时候采购的？什么时候过保？如果对这台设备进行变更，会对其他设备及业务造成什么影响？向导方式完成配置导入、自动发现、权限配置、关联关系设定等系列CMDB的构建工作；可自定义扩展配置项属性；图形化设置并展示配置项间关系；可定义配置项审计任务，并进行自动化审计操作，生成审计报告；实现CMDB与资源管理的双向关联。配置关系视图配置项定义56一、虚拟化与云计算技术智能运维技术-运维水平提升人员的经验和技能该如何进行复制？如何形成知识库，达成经验积累？同类事件再次发生时，如何找出历史的解决方法供参考？实现知识在事件处理过程中积累，一步勾选添加知识库；实现知识生命周期管理，包括新建、审批、发布等；按照个人需要可自定义知识查询视图；支持知识评级管理，价值排名，且与绩效挂钩。知识一览及详情添加知识57一、虚拟化与云计算技术智能运维技术-建设结果可视化管理需要可视化5859课程提纲云边端协同技术的起源与发展四边缘计算技术二虚拟化与云计算技术一大数据管理技术三云边协同数据处理技术五本章小结六60二、边缘计算技术2.1边缘计算概述实时性不够带宽不足能耗较大不利于数据安全与隐私传统云计算发展放缓61二、边缘计算技术2.2边缘计算概述我们需要边缘计算建立物理世界和数字世界的联接与互动网络、计算、存储技术模型驱动的智能分布式架构与平台智能资产、网关、系统、服务提供开发与部署运营的服务框架方案的开发、集成、验证、发布等云计算的协同发展扩展协议与拓扑，实时处理、数据处理与分析，分布式智能，安全与隐私保护等62二、边缘计算技术2.1边缘计算概述边缘计算的诞生历史：1998年，Akamai公司提出内容分发网络CDN。2005年，美国韦恩州立大学提出功能缓存的概念，运用到邮箱以节省延迟和带宽。2009年，Satyanarayanan等提出Cloudlet的概念，强调将云服务器的功能下行至边缘服务器。Mollna提出海计算概念，指的是智能设备的前端处理。2010年，提出移动边缘计算，服务于移动用户，提升移动用户体验。2012年，思科公司提出雾计算。中国科学院提出“海云”计算，把人类本身、物理世界的设备和子系统组成的终端称为海端，更关注终端连接。2013年，美国太平洋西北国家实验室首次提出边缘计算。63二、边缘计算技术2.1边缘计算概述边缘计算是在靠近物或数据源头的网络边缘侧，融合网络、计算、存储、应用核心能力的分布式开放平台，就近提供边缘智能服务，满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。64二、边缘计算技术2.1边缘计算概述章鱼就是用“边缘计算”来解决实际问题的。作为无脊椎动物中智商最高的一种动物，章鱼拥有巨量的神经元，但60%分布在章鱼的八条腿（腕足）上，脑部仅有40%。65二、边缘计算技术2.1边缘计算概述章鱼在捕猎时异常灵巧迅速，腕足之间配合极好，从不会缠绕打结。这得益于他们类似分布式计算的“多个小脑+一个大脑”。而人类的边缘计算，也属于一种分布计算。在网络边缘的只能网关就近处理采集到的数据，而不需要将大量的数据上传到云平台。66二、边缘计算技术2.2边缘计算关键技术计算迁移计算迁移最早起源于Mahadev提出的CyberForaging计算技术，其核心思想是将资源受限的移动终端的工作任务转移到附近更强大的机器上进行计算，从而减少终端上的计算量，提高性能。在移动边缘计算中，计算迁移主要包括迁移环境感知、任务划分、迁移决策、任务上传、MEC服务器执行、结果返回等六大步骤。67二、边缘计算技术2.2边缘计算关键技术5G通信技术2018年6月14日，电信运营商、网络设备厂商、终端和芯片厂商、互联网企业等产业各方高度关注的5G独立组网功能标准正式冻结，加上2017年12月完成的非独立组网NR标准，5G已经完成了第一阶段全功能标准化工作，这标志着全球首个真正意义上完整的5G国际标准正式出台。68二、边缘计算技术2.2边缘计算关键技术5G通信技术5G移动网络与早期的2G、3G和4G移动网络一样，5G网络是数字蜂窝网络。作为下一代蜂窝网络，5G网络以5GNR(NewRadio)统一空中接口（unifiedairinterface）为基础，为满足未来十年及以后不断扩展的全球连接需求而设计。5GNR技术旨在支持各种设备类型、服务和部署，并将充分利用各种可用频段和各类频谱。69二、边缘计算技术2.2边缘计算关键技术5G通信技术5G关键技术主要介绍以下6点：超密集异构网络新型多天线传输毫米波终端直通网络切片非正交多址接入技术70二、边缘计算技术2.2边缘计算关键技术5G通信技术关键技术1：超密集异构网络4G中已经通过大规模部署小蜂窝来构建密集异构网络。随着万物互联时代的到来，数据流量将出现井喷式的增长，并主要分布在室内和热点地区。为了满足更高数据传输速率的要求，5G将进一步构建超密集异构网络来满足流量需求。71二、边缘计算技术2.2边缘计算关键技术5G通信技术关键技术2：新型多天线传输先进的多输入多输出（Multiple-InputMultiple-Output，MIMO）技术是蜂窝系统实现更高频谱效率的核心。通过在发射端和接收端分别使用多个天线，可以成倍地提高系统信道容量。4G中MIMO技术最多支持8天线，而5G中MIMO可以实现16/32/64/128，甚至更大规模。72二、边缘计算技术2.2边缘计算关键技术5G通信技术关键技术3：毫米波世界不同地区现有频段主要集中在3GHZ以下，频谱资源拥挤，而高频段频谱资源丰富，也能实现更高的传输速率。毫米波段，在30到300GHz之间，频谱带宽比4G高了10倍以上，适合5G通信系统。73二、边缘计算技术2.2边缘计算关键技术5G通信技术关键技术4：终端直通（device-to-devicecommunication，D2D）D2D技术能够在用户设备之间直接交换数据流量，除了帮助建立直接连接外，无需使用基站或核心网络。D2D通信支持基于用户邻近度的新使用模式，包括社交网络应用、点对点内容共享以及在没有网络覆盖的情况下的公共安全通信。D2D通信技术可以提高区域频谱效率，提升蜂窝网络覆盖范围、减少端到端延迟并降低功耗。74二、边缘计算技术2.2边缘计算关键技术5G通信技术关键技术5：网络切片5G网络将面向不同的应用场景，比如，超高清视频、VR、大规模物联网、车联网等，不同的场景对网络的移动性、安全性、时延、可靠性的要求是不一样的，因此，需要将一张物理网络分成多个虚拟网络，每个虚拟网络面向不同的应用场景需求。75二、边缘计算技术2.2边缘计算关键技术5G通信技术关键技术6：非正交多址接入技术（Non-OrthogonalMultipleAccess，NOMA）NOMA可以利用不同的路径损耗的差异来对多路发射信号进行叠加，从而提高信号增益。它能够让同一小区覆盖范围的所有移动设备都能获得最大的可接入带宽，可以解决由于大规模连接带来的网络挑战。NOMA的另一优点是，无需知道每个信道的CSI（信道状态信息），从而有望在高速移动场景下获得更好的性能，并能组建更好的移动节点回程链路。76二、边缘计算技术2.2边缘计算关键技术边缘计算编程模型边缘计算的编程效率不如已广泛采用大量编程框架的云计算的编程效率。边缘计算中海量边缘设备种类繁杂，分别运行着不同的平台，传统的编程方式无法适应边缘环境下应用需求，需要开发新型编程模型，如firework模型。77二、边缘计算技术2.2边缘计算关键技术边缘计算编程模型firework模型将来自多个利益相关方的数据融合为一个虚拟的共享数据集，该数据集是数据和数据所有者预定义功能的集合，并使用隐私保护功能来保护数据隐私，只向目标用户分享敏感知识，防止资料泄漏。firework模型将应用分解为子服务，用户可以直接订阅中间数据，并利用现有的子服务组合新的应用。firework模型为服务提供商和终端用户提供一个易于使用的编程接口。78二、边缘计算技术2.2边缘计算关键技术新型网络技术边缘计算将计算推到靠近数据源的边缘设备上，网络拓扑可能是高度动态变化的，导致网络中存在很多突发流量，而服务请求者对计算或服务实时性要求较高，并且要保证时间的准确性和数据的完整性，因此需要好的服务发现与快速配置机制。针对这个问题，一些新型网络架构（命名数据网络（NamedDataNetworking，NDN）、软件定义网络（SoftwareDefinedNetworking，SDN）等）可以应用到边缘计算场景中。79二、边缘计算技术2.2边缘计算关键技术新型网络技术（1）命名数据网络NDNNDN提出将互联网架构的焦点从当前的“where”（位置）更改为“what”（内容），以命名内容（数据）而不是IP为中心来解决这些挑战。NDN包中的名称可以命名任何东西——端点、电影或书籍中的数据块、打开某些灯光的命令等等。这种概念上的简单改变允许NDN网络使用几乎所有已经经过测试的互联网工程特性来解决更广泛的问题，不仅包括端到端通信，还包括内容分发和控制问题。80二、边缘计算技术2.2边缘计算关键技术新型网络技术（2）软件定义网络SDN在现在的TCP/IP网络中，根据预定义的策略配置网络和重新配置网络以响应故障、负载和变化都很困难。更困难的是，目前的网络也是垂直集成的:控制平面和数据平面捆绑在一起。SDN是一种新兴的范式，它引入网络编程能力，将网络的控制逻辑与底层路由器和交换机分离，打破了垂直集成，促进网络控制（逻辑上）的集中化。81二、边缘计算技术2.3边缘计算的优缺点优点低成本。低时延。可靠性高。可扩展性高。缺点新的攻击方式。更多本地硬件。异构互操作性。算法难以更新。82二、边缘计算技术2.3边缘计算的优缺点是边缘计算的基础。所联接物理对象的多样性及应用场景的多样性，需要边缘计算具备丰富的联接功能联接性拥有大量、实时、完整的数据，可基于数据全生命周期进行管理与价值创造，也面临数据实时性等挑战数据第一入口需要考虑通过软硬件集成与优化，以适配工业现场相对恶劣的工作条件与运行环境约束性实际部署天然具备分布式特征，要求支持分布式计算与存储、分布式资源的动态调度与统一管理等能力分布性是行业数字化转型的重要基础。作为其关键承载，需要支持在联接、数据、管理、控制、应等方面的协同融合性智能手表智能手机家用电脑三、大数据管理技术2.4边缘计算的智能设备智能传感器传感器实时或定时采集设备、环境、子系统的状态信息后，就地实现对数据的归类、分析、封装，减少数据上传后再计算分析的时间和资源消耗，提高系统监测效率。83可编程逻辑控制器（PLC）

PLC本质上就是一台具备编程、运算、控制、输出等能力的智能电脑，只是根据工业生产、行业应用的需求进行了适应性融合设计。PLC同样在边缘端低延时、高效率地管理、控制设备运行。

边缘智能路由器实现将有线/4G全网通联网方式、高速路由、WIFI支持、本地存储、设备监测及前端设备控制等功能集合一体，丰富的行业接口和应用功能接口，支持对复杂功能的边缘设备的一站式接入，提高数据通信的集中化水平和高效率。84二、边缘计算技术2.5边缘计算的业界案例CloudletCloudlet于2009年由卡内基梅隆大学教授Satyanarayanan提出，到现在一直在不断发展，成为学术界相对成熟的边缘计算系统之一。Cloudlet在云和边缘设备之间增加了“Cloudlet”层。Cloudlet层位于边缘设备附近，是一个资源丰富的微型数据中心，可以像云一样为局域网用户提供计算服务，因此又被称为“小朵云”或“盒子汇总的数据中心”（DataCenterinabox）。85二、边缘计算技术2.5边缘计算的业界案例ParaDropParaDrop是由威斯康星大学麦迪逊分校开发的开源边缘计算平台。ParaDrop在网络的“极端边缘”处启用边缘计算，如Wi-Fi路由器上，它们距离数据源仅有一跳。Paradrop作为计算平台非常灵活。开发人员可以使用他们在云计算环境中使用的任何编程语言，库和框架。此外，基于Linux容器技术构建的Paradrop提供了一个类似于云服务提供商的运行时环境。86课程提纲云边端协同技术的起源与发展四边缘计算技术二虚拟化与云计算技术一大数据管理技术三云边协同数据处理技术五本章小结六三、大数据管理技术3.1大数据管理技术概念大数据主要特征不仅来源于我们的主动获取，更来源于信息系统的自然产生珠穆朗玛峰8.8公里协和飞机15公里欧洲电子对撞机1年数据量-CD存储约20公里VolumeVolumeVarietyVolume多样性VeracityVolume真实性VelocityVolume时效性海量性数据规模指数级增长，2020年前全球数据量大约2年翻1倍(2000年800TB，2012年2.7ZB，2020年预计44ZB)人类所获得数据中，90%为过去2年内所产生从文本数据为主发展到以视频、图片等非结构化数据为主用1台最快的商用计算机仅把1PB数据读入内存就要约6天时间用4000台计算机对1PB数据排序就需约6小时充斥着大量伪数据、无效数据、过时数据ValueVolume潜在价值大数据价值密度低87三、大数据管理技术3.1大数据管理技术概念简单来说，大数据管理是对大量结构化和非结构化数据的组织，管理和治理。大数据管理与数据生命周期管理（datalifecyclemanagement，DLM）的思想密切相关，DLM是一种基于策略的方法，用于管理数据在生命周期中的流动：从创建到存储到它过时被安全删除，如图中所示。88三、大数据管理技术3.1大数据管理技术概念IDC发布的《数字时代2025》中指出，到2025年全球数据量预计达175ZB，这样庞大的数据量如果利用好能够提供巨大价值。公司、政府机构及其他组织可以采用大数据管理策略来帮助他们处理大型、多样化、快速变化的数据集，并从各种来源的数据集中找到有价值的信息。89三、大数据管理技术3.2大数据管理系统在大数据时代，不断增长的数据量、快速处理数据（数据速度）的需求以及数据类型、结构和来源的多样性给我们带来了全新的挑战，传统的数据管理系统已经捉襟见肘。高效数据存储和处理的需求促使多种新的大数据系统被开发出来，这些系统通常被分为三个阵营：Hadoop相关系统（涵盖高级语言和结构化查询语言（SQL））已成为多数大数据应用的实际解决方案；数据库管理系统（DBMSs）和NoSQL数据库在线上事务及分析中被广泛使用；在大数据领域，人们对于图数据、流数据和复杂科学数据的特殊处理需要产生了对专用系统的需求。90三、大数据管理技术3.2大数据管理系统Hadoop相关系统Hadoop是一个开源的分布式框架，可以实现在由大量服务器组成的集群上，通过分布式的计算模型和存储模型处理大数据集。Hadoop具有高容错性，可靠性，可扩展性等优势。91三、大数据管理技术3.2大数据管理系统Hadoop相关系统随着以Hadoop为中心的系统在工业界取得了巨大的成功，各种各样在Hadoop上开发的系统出现了，主要有以下两类。Hadoop的高级语言。此类系统开发有两个目标。第一个目标是简化HadoopMapReduce作业的开发并自动优化它们的执行，从而使开发人员能够专注于编程逻辑。（如PigLatin、ApacheTez、Twill）第二个目标是为了满足不断增长的实时数据提取的需求。（如Spark）Hadoop的SQL。为了解决实时查询数据的问题，此类系统将SQL接口添加到Hadoop中。（如ApacheHbase、ApacheTajo、ApacheTajo、SparkSQL）92三、大数据管理技术3.2大数据管理系统数据库关系型数据库最典型的数据结构是表，由二维表及其之间的联系所组成的一个数据组织。优点：

1、易于维护：都是使用表结构，格式一致；

2、使用方便：SQL语言通用，可用于复杂查询；

3、复杂操作：支持SQL，可用于一个表以及多个表之间非常复杂的查询。

缺点：

1、读写性能比较差，尤其是海量数据的高效率读写；

2、固定的表结构，灵活度稍欠；

3、高并发读写需求，传统关系型数据库来说，硬盘I/O是一个很大的瓶颈。关系数据库93三、大数据管理技术3.2大数据管理系统数据库非关系数据库非关系型数据库严格上不是一加粗样式种数据库，应该是一种数据结构化存储方法的集合，可以是文档或者键值对等优点：

1、格式灵活：存储数据的格式可以是key,value形式、文档形式、图片形式等等，文档形式、图片形式等等，使用灵活，应用场景广泛，而关系型数据库则只支持基础类型。

2、速度快：nosql可以使用硬盘或者随机存储器作为载体，而关系型数据库只能使用硬盘；

3、高扩展性；

4、成本低：nosql数据库部署简单，基本都是开源软件。缺点：

1、不提供sql支持，学习和使用成本较高；

2、无事务处理；

3、数据结构相对复杂，复杂查询方面稍欠。94三、大数据管理技术3.2大数据管理系统专用系统在学术界、工业界和管理界中越来越多地使用图数据、流数据和科学数据，这促使了许多专用系统的产生。与通用的大数据系统相比，这些专用系统的设计是为了在执行复杂查询或分析特定数据类型时提供更好的性能。95三、大数据管理技术3.2大数据管理系统专用系统图数据图数据库，如Neo4j；分布式图处理系统，GooglePregel，Giraph、Graphx、HaLoop。流数据开源社区的流分析系统（如ApacheStorm、SparkStreaming和Samza）工业界的流分析系统（如IBM的InfoSphereStreams和TIBCO）。科学数据SciDB（一个用于管理PB级科学数据的分析数据库）。MAKER、WorkQueue（为促进基因组数据大规模并行处理而开发的系统）。96三、大数据管理技术3.3大数据管理挑战数据孤岛：在大多数组织中，不同的业务部门将信息存储在各自的数据库中，同时不同数据库中可能存在相似但不完全相同的信息，形成了“数据孤岛”的现象。不断增长的数据存储：数据量较小的时候，修复破损记录非常容易，但是对于一家拥有数百万客户的全国性大企业来说，则大大加大了复杂性。数据和体系结构的复杂性：企业通常同时具有结构化数据和非结构化数据并且数据可能以各种不同的格式存储。97三、大数据管理技术3.3大数据管理挑战确保数据质量：人为错误是另一大问题。当数据驱动的组织使用人工输入的信息作为主要业务决策的基础时，简单的错字可能会带来灾难性的后果。数据专家短缺：训练有素的数据专业人员缺乏，能够传递价值的数据专家有限。数据安全性和完整性：大量通信链路及互联节点存在，黑客可能利用任何漏洞对数据管理系统及数据本身进行攻击。大数据处理成本：从数据采集阶段开始，大数据管理就需要大量费用。9899课程提纲云边端协同技术的起源与发展四边缘计算技术二虚拟化与云计算技术一大数据管理技术三云边协同数据处理技术五本章小结六四、云边端协同技术的起源与发展4.1云边协同概念13边缘计算边缘计算是指靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台云计算对于网络带宽，云服务器计算能力有着较高的需求，可以把云计算的一部分任务放到边缘端以进行高效计算云边协同2云计算指的是通过网络将巨大的数据计算处理程序分解，然后经过中心服务器分析处理云计算100四、云边端协同技术的起源与发展4.1云边协同概念中国工业互联网产业联盟AII在其2017年发布的《工业互联网平台白皮书（2017）》中关于工业互联网平台功能架构图的描述中，已经初步呈现了边云协同的理念。“第一层是边缘，通过大范围、深层次的数据采集，以及异构数据的协议转换与边缘处理，构建工业互联网平台的数据基础。一是通过各类通信手段接入不同设备、系统和产品，采集海量数据；二是依托协议转换技术实现多源异构数据的归一化和边缘集成；三是利用边缘计算设备实现底层数据的汇聚处理，并实现数据向云端平台的集成。”101四、云边端协同技术的起源与发展4.1云边协同概念2020年发布的《边缘计算与云计算协同白皮书2.0》中指出，“边云协同的能力与内涵，设计IaaS、PaaS、SaaS各层面的全面协同。ES-IaaS与云端IaaS应可实现对网络、虚拟化资源、安全等的资源协同；EC-PaaS与云端PaaS应可实现数据协同、智能协同、应用管理协同、业务管理协同；EC-PaaS与云端SaaS应可实现服务协同。”102四、云边端协同技术的起源与发展4.2云边协同产业实践云边缘云边缘：云服务在边缘侧的延伸，逻辑上仍是云服务，它将共有云能力下沉到边缘数据中心及边缘设备上，服务提供依赖于云服务或需要与云服务紧密协同，从而实现边缘基础设施服务、边缘IoT服务、边缘数据存储/迁移服务等。103四、云边端协同技术的起源与发展4.2云边协同产业实践边缘云边缘云：在边缘侧构建中小规模云服务设施，服务能力主要由边缘云提供，集中式数据中心侧主要提供边缘云的管理调度能力。边缘云将网络存储、转发、计算等任务放在边缘处理，减轻云端压力并提供全网调度、算力分发等云服务。分布式IDC、多接入边缘计算MEC、CDN等属于此类。104四、云边端协同技术的起源与发展4.2云边协同产业实践新基建与边缘计算新型基础设施建设（简称：新基建），涉及诸多产业链，是以新发展为理念，以技术创新为驱动，以信息网络为基础，面向高质量发展需要，提供数字转型、智能升级、融合创新等服务的基础设施体系。新基建七大核心领域与边缘计算紧密相关，为边缘计算迎来了新的风口。边缘计算将与5G、人工智能大数据等技术协同发展，推动云边协同产业落地，构建万物智能互联的时代。105四、云边端协同技术的起源与发展4.3云边协同挑战资源难于管理。边缘平台与用户设备数量广、异构型高、分布广泛，而云-边-端三者协同形成混合计算平台，跨度广，实时性要求高，云端对三者资源的管理具有极大挑战。任务卸载复杂。为了充分发挥整个云边平台的计算力，提高计算效率和计算水平，任务的卸载调度需要进行细粒度的切割与划分，这也为云边协同应用的实现增加了挑战。数据共享不易。云端与边缘端共享难度大。边缘与边缘之间共享难度大。边缘与设备之间共享难度大。开发调试不便。云平台技术发展已较为成熟，开发者可依照完备的技术文档进行工作，而云边协同环境中，边缘设备平台海量异构，无法用传统的编程语言去实现应用，需要进一步探索。106107课程提纲云边端协同技术的起源与发展四边缘计算技术二虚拟化与云计算技术一大数据管理技术三云边协同数据处理技术五本章小结六五、云边协同数据处理技术5.1驱动因素传统云计算无法满足数据源用户的需求，边缘计算应运而生，并发展到今天的云边协同阶段，与此同时，数据处理应用也随之改变，逐步适应着用户需求的变化。这一现象背后有很多因素驱动着。这里介绍最重要的三个因素：数据来源、网络通信技术和数据处理模式。108五、云边协同数据处理技术5.1驱动因素数据来源大数据来源大致可分为两类：一类来源于人类社会活动，另一类来源于物理实