互联网边缘云平台架构

互联网边缘云平台架构本文件适用于互联网边缘云或行业边缘云平台的开发和建设。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款引用文件，仅该日期对应的版本适用于本文件不注日期的引用文件，其最新版本(包括所有的修改版本)适用于本文件GB/T32399—2015信息技术云计算参考架构GB/T32400—2015信息技术云计算概览与词汇3术语和定义GB/T32399—2015和GB/T32400—2015界定的以及下列术语和定义适用于本文件。云计算cloudcomputing为云服务客户提供云能力类型中的基础设施能力类型的一种云服务器类别。为云服务客户提供云能力类型中的平台能力类型的一种云服务类别。软件即服务sofwareasaservice;Sas2为云服务客户提供云能力类型中的应用能力类型的一种云服务类别。一种在网络边缘或靠近用户接入点侧部署云计算能力的平台。4互联网边缘云概述4.1互联网边缘云定义互联网边缘云平台，是一种在网络边缘或靠近用户接入点侧部署云计算能力的平台。该技术将传统的集中式云计算能力下沉，让靠近用户的网络边缘侧提供计算、存储、网络、加速、人工智能及大数据处理等能力，同时为第三方服务应用提供开放的部署平台，面向用户提供种类多样的第三方服务，最终实现节省后向带宽、低时延、大连接的高效服务分发。传统的集中式云计算将业务处理数据回传至云数据中心，采用集中式数据存储，并利用超强的计算能力来集中式解决计算和存储问题。但是随着万物互联时代的到来，各类业务如车联网、工业控制、4K/8K、虚拟现实或增强现实技术等所产生的数据量呈现爆炸式增长，以及对时延、带宽和安全等方面的严格要求，简单的集中式云计算平台都将无法满足边缘云是结合云计算、大数据、人工智能及物联网等技术并支撑各行业数字化转型的关键基础设施。未来，边缘云将提供更加开放的边缘业务能力平台，为应用开发者提供丰富的平台服务能力及统一接口，降低开发门槛和成本，支撑上下游生态的集成，从而加速边缘应用的创新、业务孵化和商用推进。4.2互联网边缘云需求cMBB(EnhancedMobileBroadband):以8K视频、3D视频、VR/AR为代表的增强宽带业务将对网络带宽产生数百Gbps的超高需求，从而对回传网络造成巨大传输压力。单方面投资扩容汇聚与城域网络将大幅提高单位媒体流传输成本，无法实现投资收益URLLC(UItra-ReliableLow-LatencyCommunications):以V2X、工业互联网为典型代表的超可靠低时延业务需要端到端1ms级超低时延支撑。仅仅依赖无线与固网物理层与传输层技术进步，无法满足苛刻的时延需求。需要根据垂直行业特点，引入网络与行业应用部署创新。mMTC(MasiveMachineTypeCommunication):以智慧城市、智能楼宇为典型代表的海量连接业务将产生海量数据，导致运营管理的巨大挑战。各种实践表明，仅仅由云端集中统一监控无法支撑如此复杂的物联系统，必须引入本地化的智能控制与管理技术4.2.2其他业务需求互联网业务；一些中小规模的公司需要购买边缘云服务或者边缘资源，实现自定义的计算和流量加速。业务场景包括：部署CDN(ContentDeliveryNetwork),直播代理等。5边缘云的部署架构与位置35.1按区域和时延分级分布式云架构按照区域和时延进行分类，可将中心云、区域云和边缘云分成以下三级架构，如图1所示：中心云(大区级)区域云(省级)边爆云(地市级)边柳云(区县级图1按区域和时延规范分布式云架构a)中心云：中心云部署在大区级位置，即：国内特大城市，全国范围内中心云数量不超过10个，业务端到端时延80ms以内。中心云不部署互联网边缘云业务网元模块，主要部署互联网边缘云统一云管平台和管理编排节点，包括业务管理和编排模块、云管平台、操作支持系统系统等。中心云将提供集中运维、统一生命周期管理、统一编排、统一配置分发能力b)区城云：区域云部署在省级位置，即：国内省会城市和较重要的地级市，保证端到端时延50ms以内。某些互联网厂商，可能不包含此类省级节点。区域云主要用于部署互联网边缘云管理面，并同中心云进行协同管理，实现对整个区域内互联网边缘云业务的管理和编排，并完成业务开通、周期管理和维护。对于部分运营商和互联网厂商合作的场景，区域云还可能部署虚拟化核心网控制面网元，用以实现网络功能虚拟化和虚拟化功能管理c)边缘云：边缘云分为地市级和区县级边缘云。边缘云地市级部署位置在各省分的地级市，对应网络架构中的网络汇聚层，端到端时延为20ms以内。边缘云区县级部署位置在各省分的县级市和县级以下单位，对应网络架构中的接入站点或靠近基站侧，端到端时廷10ms以内。边缘云将实际部署业务模块和业务网元，同时边缘云需要为业务方提供足够的各类软硬件资源。在管理节点方面，边缘云由于资源容量限制。可仅部署轻量级管理节点，采用远程运维和拉远管理答方式。另外。在边缘云基础设施上，互联网边缘云还提供各类能力开放，供各类互联网应用进行业务优化和场景赋能。对于运营商和互联网厂商合作的边缘云，该边缘云可实现虚拟化网元和边缘云业务共平台部署，如本地分流、基站信息开放等：d)设备接入层：该层不属于分布式云三级架构，但是是接入互联网边缘云的主要组成部分，同时部分接入设备具备一定的计算能力。设备接入层包括以家庭网关、面向工程的智能设备、物联网设备、工业级控制器等组成。设备接入层主要实现设备数据采集、少量本地计算的功能5.2按照业务要求分级分布式云架构5存储硬件用于边缘云储存信息，存储形式包括：分布式存储和集中式存储等。网络硬件主要用于信令收发、业务流量转发、路由控制等功能。包括：智能网卡、DPDK (DataPlaneDevelopmentKit)、SR-IoV(SingleRootIOVirtualization)等。边缘云对网络加速能力的支持也应考虑，包括各类网络转发面加速硬件的配置，如现场可编程门阵列、专门应用的集成电路等。8虚拟化资源8.1虚拟机资源池互联网边缘云可构建虚拟机资源池。虚拟机资源池在一台物理服务器上，运行多台“虚拟服务器”,虚拟机之间都是独立的服务器，它们共享边缘云服务器的计算资源、存储资源、网络资源等互联网边缘云可支持Hypervisor型和宿主模型。互联网边缘云可支持容器化部署及构建容器资源池的能力。容器化封装是云原生应用的三大特征之一。容器化的交付方式，不仅有助于实现应用的快速部署和扩展，还可以实现进程级隔离，保证开发、交付和运维的一致性。容器化资源池主要是应对在5G网络业务需求多样化的背景下，利用轻量级的容器技术，配合微服务、DevOps等技术概念，能够提升平台架构的灵活性和丰富性。实际业务部署时，需考虑容器化的安全性风险等问题。8.3裸金属资源池互联网边缘云可支持构建裸金属资源池，用于规模较大条件较好的边缘机房。裸金属资源池(BareMetal)作为专属物理服务器，在拥有弹性灵活的基础上，具有高性能的计算能力。计算性能与传统物理机无差别，具有安全物理隔离的特点。对于互联网边缘云的某些应用场景，对数据安全和监管要求非常严格，虚拟机无法满足用户要求，需要独占物理机，提供裸金属服务器较为合适8.4网络虚拟化网络虚拟化就是在一个物理网络上模拟出多个逻辑网络来。互联网边缘云可选的网络虚拟化方式包括虚拟局域向，即虚拟局域网，虚拟专用网，以及虚拟网络设备等。可选的支持协议包括互联网安全协议、第二层转发协议、工业标准的互联网隧道协议、点对点隧道协议等。存储虚拟化就是对存储硬件资源进行抽象化表现。典型的虚拟化包括如下一些情况屏蔽系统的复杂性，增加或集成新的功能，仿真、整合或分解现有的服务功能等。虚拟化是作用在一个或者多个实体上的，而这些实体则是用来提供存储资源或及服务的。互联网边缘云可选的支持存储虚拟化的方式包括基于主机的虚拟存储、基于存储设备的虚拟化和基于网络的虚拟存储等方法。68.6GPU(图形处理器)虚拟化GPU虚拟化是指，可以让运行在数据中心服务器上的虚拟机实例共享使用同一块或多块GPU处理器进行图形运算。边缘云业务中，视频处理、人工智能、渲染等场景，对GPU要求较高，因此对GPU虚拟化的支持是互联网边缘云需要具备的能力互联网边缘云可选的支持GPU虚拟化的方式包括集中GPU虚拟化实现、远程接口、GPU设备仿真、透传、全虚拟化、分片虚拟化等方式8.7.1集中拉远管理拉远管理的核心在于互联网边缘云不配置管理模块。通过将虚拟化管理模块集中部署在区域云或中心云的方式，仅保证计算节点与控制节点之间三层网络互通即可(以实现快速安装，管理，物理资源管理等功能)。存储采用计算存储超拉远管理涉及到基础设施、网元、网络的分级统一管理。拉远管理需要考虑网络抖动或不可靠时的集群自治问题。8.7.2本地轻量化下沉轻量化下沉方案，指互联网边缘云可考虑部署精简的管理节点和计算节点。轻量下沉主要是应对资源受限的场最，同时保证互联网业务快速部署、便捷管理、无人值守维护等目标。轻量化下沉应该是以实现互联网厂商边缘自治为目标，自治之外的冗余组件都可以去掉。可参考的轻量下沉方式如下：虚拟化节点提供无状态部署能力，当互联网边缘云整体规模超过一定的服务器规模的情况，使用独立的物理管理节点小于一定的服务器规模时，使用虚拟管理节点。所有的轻量下沉方案中，均可采用双机高可用配置。推荐的本地轻量化下沉实现方式主要包括云管平台组件裁剪、操作系统组件裁剪、轻量化存储方案、减少业务管理进程模块等。9边缘云本地管理组件9.1虚拟资源管理VIMVIM,管理虚拟资源的平台，管理一个域下的虚拟基础设施，包括计算、存储、网络等资源。在整个三层分布式云架构中，每个边缘云、区域云和中心云都对应一个虚拟基础设施，都由一个虚拟资源管理模块来管理。VIM不仅实现对虚拟机资源的管理，同时也能够实现对容器化资源池和裸金属资源池的管理9.2物理基础设施管理服务器、网络交换机、存储磁阵等通用硬件的管理，可以通过物理设施管理软件(PIM)实施。目标是为虚拟化层提供统一、稳定、可靠、高效的物理基础设施。9.3虚拟网络功能管理VNFM7互联网边缘云在某些场景下，需要同共平台部署的运营商下沉用户面网元进行协同，如：本地分流等，因此，需要在管理面部署VNFM。该管理网元主要负责VNF网元的生命周期管理，包括VNF网元的创建、修改、删除、弹性扩缩容等对于同运营商合作共建的互联网边缘云边缘业务平台。可能会部署运营商虚拟化网元VNF。因此，可能会部署网元编排功能，用于对虚拟化网元进行管理和编排。9.5边缘云运维随着业务的发展，分布式云的规模不断扩大，高度自动化的运维是必然选择互联网边缘云需支持自动化及无人值守运维功能。依靠大数据和AI等技术，驱动运维进一步走向智能，能实现自动化运维和无人值守运维(Zero-touchO&M)。同时，边缘云运维还要支持边缘云日志、数据监控、SLA等功能。互联网边缘云平台内置安全模块，能够实现平台安全防护、数据安全防护、网络安全防护、身份认证与管理、租户隔离、租户计费等功能。边缘云管理部分除了管理边缘云自有资源和接入设备以外，还需要对上(区域云、中心云)提供接口，用以中心云、区域云进行边缘云统一的编排管理。对于同运营商合作共建的互联网边缘云边缘业务平台，电信级网元的运维都在区域云或中心云，边缘云不配置电信网元运维功能。10边缘云能力开放边缘云需要提供PaaS平台，为APP提供快速集成能力和生态兼容环境。边缘云平台不仅提供各种基础服务能力，通过制定MEC-EnabledAPI规范，对外提供通用的能力开放框架，服务于第三方应用，并对其进行管理，边缘云平台可以安全高效地将基础网络服务能力提供给第三方应用消费，还可在第三方应用之间实现服务能力的可靠共享，促进丰富的边缘应用生态，以满足各种边缘应用场景，10.1平台基础能力10.1.1边缘APP与服务的管理主要包括APP或者服务的注册、订阅、发布、查询、删除、注销等部署于互联网边缘云平台的APP,可以从互联网边缘云平台获取其需要的服务，也可以通过互联网边缘云平台，对外提供调用接口，来提供服务供其他用户使用。为了实现上述目的，互联网边缘云平台需要支持对APP的管理。对第三方应用提供如下功能：a)服务/应用注册和发现：b)服务/应用终止和注销：810.1.2微服务框架互联网边缘云平台应提供微服务框架及相关能力。微服务框架是指将大型复杂软件应用拆分成多个简单应用，每个简单应用描述着一个小业务，系统中的各个简单应用可被独立部署。各个微服务之间是松耦合的，可以独立地对每个服务进行升级、部署、扩展和重新启动等流程从而实现频繁更新而不会对最终用户产生任何影响。相比传统的单体架构，微服务架构具有降低系统复杂度、独立部署、独立扩展、跨语言编程等特点。微服务框架及相关能力有助于实现边缘云弹性、敏捷、快速部署等特点10.1.3用户身份识别能力互联网边缘云业务平台应实现对第三方应用的身份进行认证，只有经过授权的第三方应用发出的API请求，平台才会接纳并转发到平台内部的服务中去。经过授权的边缘云平台应用实例可根据用户身份激活或者去激活与之关联的配置规则。利用身份识别服务，第三方应用可将外部应用标识映射为用户在移动网络内部的标识，实现面向特定用户的数据操作。接入管理方面，采用规范模块的开放接口定义、权限与范围，实现安全可靠的接入认证，实现最小授权的访问控制。采取隔离措施，隔离组件的数据面与控制面，防止数据面的异常导致控制面混乱。进行安全监控，漏洞管理，包括平台及应用的漏洞，可以对版本、漏洞进行自动扫描并预警，提供应用安全感知及加固的辅助措施检测流量和成胁，包括流量中的恶意流量、入侵攻击、病毒木马等。提供从下到上的异常报警机制，对报警进行收集分析，并创建异常应对措施库，提升平台的健壮性。重要数据需要高可控、高可用，以加密的方式进行网络传输，来保障数据的安全性。10.1.5云边协同互联网边缘云应支持云边协同能力，实现中心云-区域云-边缘云-终端各个层级的协同及保10.2运营商边缘云能力10.2.1分流能力基于互联网边缘云平台的分流能力可以把一部分业务导向到本地网络，如园区网、校园网中，或者分流到部署在边缘业务平台上的应用中，级解传输带宽压力，同时减少时延，提升低时延高带宽业务的用户感知。分流能力的实现需要运营商提供用户面网元下沉，并同互联网边缘云平台配合完成，如图3所示：当各种应用部署在边缘云平台上后，它们对带宽等网络资源的需求各不相同。针对不同的应用，带宽管理服务可进行各种控制操作，包括带宽大小、优先级、静态带宽分配或动态带宽分配策略等，并能根据针对第三方应用的服务策略进行统一管理10.2.6切片能力互联网边缘云应具备支持切片能力。通过基于5G服务化架构的网络切片技术，运营商将能够最大程度地提升网络对外部环境、客户需求、业务场景的适应性，提升网络资源使用效率，最优化运营商的网络建设投资，构建灵活和敏捷的5G网络。10.3互联网边缘云能力10.3.1状态迁移能力状态迁移能力，是指边缘云平台应打通各层级之间的网络互通和数据互通，以确保在某层边缘算力紧张的时候，进行算力的迁移，即在另外一个层级快速恢复新的服务；对应IDC内部其实就是虚机和容器的迁移。如无法实现边缘虚拟机和容器的迁移，则可考虑将关键的状态进行迁移，或定期同步备份，以确保能极低的延时重建服务，确保用户体验的连续性。该能力未来还将涉及到跨运营商的切换涉及到不同的边缘云平台的切换，因此可能需要一个第三方的边缘云平台进行全局的协作确保跨运营商时服务的连续性。10.3.2多层级资源统一调度能力多层级资源统一调度能力，是指边缘云要将所有边缘资源纳管，统一调度。多层级资源统一调度可以从算法模型上，结合“端边云”统筹考虑。对于通用的计算模型，搭建统一的计算框架，结合实际的场景，确定将何种类型的计算模型调度到何种类型的边缘算力平台上，以达到最优的效果。10.3.3视频实时编解码能力为了支持本地视频直播、本地视频监控、视频云游戏等媒体类业务，需要边缘业务平台具备实时编解码服务的能力。10.3.4缓存能力互联网边缘云平台应支持透明缓存模式进行互联网热点内容的本地缓存。边缘云服务器和缓存服务器部署于边缘市点，通过应用层数据解析，判定为热点内容并进行本地缓存。若用户访问内容在本地命中，则从级存服务器提供服务对于未命中内容，数据包进行隧道包头封装，经核心网从源服务器下载。10.3.5视频非编能力互联网边缘云平台可搭载视频非编相关能力，包括增强现实或虚拟现实泊染、3D全息、视频非线性编辑、多角度视频切换与整合等，以应对5G时代eMBB类场景在边缘云平台的相关处理，提升终端用户的视频感知与用户体验感。10.3.6人工智能能力