中国联通5G+3D机器视觉技术发展白皮书

1中国联合网络通信有限公司8月2声明除外)，汇编、单位将追究其相关法律责任。3编写说明中国联通5G+3D机器视觉技术发展白皮书以5G网络技术及端边云协同发展为驱动，在梳理3D机器视觉的发展、5G网络及关键技术对3D机器视觉的影响的基础上，进一步推出了中国联通5G+3D机器视觉技术框架，并结合具体案例场景，进行详细说明。为建设业界领先的3D机器视觉专项基础能力服务平台，中国联通紧握5G抓手，联合生态建设伙伴，构建了覆盖3D机器视觉数据采集、传输、建模等系列流程中，多行业多场景的端边云协同融合机制，并以此为核心，依靠5G网络提供的数据传输保障，弱化3D机器视觉应用中软硬件的强耦合关系，促进算力的云化、上移，以集约化管理持续推动行业高质量发展。牵头编写单位：中国联合网络通信集团有限公司参与编写单位：华为技术有限公司、天津大学、青岛海信通信有限公司、北京翼辉信息技术有限公司、伟景智能科技有限公司、深慧视科技有限公司4编写说明 313D机器视觉发展背景 61.13D机器视觉概述 61.23D机器视觉技术原理 71.33D机器视觉典型场景及发展趋势 101.3.1典型场景 101.3.2发展趋势 1125G网络对3D机器视觉的影响 132.15G网络核心特征 132.25G网络关键技术及对3D机器视觉的价值 132.2.1SUL/超级上行解决方案 132.2.2大上行专属帧结构解决方案 142.3面向2025年的5G网络关键技术及对3D机器视觉的价值 152.3.1上行MIMO增强 152.3.2灵活时隙配比/灵活双工技术&TDD全上行技术 162.3.3全上行频谱解耦： 172.3.4多终端协同 172.45G+3D机器视觉发展技术要求 182.4.15G+3D机器视觉端边云协同策略 182.4.2方案部署影响因素 202.5中国联通5G+3D机器视觉技术框架 2135G+3D机器视觉典型应用案例 243.1端云协同：煤流检测 243.2端超边与边协同：钢板瑕疵检测及分类分级 253.3端边协同：挂车车体关键尺寸测量 2653.4端云协同：无人机立体测绘 293.5典型应用场景分类 314总结与展望 34613D机器视觉发展背景13D机器视觉概述机器视觉是指通过光学装置和非接触传感器等图像采集装置，将被摄目标的不同特征转变成数字化信号，传送给专用的图像分析处理系统，图像处理系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的一种技术。通俗地讲，机器视觉就是为机器赋予了一双眼睛。机器视觉在工业制造领域的广泛应用可以在大幅提高生产效率和产品质量的同时，提高生产的柔性和自动化程度。其体量巨大，易于落地并产生规模效益。表格1机器视觉目标及应用机器视觉系统主要包含光源、图像采集与传输装置、图像分析处理系统、展示与控制系统等四部分。其中，根据处理图像形式或结果的不同，机器视觉可以分为2D机器视觉和3D机器视觉。近几十年来，2D机器视觉已被广泛应用于条码读取、目标跟踪和在线智能检测等领域。随着工业互联网发展对技术要求的不断升级，用户对目标对象的深度信息有了更高要求，而3D相机特有的深度信息采集功能，恰好可以满足这样的市场需求。2D机器视觉：通过线阵扫描相机或面阵扫描相机采集待检测物体的平面图7像，完成相关的需求检测。其中，线阵相机通常用于幅面较宽，速度较快，精度要求高的流水线产品或圆柱等曲面的实时采集，例如印刷品、纺织品的瑕疵检测等；面阵相机应用更为广泛，大多数常见检测设备执行的都是面阵扫描。3D机器视觉：数据采集装置通常由多台相机或者一台或多台激光位移传感器组成。3D机器视觉可以获得待测物体的完整空间坐标信息(即XYZ三维立体信息)，被广泛应用于机器人引导应用中，提供方位信息。同时，基于激光位移传感器的3D机器视觉能够采集物体表面的高精度深度信息，被广泛应用于产品质检、物料体积检测等环节。以轮胎划痕检测场景为例，2D机器视觉只能识别划痕的粗细和长度信息，而3D机器视觉由于包含深度信息，能够进一步检测划痕的深浅情况。3D视觉的出现，是继黑白到彩色、低分辨率到高分辨率、静态图像到动态影像后的第四次视觉革命。图1基于3D机器视觉的轮胎划痕检测1.23D机器视觉技术原理基于成像原理，常用的3D机器视觉方法主要有：双目立体视觉法(StereoVision)、飞行时间法ToF(Timeofflight)、激光三角法(Lasertriangulation)、结构光3D成像(Structuredlight3Dimaging)。双目立体视觉法(StereoVision)：类似人的双眼通过两个视点观察同一景物，获取不同视角下的感知图像的方式，双目成像通过融合两个相机采集的被测物体图像，建立特征间的对应关系，由三角测量原理计算图像的视差来获取景物的三维信息。8图2双目立体视觉法成像示意图飞行时间法ToF(Timeofflight)：基于飞行时间法的3D机器视觉成像技术，通过给目标物连续发送光脉冲然后用传感器接收从物体返回的光，通过探测光脉冲的飞行时间来得到目标物距离。图3ToF成像原理示意图激光三角法(Lasertriangulation)：基于光学三角原理根据光源、物体和检测器三者之间的几何成像关系来确定空间物体各点的三维坐标。根据三角原理计算，被测物体越远，在CCD上的位置差别就越小，所以三角测量法在近距离下的精度很高，但是随着距离越来越远，其测量的精度会越来越差。9图4激光三角法示意图结构光3D成像(Structuredlight3Dimaging)：光学投射器将一定模式的结构光投射于物体表面，在表面上形成由被测物体表面形状所调制的光条三维图像。该三维图像由处于另一位置的摄像机探测，从而获得光条二维畸变图像。通过结构光前后畸变情况，即可计算被测物距离、形状、尺寸等信息，获取维图像。图5结构光3D成像上述技术优缺点如表格2所示。D机器视觉成像技术优缺点1.33D机器视觉典型场景及发展趋势机械臂引导机械手工作时，会受工件位置和朝向的影响。通过3D机器视觉检测，考虑外围设备干扰和机械手姿势，自动计算出适合的机械手动作，生成运动路径，从而大幅缩短工时，实现灵活、稳定的快速检测。另外，通过对现场建模的模拟，避免启动时不必要的返工和设备导入后的故障，能够大幅提高抓取成功率。采用3D相机识别料框内配重块位置、流水线上产品位置，引导机械臂从料框内抓取、完成装配。图6机械臂引导示意图产品瑕疵检测对于钢铁、汽车、家电、电子消费品等诸多行业，表面瑕疵检测是产品质量控制的关键环节。由于瑕疵类型繁杂、位置分布不定，完全准确的自动化质量控制一直是业内面临的严峻挑战。针对涉及深度信息的瑕疵检测，通过3D机器视觉的方式，能够精准采集待检测物体的表面信息，显著提高检测精度。尤其，可以通过多种数据处理算法，检测反光表面(如小型电子零件)和低对比度的表面(如轮胎面和侧壁)。2D机器视觉与3D机器视觉融合实现大件产品的尺寸及深度检测、平面度检测。进一步，配合机械手能够实现产品多面尺寸的自动化高精度检测。图7冷凝器外观检测图8金属卡托平面度、断差的测量积测量面向3C、SPI、PCB等精密结构件实现图9农产品体通过3D机器视觉采集获得高精度的表面空间计算物品体积大小，用于产品分级、质检。采集前端无线化：传统3D机器视觉仍采用前端采集+本地工控机处理的方案，前端设备和工控机通过有线传输线缆连接，限制了应用范围。前端无线化可解决线缆易缠绕、布线成本高、无法灵活按需部署等问题。采集前端轻量化：随着检测场景和需求的不断提高，3D机器视觉与AI间的融合逐渐加深。然而，AI对前端的计算能力和数据存储能力都提出了更高的要求，大幅度增加了终端设备成本。随着5G网络大带宽传输能力的不断提高，轻量化的终端采集设备逐渐成为趋势。前端设备将聚焦于提供基础的计算、存储能力，以满足数据采集需求。端边云协同化：采集数据通过5G无线连接发送至MEC边缘云侧，MEC可提供部分算力，以代替图像采集和推理卡的部分能力。对于MEC算力无法处理的应用场景，可将数据上传至中心云，中心云上提供了更强大的AI算力能力，服务更广泛的3D机器视觉应用。云边协同化已成为众多行业的共识，将会在未来的3D机器视觉应用中大放异彩。25G网络对3D机器视觉的影响2.15G网络核心特征4G网络还无法满足行业对承载网络的性能需求。5G作为新基建之首，其大带宽、低时延、大连接的特性使其可以很好地满足3D机器视觉对网络侧的新需求。5G网络是第五代移动通信网络，相比4G网络，5G网络数据流量密度提升1000倍，设备连接数目提升10~100倍，用户体验速率提升10~100倍，端到端时延降低5倍，可以为无线网络用户提供1-20Gbps的极速体验速率、毫秒级的超低端到端时延以及每平方公里一百万的连接数密度与数十Tbps的流量密度。5G网络具有大带宽、低时延、海量连接、低功耗的特点，使人与人之间通信，开始转向人与物的通信，直至机器与机器之间的通信，从而为社会经济、生活带来革命性的影响。截至2018年11月，全球已有182个运营商在78个国家进行了5G试验、部署和投资。我国宣布将在2019年开始5G试商用，2020年实现5G商用。5G网络寄托了整个移动互联网产业链未来的希望，可以深度赋能安防产业，满足安防产业的需求。2.25G网络关键技术及对3D机器视觉的价值机器视觉，特别是3D机器视觉，对网络的需求主要是大上行能力的需求。针对上行能力的提升，5G当前主流的方向，一方面是通过在当前上行通道的基础上聚合更多频谱、更大带宽，来提升上行能力，主要技术包括SUL上行增强、超级上行等；另一方面通过调整TDD频段的上下行时隙配比，增加上行时隙资源，来提升上行能力。2.2.1SUL/超级上行解决方案5GSUL上行增强解决方案，就是通过两段频谱的协同、高频和低频的互补、以及时域和频域的聚合，充分发挥高频的大带宽能力和低频穿透能力强的特点，在近中点提升上行带宽，在远点提升上行覆盖，同时缩短网络时延。在SUL的基础上，5G又演进出超级上行解决方案，通过TDD和FDD协同、高低频互补、时域和频域聚合、毫秒级资源调度，充分发挥TDD3.5GHz和FDD2.1GHz的协同优势，实现TDD上行和FDD上行TDM并发，从而进一步提升上行体验和容量的效果，如图10所示：图105G超级上行解决方案中国联通和华为公司携手，在北京联合部署商用网络在1000多个站点上开通了超级上行功能，这是全球首个千站级的5G超级上行网络，超级上行用户上行速率整体提升了10%-40%，边缘用户上行速率提升可达3倍。2.2.2大上行专属帧结构解决方案TDD由于上下行配比、BS/UE发射功率差异，导致上行能力弱于下行能力。在提升上行能力方面，一种最简单直接的办法就是改变当前TDD系统中的时隙配比，通过增加上行资源提升上行能力，比如将当前7:3上下行配比调整为1:4，也就是DSUUU(1D3U)的方式，来增加上行资源的调度，提升上行容量。不同时隙配比的速率对比如下：5G特殊时隙配比是单一频段就可以进行上行增强的解决方案，可提升单用户上行能力和上行覆盖，同时还可提升小区平均容量。但由于1D3U帧结构与宏网的7:3帧结构不同，因此会带来交叉时隙干扰，因此1D3U适用于行业对上行速率和容量有要求的完全封闭场景(如矿井)和封闭室内工厂场景等有一定隔离度的场景中，实际使用场景有一定的约束和限制，联通和华为将通过一系列的联合创新，在5G-A实现灵活双工的技术突破，使能更加灵活的使用频谱资源。2.3面向2025的5G网络关键技术及对3D机器视觉的价值随着3D机器视觉在行业数智化效益的日益显现，以及3D机器视觉产业链小型化、集成化的高速发展，3D机器视觉的软硬件价格持续下降，未来企业在数智化转型过程中，将越来越多的使用3D机器视觉，对网络带来两方面的挑战：1)机器视觉的速率持续提高，单点速率要求将高达1~2Gbps；2)更多的机器视觉部署，对网络上容量密度的需求将达到10~20Gbps/千平。面向未来3D机器视觉业务发展趋势，5G-A作为5G演进技术，将对5G上行能力实现10倍+的性能提升，关键解决方案包括如下几个方面。MassiveMIMO作为5G相对于4G的标志性技术之一，运营商已经在室外宏站实现规模部署，极大提升上下行容量；但对于3D机器视觉室内部署场景，由于部署场景的约束，往往需要基于smallcell进行分布式MIMO的创新。通过将多个4TRX的微站进行联合接收，达到32收或者64收的MIMO效果。5G-A针对smallcell的分布式MIMO做了进一步增强，主要包括：1.4T&高精度预编码：通过终端引入更多的发射天线，一方面能够成倍增强上行流数，实现速率的倍增，同时通过上行子带预编码和高精度码本，实现上行波束指向更准，提升上行速率和容量。图114T&高精度预编码示意2.DMRS正交序列扩容：通过分布式MIMO技术，讲多个SmallCell合并理论上可以实现最大64流的上行MU配对，但当前DMRS正交端口数只有12个，也就意味着配对流数上去后，由于伪正交码导致多流之间的重，影响用户体验和系统容量。5G-A将引入24/36+的DMRS正交序列，实现正交端口的扩容，有效缓解多用户MU配对时的流间干扰图12DMRS正交序列扩容示意3.Smallcell多TRP场景下的功率控制增强：以4T终端为例，如下图中的UE3，为了充分发挥UE上行4流能力，TRP1接收UE的1/2流上行数据，TPR2接收3/4流上行数据，由于UE距离TRP1/2的位置差异，以及空间干扰/波动的差异，需要在Multi-TRP间进行UE上行功率的合理分配，提升用户整体速率体验和系统容量。图13功率控制增强示意2.3.2灵活时隙配比/灵活双工技术&TDD全上行技术连接人是5G的基本盘，而联接人主要以接收数据为主，所以5G在第一波建设的时候，按照toC/eMBB的发展趋势，以提升下行容量为主，相应的设定了TDD的上下行配比(当前联通C-band典型的配比为7:3)；但面向垂直行业，主要是机器/摄像头/AI数据采集的数据回传为主的上行速率和容量需求，当前eMBB宏网络的配比无法满足toC和toB的公共需求。为了解决上述矛盾，同时结合toC和toB业务量在空间上的差异，灵活时隙配比/灵活双工技术的突破，将有效满足eMBB和toB垂直行业的上下行需求。结合联通的实际频谱情况，如下图所示，由于3.3-3.4G属于室内5G频谱，室内可以使用1:4频谱，通过TDD全上行频谱技术以及灵活双工技术，从而极大提升上行可用带宽，按如下配置方式，上行容量提升可达7:3配置的4倍以上。图14频谱配置示意2.3.3全上行频谱解耦：在解决TDD频谱在上行覆盖能力的短板，5G提出了上下行解耦的创新技术。随着未来更多频谱加入5G部署和建设，一方面当前SUL只支持单频段的配对解耦，无法满足多频段场景，同时，更多频段的加入，沿用当前的技术，必然需要增加终端多发能力，从而造成终端成本/功耗的增加，不利于终端产业发展。为了解决上述问题，5G-A在SUL的技术上，创新的引入全上行频谱灵活解耦的技术方案，在不增加终端实现复杂度和成本的前提下，通过TRX的灵活切换，实现终端在全频段上实现灵活接入，通过更多的时频资源、快速频选、TTI级负载均衡，带来体验速率和容量的提升，以及终端功耗的降低。图15全上行频谱灵活解耦2.3.4多终端协同随着AI技术的加速发展，对上行带宽提出了更大要求，比如机器视觉AI检测，随着分辨率、帧率、以及3D检测的兴起，单体的速率要求将超过1Gbps，甚至部分应用场景将超过5Gbps，这将远超过5G模组终端的处理能力。为了解决上述问题，5G-A引入多终端协作的技术方向，通过多终端在发射天线、时频空资源的协同，突破单个终端个体的能力限制，充分利用多个终端的TRX以及功率资源，实现多T大功率发射，从而实现大速率大容量的未来演进需求。具体技术包括多流DRC、多连接DRC、分布式MIMOUE等，如图16所示：图16多终端协作技术方案示意2.45G+3D机器视觉发展技术要求2.4.15G+3D机器视觉端边云协同策略5G端边云协同工业3D机器视觉方案整体架构如图17所示。通过5G无线蜂窝网络代替传统GE、USB等各种连接线缆，所采集的数据可以通过5G无线连接发送至边缘侧。边缘侧能够提供足够的算力，以代替图像采集和推理卡的部分能力。针对边缘无法处理的应用场景，数据能够进一步上传至中心云，利用中心云更强大的计算与存储能力，服务更广泛的3D机器视觉应用。图175G+3D机器视觉方案整体架构端计算端计算是依赖终端本身的算力进行任务调度和管理。基于智能化的3D数据采集终端，视觉能力可以在终端本地实现，避免数据传输。然而，端侧算力成本高昂且有限。完全基于端侧建设的单点系统不仅建设、维护成本过高，而且数据不能有效共享，难以快速复制。超边缘计算设备以辅助计算单元或边缘盒子的形式，部署于各垂直行业应用的应用现场，作为末端的接入节点。相对于集成式的端计算，超边缘计算能够提供更强的计算、存储及网络能力，硬件部署简单，应用环境丰富。非常适用于对实时性要求严苛，云端处理时延不满足要求或数据量巨大，需在本地现场进行数据压缩或推理的场景。边缘计算边缘计算可以在更接近数据生成的位置来处理、分析和存储数据，从而实现快捷且近乎实时的分析和响应。其主要包括：标准化的轻量边缘计算基础设施、下沉的网络分流节点、边缘能力开放平台及管理系统。边缘侧硬件及软件能力易扩容，资源可复用，更利于视觉应用广泛推广。基于移动边缘计算(MobileEdgeComputing,MEC)的应用不仅网络连接稳定性较高，而且借助UPF下沉能够做到数据不出园区，保障用户数据安全。云计算云计算能够以集中式的软硬件资源提供更强的计算与存储服务。同时，其硬件及软件能力易扩容，资源可复用，适用于对时延要求不严苛，但对算力需求大的应用场景，如三维重建等。一个理想化端边云协同的3D机器视觉应用架构如图18所示。端侧能力围绕瘦客户端进行建设，以最大程度降低对前端设备的配置要求，减少部署成本，主要承载数据采集、压缩与传输的业务；边侧能力可以基于MEC完成建设，以实现5G数据的本地分流，主要负责对现场/终端采集的数据进行处理与分析，实现产品质检，并依据处理结果进行生产逻辑的管理；云侧能力基于私有云或公有云按需建设，采用微服务架构将各功能模块进行统一注册管理，以保证各功能模块的独立性，便于升级、维护和替换。其主要用于实现对边侧MEC的配置管理和数据的长久存储、相关模型算法的研发与管理。然而，当前实际应用中，更多的某几类计算设施的协同，如端与超边缘、端边、端云等。20图183D机器视觉端边云协同应用架构2.4.2方案部署影响因素项目实际部署方案，需综合考虑应用需求、项目成本，以及网络需求等方面的差异，选择适合业务场景的部署方案，具体如下：带宽需求：不同场景、不同类型工业3D视觉相机对上行带宽的需求不同，需要根据现场应用状况评估5G上行带宽是否符合图像传输带宽要求。可通过超级上行、载波聚合等方式实现上行带宽扩容，亦可通过对采集数据的智能压缩或预处理，降低上行带宽要求。若前端采集数据量极大，可考虑前端本地设备计算与控制方案。时延需求：不同3D视觉场景对图像处理时延要求不同，需评估5G方案端到端传输及图像处理时延，以满足场景需求，若应用场景对时延要求敏感，可考虑前端本地设备计算或边缘云计算方案。算力需求：不同3D视觉场景对算力需求不同，需考虑设备图像采集卡算力能力，来确定MEC配置需求及算力需求，在MEC算力无法完全支撑应用需21求时，还应考虑在云端分配一定算力。上云需求：3D视觉场景若需要通过云端AI训练提升识别准确率，或必须使用中心云AI推理能力，则可以考虑中心云计算与控制方案。2.5中国联通5G+3D机器视觉技术框架中国联通5G+3D机器视觉技术框架如图19所示，从逻辑功能上可划分为设备层、网络边缘层、云计算层、机器视觉平台层、应用编排框架及行业应用等。图19中国联通5G+3D机器视觉技术框架1)设备层：设备感知层是整个3D机器视觉系统的数据基础。5G+3D机器视觉终端是指内置5G模组的3D机器视觉设备，如结构光单目/双目3D视觉相机、线激光3D扫描相机等。在智能制造、智能生产等领域，除3D相机外，在特定场景中，如印标检测、字符识别等还需要2D视觉相机配合完成。在相机完成图像采集后，通过现场计算设备可获得检测结果，并将结果反馈给工业现场执行设备，以此完成生产控制闭环。2)网络边缘层：网络边缘层包括5G无线网络、WiFi局域网络、光纤/电缆有线网络以及MEC边缘计算等部分。3D机器视觉设备可通过网络层完成与机器视觉平台间的交互，同时MEC边缘计算服务可在作业现场实现数据卸载，数据不出厂进一步保证了生产数据安全，同时MEC也可大大降低数据传输和处理时延。3)云计算层：云计算层作为机器视觉平台的数字化底座，包括数据处理服务器22和应用服务器两部分。随着CUBE-NET3.0的不断演进，其数字化底座将向着立体分布式算力体系发展，用户可通过网络接入分布在全域各个节点中的算力资源，实现算力的随用随取及弹性调度。4)机器视觉平台层：机器视觉平台是利用机器视觉、人工智能技术实现对工业制品、装备、工程建设等对象进行高精度、高强度、全自动的智能检测和分析，平台借助5G、边缘计算、云计算、大数据等技术手段，将设备端、工业边缘与云端有机结合，平台主要包括算法模型库和统一管理功能两大板块。平台支持设备端实时可靠接入、海量数据传输、存储和处理，实现大规模、多并发、高速度、高精度、低延时的工业检测请求服务，并通过丰富的算法模型库提供远程监控、状态分析、预测维护及工艺优化等智能服务，可大规模代替人眼利用经验进行测量和判断，实现自动化、智能化的工业生产和现场管理，充分保证工业制品、装备的检测质量。平台以人机融合智能方法和大数据技术为核心，实现工业\工程视觉智能检测与分析方法，并贯穿工业\工程检测过程全链条，构建“人在回路”的人机协作学习模式，将人类智慧与经验实时、自然输入机器，同时也将机器智能交互反馈给人，“人-机”之间通过不断地交互与学习，实现人类优势与机器优势的互补，螺旋式增强人和机器对工业\工程视觉检测任务的感知、认知和分析能力。5)应用编排框架：应用编排框架是基于算网大脑和机器视觉平台所构建的应用灵活编排服务。通过将机器视觉中的检测、测量、识别等通用原子能力进行灵活的组合，结合人工智能、大数据、数字孪生等技术，形成标准化行业应用组件库。同时，可根据场景进行灵活的业务逻辑定制及业务流程编辑。6)行业应用：3D机器视觉应用涉及到工业、电子、汽车、航空、钢铁等众多领域，由此衍生出多样化3D机器视觉应用场景，可创造巨大的社会经济效益。其中，在工业制造领域中，可实现工件瑕疵检测、组件尺寸测量、配件定位与抓取等多个典型应用场景。3D机器视觉应用需求差异性显著，因此，中国联通以机器视觉平台化技术框架，取代了传统烟囱式项目化运作模式，通过对通用化能力进行抽象、集中、开放，可降低项目运作推广成本；解决定制化开发难度大、成本高的问题；平台统一汇集算法、管理设备，推动系统标准化发展，使3D机器视觉应用快速大规23模推广复制成为可能。2435G+3D机器视觉典型应用案例3.1端云协同：煤流检测场景描述据统计，我国煤炭年产量多达30多亿吨。作为国家常规能源的主要来源之一，煤炭也是国家经济的重要支柱。为提高煤炭公司的管理效率，需要对煤炭的生产和运输进行实时监控，为煤炭管理运营系统提供可靠数据支撑。然而，以电子皮带秤为代表的接触式传统煤炭检测工具损耗大、不稳定、无法精准检测煤量的各类数据。高效、准确的煤流实时检测成为相关生产、运输中的重要环节。技术需求及解决方案以0.5m宽幅的传送带运送过程为例，0.1mm平面精度、6m/min的运动速度条件下，单个线激光实时采集过程中，每秒产生约60MB点云数据，上行带宽需求480Mbps。对此，为保障煤流传送速率、最大化生产效率，基于5G+3D机器视觉的煤流检测采用端云协同的方式，其架构如图20所示。图20基于5G+3D机器视觉的煤流检测架构通过在输送现场布设激光双目立体相机，以激光的形式对皮带机煤流断面进行扫描，直接在端侧进行煤流体积的实时计算，并将计算结果上传至企业云端进行存储。同时，云端根据煤量情况，实时调整输送机运行速度，实现“煤多快转，煤少慢转”，达到节能降耗，减小设备磨损的目的。系统运行后较建设前实现节约用电30%，有效减少了皮带机系统机械损耗。进一步地，除了能够智能调节皮带机带速，煤流检测还可以综合煤仓煤位、皮带机变频驱动电流等多个运行参数，对主运输系统运行状态、报警信息、人员信息进行实时监控和计算，共同协调控25制整个煤流的运行，有效节约人力，减少空载运输损耗，实现主煤流运输系统的自动化、集约化。3.2端超边与边协同：钢板瑕疵检测及分类分级场景描述钢板作为钢铁工业的主要产品之一，己被广泛用于化工、机械制造、航空航天、汽车、家电等行业。现代钢板生产制造中对钢板质量要求越来越高，由于设备、生产工艺、环境等方面因素的影响，会导致钢板表面出现各种缺陷。表面缺陷不仅会对产品外观造成影响，还会限制产品的应用，阻碍生产率的进一步提高，直接降低了钢板质量等级。以船舶生产为例，船板作为船舶的重要及主要组成部分，其质量的优劣直接影响后道工序的生产效率和质量，乃至整条船的性能。通过在造船工序的第一阶段预处理流水线，配置船板缺陷实时在线检测设备，开展缺陷检测管理，能够及时判定和监测船板表面缺陷问题，提高船板检测效率和精度，降低后道工序损失率。针对钢板表面的检测主要聚焦于检测钢板表面的不连续缺陷。基于国标GB/T14977-2008的基准之上，业内一般约定相关检测应覆盖凹陷与凸起类型，在深度、水平方向均达到±0.1mm的测量精度。同时，针对钢板厚度的测量误差不超过±0.1mm。相关技术主要经历了人工经验检测法、基于电磁感应及超声的无损检测技术和基于机器视觉的检测技术三个阶段。前两类检测技术在生产实践中已暴露出大量无法克服的缺点，如人工劳动强度大、造成大量漏检、无法适应高速机组、检测精度低等。随着机器视觉技术、计算机模式识别理论及人工智能理论等相关领域的不断发展，基于机器视觉的钢板表面自动检测技术由于具有非接触、精度高、速度快等特点，已成为钢板表面在线质量检测的主流和发展趋势，而3D机器视觉作为一种高精度非接触检测测量手段，在钢板表面检测领域具有极高的应用价值。技术需求及解决方案传统的3D机器视觉检测多采用一体机式应用，其部署、维护成本较高。针对船舶生产过程中，20m×6m的钢板表面的瑕疵检测及分类分级，通过融合24套3D终端采集设备，实现覆盖上下表面的数据采集后，单位时间内获取的钢板26表面0.1mm的高精度点云数据将达到GB级。对此，基于5G+3D机器视觉的检测方案采用端、超边与边协同的方式，其架构如图21所示：端侧采集设备获取点云数据后，超边缘设备直接在现场对数据进行处理，并生成影像发送至MEC边缘计算平台通过AI完成麻点、剥落、结疤、划痕、气孔、夹层等瑕疵的实时检测与钢板的分类分级应用。通过算力复用与集中化运营，该方式能够极大降低了系统的部署和维护成本。同时，检测效率较人工方式，整整提升了4倍！图21钢板瑕疵检测架构3.3端边协同：挂车车体关键尺寸测量场景描述挂车是指由汽车牵引而本身无动力驱动装置的车辆，通常由一辆牵引车与一辆及以上的挂车组合工作。按照挂车与牵引汽车的连接方式分为全挂车和半挂车。其中，全挂车是指由牵引车牵引，且其全部质量由本身承受的挂车；半挂车是指由牵引车牵引，且其部分质量由牵引车承受的挂车。图22挂车车体由于挂车是一种比较特殊的车辆，车辆的轴距、前后悬、销轴距等是挂车设计的基本参数，同时也是其他控制系统所需的重要参数。与此同时，车桥平行度、27车桥与纵梁的垂直度、车辆轴距和轮距、车辆销轴距等因素将直接影响车辆的通过性、行驶稳定性、日常磨损性能等。图23车体剖面示意正是因为这些因素与行车安全有着直接关系，因此如何测量车桥的平行度、车桥与纵梁的垂直度、车辆轴距、车辆销轴距是每个挂车厂及车辆修理厂必须检测和解决的问题。目前国内生产厂家对于挂车检测，主要采用激光测距仪或人工测量的方式进行。挂车检测的典型应用场景如下：1.牵引板水平度检测：为实现牵引板水平度检测，传统方案是检测人员目视选取牵引板两侧的测量位置点，通过刚性卷尺分别接触两个测量点，激光水平仪发射激光指示读数，两次读数的差即为测量结果。指标要求方面，牵引板两侧高度差不得超过2mm。因此，若检测结果不符合要求，则通过调整车体上螺栓，实现牵引板水平姿态的改变，调整后需重新测量两侧高度差，以确定调整效果，直至满足指标要求为止。图24牵引板水平度检测2.销轴距检测：半挂车使用一段时间后，由于牵引销螺栓松动，引起左右销轴距参数超差，以致出现车辆跑偏、轮胎异常磨损等问题，因此车辆在出厂前或使用一定里程后均需要完成左右两侧销轴距的检测及调整。传统检测方式28是人工选取测量软尺起点，挂在调整杆底部作为测量起点，以车轴两端中心点作为测量终点，最终两侧测量读数差作为测量结果。指标要求方面，左右距离差应小于1.5mm。因此，若检测结果不符合要求，则按规定调整车轴姿态，调整后需重新测量，直至满足指标要求为止。图25销轴距检测3.前后轴双侧距离差检测：被测量车轴的同侧端面上的前后轴中心点作为测量起点和终点，一对车轴要分别测量左右两侧的前后轴中心点距离，读数的差值作为测量结果。指标要求方面，左右两侧的前后轴距离差应小于2mm。因此，若检测结果不符合要求，需按规定调整后轴的姿态，调整后需重新测量，直至满足指标要求为止。图26前后轴双侧距离差检测传统人工检测方案的测量点选取和测量过程受人为因素影响极大，测量结果难以保证精度，同时对挂车的总体检测调整效率极低，大部分车型检测调整过程需需耗时20分钟以上，部分车型甚至超过30分钟，这成为挂车生产及出厂流水线中的瓶颈环节，因此针对挂车厂的上述痛点，提出了基于3D机器视觉技术的科学测量法替代方案。技术需求及解决方案29挂车车体检测方案架构如图27所示。采用基于3D机器视觉的非接触式测量技术，通过内置5G模组的手持式3D结构光扫描设备，完成对挂车关键检测指标相关区域的移动式局部扫描。通过5G模组完成深度图像的上传，单个设备在50-100Mbps，时延需求在50-100ms，因此可采用基于部署在边缘云的挂车3D机器视觉检测系统实现深度图像的预处理，完成点云数据生成及检测结果的呈现，以此完成上述检测场景的自动化检测，在满足测量精度要求的同时，实现对挂车车体的实时检测。测量结果实时反馈，现场人员可根据检测结果调整挂车相应组件，直至检测指标符合标准要求。整套人机交互系统通过触摸屏显示、语音提示，并可与工厂内IT系统进行数据交换，以此实现对车辆产线的全流程管控。图27挂车车体检测方案架构考虑到本场景对网络带宽及时延的需求，建议将挂车3D机器视觉检测系统部署在厂区本地的边缘云侧，可实现5G数据的本地分流，数据在不出厂区的情况下实现3D视觉检测，进一步提高挂车厂的数据安全性及数据处理时效。与此同时，挂车信息化管理系统建议部署在中心云侧，中心云具备更强大的计算能力，可建立挂车整体的三维空间模型、管理深度学习算法库，并实现对关键检测参数的存储与分析，进一步帮助挂车企业完善生产流程管理。3.4端云协同：无人机立体测绘场景描述随着无人机需求的扩展，以及航摄技术的不断成熟，无人机在测绘领域的应30用场景正在不断丰富，可以应用于疆土资源勘测、数字城市发展建设、通讯站规划、地图测绘、城市发展规划、应急突发事件监管、灾害预测和评估、城市交通网规划、矿藏开发、环境管理和生态保护、数字化农业等领域。其中，相较于传统的无人机正射影像，无人机测绘中则主要使用了倾斜摄影建模技术，这是近些年发展起来的一项高新技术，其本质上可归类为3D机器视觉技术。倾斜摄影技术是通过从一个垂直、四个倾斜等五个不同的视角同步采集地面端的图像影像，并基于图像视差，通过算法获取到丰富的建筑物等地物的顶面及侧面高分辨率纹理，并获取外观、位置、高度等数据信息。它不仅能够真实地反映地物情况，高精度地获取地面物纹理信息，还可通过先进的定位、融合、建模等技术，生成真实的被检测目标区域的三维模型。倾斜摄影可大大降低三维模型数据采集的时间代价和经济代价。除此之外，倾斜摄影在生成三维模型后，可通过相应软件算法，直接基于模型重建结果实现地面目标物的高度、长度、面积、角度、坡度等参数的量测，更高效的数据处理效率可进一步扩展无人机倾斜摄影的应用场景。图28无人机倾斜摄影测绘技术需求及解决方案基于倾斜摄影技术的无人机测绘方案架构如图29所示。无人机测绘过程中，一方面可以采集实时视频，后台管理人员可通过视频回传实时查看现场情况。另一方面，基于倾斜摄影的无人机测绘还可对现场实时的三维模型图进行重建。31图29基于倾斜摄影的无人机测绘方案架构以应急救援场景为例，我们需要快速完成灾区地形的三维建模，并基于三维模型制定可行性更高的救援方案，这个过程对建模时间要求很高，对于小场景的建模时间需要控制在20分钟以内，对于大场景的建模时间需要控制在1小时以内，这样才能及时地给应急救援决策提供数据参考。通过航拍无人机携带的倾斜摄影装置，采集现场五个不同视角的图像及pos位置数据，通过5G网络回传后，再通过部署于中心云侧的基于3D机器视觉技术的三维重建软件进行空三运算和模型计算，生成三维模型后可采用地球图或者软件形式发布，以此可供救援人员辅助完成救援策略的制定。由于倾斜摄影采用5台相机进行图像采集，单个影像分辨率为2500万，总像素为1.25，亿，采用1:10图像压缩后进行数据回传，网络带宽需求约100Mbps左右，通过5G网络回传后，由于地物三维重建对运算时效性要求极高且运算量极大，因此需将三维建模与管理平台部署于中心云侧，以强大的算力资源来完成高效三维模型重建。基于五镜头多视角倾斜摄影技术，可以突破传统正射影像的局限，获取到高