交控机架构的雷视一体机为智能交管与车路协同 提供更全面的感知能力

英特尔®英特尔®赛扬®处理器英特尔®酷睿处理英特尔®OpenVINO英特尔®oneAPI基础工具套件基于英特尔®交控机架构雷鸣 杨大宁 翁晓明 韦富亚 姜荣华a英特尔（中国）有限公 b苏州雷森电子科技有限公123

45目录目录概 21技术背景：基于英特尔®交控机架构的AI感知融 21AI感知融 集成式与分布式AI感知融 AI感知融合应用于智能交管与车路协同等交通场 英特尔®交控机架 3雷视一体机：典型的集成式AI感知融合方 3信号处理流 雷达信号处 视频分 数据融 基于英特尔®交控机架 英特尔®赛扬®6305E处理器：一颗芯片承担所有信号处理的负 英特尔®oneAPI基础工具套件：加速雷达信号处 英特尔®发行版OpenVINO™工具套件：优化视频分 技术规格与性能指 实际效 4展望：基于英特尔®交控机架构的AI感知融合使能更丰富的智慧交通应 4特别致 参考文 关于雷 关于英特 解解决方案白皮书|基于英特尔®交控机架构的雷视一体机为智能交管与车路协同提供更全面的感知能解解决方案白皮书|基于英特尔®交控机架构的雷视一体机为智能交管与车路协同提供更全面的感知能““我们基于英特尔®交控机雷达与视频AI感知融合英特尔®赛扬®6305E处oneAPI基础工具套件和英特尔®发行版OpenVINO工具套件分11英特尔®交控机架构AI苏州雷森电子科技有限公司（以下简称：雷森）基于英特尔®2基于英特尔®交控机架构的AI感知融AI摄像头与毫米波雷达是常见的交通传感器，然而它们各自都有不同的优点和缺点（如1），AI感知融合的用武之地。这项技术是指两种或两种以上的传感器通过协作，将其各自获取的“取长补短”I3D（即目标识别）。AI知融合不但可以实现对于交通环境更全面和更准确的感知能力，还可以在一定程度上提供系统冗余，这些能力对于交通安全类的应用尤为重要。表1.不同传感器的优点和缺（视频或图像易受环境光照条件影响（例如夜晚弱光、强光照射等易受天气状况影响（例如雨、雪、雾、霾、烟、尘等3DAI根据负责信息采集的传感器与负责计算的处理器芯片之间的集成关系，AI种类的英特尔®（如图1示）。AIAI计算负载在集成了传感器的设备（例如本文将介绍的雷视一体机）中进行处理。适合的芯片包括含有英特尔锐炬®®与赛扬®SoCCclon®FPA。AI计算负载在与传感器（比如一个交通路口部署的多种类、多数量的传感器）通过网络连接的分离设备（例如路侧MC）中进行处理。适合的芯片包括含有英特尔锐炬®®酷睿™SoC处理器，至强®SoC处理I™AI[1]AI主要用于高速公路、城区道路、隧道和桥梁等长直道路场景，也可通过多台雷视一体机的协作来支持有多个车道方向的交通路口的感知需求。集成式集成式AI1C+1L）的设备（如：雷视一体R:AI4Cs+4Rs4Cs+2Ls）通过网络连接的分离设备（如：MEC）中进行处理凌动®&赛扬® 锐炬®Cyclone®SoC处理器 集成GPUFPGA酷睿™&至强® SoC处理器 集成GPU独立GPU图1.集成式与分布式AI感知融合应用于智能交管与车路协同场AI括摄像头、毫米波雷达和激光雷达在内的各类交通传感器）采集交通目标的原始信息（包括2D视频图像、雷达回波和3D点云等），交给集成AI（例如雷视一体机）AI（MEC）进行基AI在2所示的车路协同场景中，这些目标级的结V2XI2V(Infastructue-oehicl)I2V消息被RSU（路侧单元）经由PC5无线空中接5GUu括机动车和行人在内的道路交通参与者，以实现包括交通安全、交通效率、信息服务等类别在内的丰富的车路协同应用。PC5V2XSidelink)Uu无线空口(CellularLink)5G图2.基于车路协同的交通场英特尔®交控机架了交通融合计算与控制(TransportationFusionComputingandControl,TFCC)架构[2]，简称英特尔®交控机架构。如图3这一架构的硬件平台包括了型号丰富的英特尔®赛扬®、凌动®、酷睿™SoC处理器系列以及锐炬®集成显卡与锐炫™独立显卡[3]和英特尔®oneAPI基础工具套[4][5]。通过硬件与软件深度结合，英特尔®以支持所有交通传感器所需的AI与通用计算。英特尔®交控机架构具有以下功能和性能特点，详细介绍可[2]

AI基于英特尔®（以下简称：交控机设备）可软ETC应英特尔®信号灯雾 报警 道 路摄像 激光雷达毫米波雷 SoC处理器SoC处理器SoC处理器 集成GPU独立（经交通行业标准与法规认证图3.英特尔®交控机架3AI基于英特尔®交控机架构，雷森成功开发了如图4所示的IETV2464.基于英特尔®IETV246雷视一体机产品实例（正面与背面该雷视一体机的信号处理流程如图5雷达信号处理：视频分析：数据融合：将雷达信号处理与视频分析的目标级结果数据投射到一个选定的统一坐标系内，进行目标轨迹关联，完成结果数据融合，形成对目标的完整感知信息。雷雷达信号处雷达射频前第一维加窗（测距第二维加窗（测速恒虚警检(CFAR水平方位的测垂直方位的测聚目跟摄像视编解视频分深度学习推（目标检测与分类目跟传感器坐标系转到统一坐标数据融轨迹-轨迹结果数融空间标图5.毫米波雷达与视频融合计算的信号处理流MIMO

用于测距的第一维加窗FFT（快速傅里叶变换用于滤除杂波与干扰的恒虚警检测(CFAR:ConstantFalseAlarmRateDetection)位置的估计（通过目标相对于雷达的距离与角度目标三维尺寸（长宽高）的估FFT®oneAPI数学内核库(oneMKL)[6]来进行加速。详细的雷达信号处理流程可参见[1]I/O（MIPICSI）直接送入英特尔®YOLOv5[7]AI型的众多优点包括“一步推理算法”，即不需要“两步推理算法”中所需的区域提议(RegionProposal)步骤，可通过一次推理过程完成目标检测和目标分类的双重任务（如5示），从法的图像尺寸调整与颜色空间转换，均可通过英特尔®OpenVINO™工具套件[3]进行优化，以进一步提升视频分析[8]，在不影响传感器正常工作的前提下，测算得到坐标

[1]基于英特尔®交控机架雷视一体机是基于3®了产品的性价比和效能比。该架构充分支持在单颗SoC器上完成复杂的毫米波雷达与视频融合计算，并通过英特尔®软件工具套件来优化性能，在满足性能要求的前提下最大程度的降低产品方案的成本与功耗。基于英特尔®显著降低了用户的资本支出(CapEx)和运营支出(OpEx)。英特尔®赛扬®6305E处理器：一颗芯片承担所有信号处理的负载赛扬®6305E[9]SoC，属于第11代英特尔®酷睿™处理器系列（产品代号：TigerLake，简称TGL）[10]。在具备强大通用计算与AI加速运算能力的非常理想的高性价比和高效能比计算平台。表2[9]单颗英特尔®®6305ESoC传统计算机视觉（AI度学习视频分析（AI深度学习）：iGPU中的执行单元(Execution2.英特尔®®6305ESoC221.8CPU44CPU®64DDR4-3200,LPDDR4x-2iGPU英特尔®超核芯显(Intel®UHDiGPU1.25AI算~4VDBOX数14英特尔®(IPU)IPUI/OPCIeforPCIeGen34通PCIeforPCIeGen34通Thunderbolt™/Thunderbolt™4/USB4×英特尔®oneAPI基础工具套件：加速雷达信号处理oneAPI计划(oneAPIInitiative[4]将加速计算的统一、基于包括CPU、GPU和其它加速器在内的不同硬件。它同时提供面向HPC、AI和渲染应用程序所需的高性能、密集计算和多

oneAPI®oneAPI[5]的应用程序。它具有行业领先的C++编译器，可实现如6所示，该工具套件包括英特尔®oneAPI数学内核库oneMKL)[6]®U最高性能的应用程序进行了优化。它支持密集线性代数、稀疏线性代数、FFT、向量数学、随机数生成、汇总统计等丰富且oneMKLT6.英特尔®oneAPI英特尔®OpenVINO工具套件：优化视频分析英特尔®发行版OpenVINO™工具套件（以下简称应用开发[3]。其显著的三个特点是：高性能深度学习推理，™方案，来模拟人类的视觉。它能显著提升视频分析的准确率，加速推理，并节约算力资源。该工具套件基于各类常见的神经网络，支持直接异构执行，可在多种英特尔®展计算机视觉和深度学习的工作负载，实现卓越性能。它还支持在英特尔®集成显卡上进行高性能的视频编码和解码。OpeVINO™（Windows、LinuxS）与编程语言（包括PythonC++）。OpenVINO™免费提供超过280个经预先训练好的神经网络

IETV246与规范，其规格参数如表3表424.125502024.12550201920×2020I/O接DC24-20~70℃（可扩展表4.雷视一体机（IETV246型）的性能指650±3000.083m/s(0.30.027m/s(0.1±≥<100≥基于英特尔®景，如78合计算（如5），实时获取交通目标的类别、位置、速

[11][12]，以及检测违规变道、逆行、非正常停车、拥堵、[13]如V2X服务器或者RSU，以支持丰富的智能交管与车路协同 图7.部署于交通路口信号灯杆上的雷视一体 图8.从雷视一体机的视角俯视交通路分，例CCar，[TTruckID图9.雷视一体机中毫米波雷达与视频的融合效图10展示了在陕西某地的交通路口部署雷视一体机来优化交通信号灯（红绿灯）的配时，以缓解早高峰拥堵的效果南与北方向直行排队长度降低了10%左右，停车等待时间变短，停车次数减少(a)(a)未使用雷视一体 (b)使用雷视一体图10.部署于交通路口的雷视一体机缓解早高峰拥堵的效与移动方向等指标的测量精度均超过了C4高等级智能道路对IETV246型雷视一体机在实际应用中，显示了以下突出的优点：更低的端到端处理延时：（雷达与摄像头）将其所采集的原始数据通过内部高速I/O接口（PCIeMIPICSI）直接送入英特尔®分也无需视频编解码。这有效降低了端到端时延，确保其在100感知融合方案的端到端时延通常在200毫秒左右。

(TCO)：雷视一体机将原来分离的多台CapEx)；同时雷视一体机在降低功耗支出(OpEx)。4展望基于英特尔®交控机架构的AI感知融合使能更丰富的智慧交通应由于采用了英特尔®IETV246

英特尔®交控机架构包括不断演进且型号丰富的英特尔®赛扬®、凌动®、酷睿SoC处理器系列，锐炬®集成显卡与锐炫独立显卡系列，英特尔®OpenVINO®智能交通应用[14]–[26]。英特尔与产业界伙伴将继续携手合作，通过提供更为先进的AI感知融合产品与解决方案，来不M.Lei,D.YangandX.Weng,"IntegratedSensorFusionBasedon4DMIMORadarandCamera:ASolutionforConnectedVehicleApplications,"inIEEEVehicularTechnologyMagazine,vol.17,no.4,pp.38-46,Dec.2022,doi:10.1109/MVT.2022.3207453.雷鸣，胡高鹏，宋晖，姜荣华，晋磊，黄昊，邵文简，“基于英特尔®AIETC®决方案白皮书，20243“英特尔®发行版OpenVINO™工具套件”，Intel.Accessed:Feb.21,2024.[Online].Available:"Intel®oneAPIBaseToolkit."Intel.Accessed:Feb.21,2024.[Online].Available:"Intel®oneAPIMathKernelLibrary(oneMKL)."Intel.Accessed:Feb.21,2024.[Online].Available:"YOLOv5inPyTorch."GitHub.Accessed:Feb.21,2024.[Online].Available:M.Lei,M.Rahman,D.MathaikuttyandI.Alvarez,"Wireless-AssistedAutomaticOnlineSpatialCalibrationbasedon5GTSNforSensorFusion,"2023IEEEInternationalConferenceonSignalProcessing,CommunicationsandComputing(ICSPCC),2023,pp.1-6,doi:10.1109/ICSPCC59353.2023.10400303."Intel®Celeron®6305EProcessor."Intel.Accessed:Feb.21,2024.[Online].Available:“交通信息采集—微波交通流检测器(TrafficInformationCollection–MicrowaveTrafficFlowDetector中国国家标准：GB/T20609-2023，pp.1-27，发布日期：2023年3月17日。“交通信息采集—视频车辆检测器(TrafficInformationCollection–VideoVehicleDetector)，”中国国家标准：GB/T24726-2009，pp.1-16，发布日期：2009年11月30日。“视频交通事件检测器(VideoTrafficIncidentDetector)，”中国国家标准：GB/T28789-2012，pp.1-20，发布日期:2012年11月5日。M.Lei,J.Lin,S.WangandW.Shao,"AIVideoAnalyticsBasedonTrafficFusionComputingforRoadTrafficIncidentDetection,"2023IEEE雷鸣，王新锋，徐青，严征，程加钢，刘省贤，黄昊，“车联网中基于英特尔®架构的激光雷达3D点云处理与感知融合方案，”英特尔®解决方案白皮书，202112月。下载链接：https://www.leishen-IntelSolutionWhitePaper,Dec.2021.Accessed:Feb.21,2024.[Online].Available:/content/www/us/en/content-details/795011/雷鸣，程加钢，姜荣华，“基于英特尔®架构的集和诚®MEC设备加速车联网的商用部署，”英特尔®解决方案白皮书，2020年12月。下载链接M.Lei,J.ChengandR.Jiang,"MECEquipmentBasedonIntel®ArchitectureAccelerateV2XCommercialDeployment,"IntelSolutionWhitePaper,Dec.2020.[Online].Available:/pdf/21573/Intel_JHCTECH_MEC_solution.pdf雷鸣，周长军，姜荣华，“基于英特尔®AI计算机视觉的新创中天®智能交通路侧视频边缘计算设备，”英特尔®解决方案白皮书，2020年9[20]M.Lei,C.ZhouandR.Jiang,"IntelligentTransportationRoadsideVideoEdgeComputing(RVEC)EquipmentbasedonIntel®AIComputerVision,"IntelSolutionWhitePaper,Sept.2020.[Online].Available:/content/www/cn/zh/internet-of-things/zenith-intelligent-edge-computing-雷鸣，程加钢，姜荣华，“英特尔与集和诚协同打造基于英特尔®架构的ETC解决方案，”英特尔®解决方案白皮书，2020年11月。下载链接M.Lei,J