摄像头+雷达+超声波？多传感器融合不是梦

1、摄像头+雷达+超声波？多传感器融合不是梦多传感器融合算法的验证ADAS功能开发中的一种新的仿真技术高级驾驶员辅助系统（AdvaneedDriverAssistaneeSystems,ADAS）的应用使得未来车辆能够在危急的环境中辅助驾驶员工作，并能提醒他们潜在的危险，因此通过传感器技术感知相关的交通状况是最基本的要求，但是由于各系统间交互作用的高度复杂性使真实测试驾驶中使用的评估方法不再满足需求，需要有新的仿真手段来测试和评估ADAS。通过模拟真实车辆的行为和交通环境进行虚拟测试驾驶，CarMaker的开放式集成测试平台提供了一种新的仿真技术，能够联合虚拟摄像头和环境传感器（雷达、激光、超声波

2、），用于多传感器数据融合算法的功能测试。背景为了识别交通对象，除了常见的车辆传感器如雷达、激光环境传感器，基于摄像头的传感器（如灰度、颜色传感器）和深度摄像头（如PMD3D摄像头）的使用将会越来越多，各式各样的基于图像的系统也被用于交通标志识别和车道跟踪中，用来实现自适应速度控制系统和车道偏离预警系统。多传感器数据的融合技术通过创建全面连贯的环境图像，在未来ADAS的进一步发展中将会起到至关重要的作用。多系统的集成会产生新的驾驶员辅助功能，可以改善驾驶的安全性、舒适性和燃油经济性。除了传统的安全方面，对环境的感知也会作为信息来源用于预设的驾驶策略以改进燃油经济性。多系统集成的复杂性将会导致开发

3、和测试工作的大量增加，当前基于真实测试驾驶的评估方法已经不能满足要求，需要新的仿真技术来测试和评估ADAS，进而可以模拟真实车辆行为和复杂交通环境的虚拟测试驾驶应运而生。一方面仿真要严格模拟真实的物理交通环境，另一方面要具有可重用性和对比性，因此，将基于摄像头的部件集成到完全闭环的测试和集成平台中，使传感器融合技术能在真实的环境条件下进行测试，对ADAS的发展具有重要的意义。数据融合的优势信息融合技术是一种重要的发展趋势，它的优势显而易见：各传感器数据的融合能够增加信息量，可以获得更详细、更可靠、精度更高的环境信息，所以能实现更好的驾驶安全性、舒适性和燃油经济性。雷达和摄像头的联合作用最能体现

4、数据融合的优势。由于两个系统差异较大，雷达感知的数据精度高，在纵向可探测距离远，摄像头正好能感知横向和垂向，以及识别物体的大小，所以两种来源的数据结合在信息互补和品质提高上会产生显著的增长。不同类型的传感器具有不同的优点和弱点，雷达系统擅于探测物体的距离（包括晚上和雾天），摄像头擅于探测物体的尺寸和运动（晚上和雾天视觉会变差），所以通过对不同传感器取长补短，功能开发的能力和效率可以明显改进。解决方案对新的驾驶员辅助系统或新软件版本进行测试时，如果不使用虚拟环境，则需要驾车行驶数千公里、记录大量数据，并且不能覆盖到每个交通场景，同时相同条件不同参数（如不同控制参数或算法）下不同重复相同的驾驶测试

5、，所以这不是最理想的解决方案。一个合适的仿真环境有诸多要求：必须能集成控制器（软件/硬件）和融合算法；传感器和摄像头必须有可用的详细模型；输入给融合算法的传感器数据的时间和地点必须同步；必须能够设置复杂的测试场景。1.1软件测试（MIL/SIL）在产品开发前期或者无需测试真实硬件控制器时，对软件/算法本身进行测试是一种有效的手段。CarMaker基于开放式的集成和测试平台，开发了一种新的Software-in-the-Loop(SIL)和Model-in-the-Loop(MIL)仿真技术，用于集成虚拟摄像头和环境传感器(雷达、激光、超声波)，所以在实时动画软件中扩展了一个复杂的摄像头模型Vi

6、deoDataStream(VDS)用来对3D图像生成灰度、色彩度、立体图、深度图(如PMD)等视频数据，这些数据通过TCP/IP网络接口传送到测试的控制器或者图像处理算法，如图1所示。I:DataThuixficrVDSECU测试(HIL)传统测试真实控制器如车道偏离报警系统(LaneDepartureWarningSystems,LDW)的方法是在黑盒中安装真实摄像头和监视器，如图2所示。但是这种方法有很多问题，首先不能实现阻止摄像头干扰光；其次评估多个摄像头会增加成本；第三，显示器和镜头的同步有问题；第四，PC机到显示器的延迟、显示器内部电子管与LCD屏的延迟、相机和ECU的延迟等都可能

7、造成融合的信号来自非同步的传感器；第五，全景摄像头不能使用黑盒的方法。为了解决上述问题，需要一个有效的新方法来测试真实存在的部件HIL，它通过VideolnterfaceBox工具将视频信号传递给ECU，而这些视频信号是在PC机上IPGMovie的图像生成的。VideolnterfaceBox的原理是将PC传递来的视频信号分离转化成单个的视频信号，如图3所示。使用VideolnterfaceBox和VideoDataStream可以实时仿真完全同步的超过6个不同位置和属性的摄像头。这些摄像头可以自由配置成250的光学视角和镜头缺陷如暗角、畸变。一些挑战性的应用如360全景视角系统的摄像头融合可

8、以基于这些方法验证。鱼眼镜头鱼眼镜头经常应用在泊车辅助系统(ParkingAssistaneeSystems,PAS)中，如图4所示。它们分别按照在汽车前后以及后视镜上，形成了一个四周的视野，甚至还能仿真车顶的视角。要实现此功能，需要将来自不同摄像头的图片放在一起并进行数字校正。进过提取、处理、融合后的环境信息会被传输到控制单元，所以需要使用CarMaker的开放式集成和测试平台对传感器数据融合算法进行测试。IPGMovie可以仿真四种不同成像机理的鱼眼镜头：等距投影，等积投影，正面投影，立体投影。可以通过不同的方式配置鱼眼镜头，如可定义90到250的视角范围，可定义不同的模式：X-Mode，

9、Y-Mode，Diagonal-Mode,Seale-Mode，offsetX+Y。导航数据的融合除了摄像头数据和雷达数据能够进行融合，还有一些系统如标志识别系统是基于导航系统的数据。导航数据是静态的，而摄像头的数据是动态的IPG开发了ADAS-RP用于基于地图的ADAS研究。CarMaker将GPS位置发送给ADAS-RP，并反馈收到电子眼界（如当前车速、限制车速、急转弯）和最可行的路径，如图5所示。将来驾驶员会获得越来越多的声学、光学、触觉向导。结语汽车领域对基于摄像头的传感器的使用在稳步增加，将会导致开发和验证工作量的加大，所以在真实物理环境中的测试不再满足需求。为了进一步发展ADAS技

10、术，多传感器（如雷达和摄像头）数据融合扮演着至关重要的角色。传感器数据融合的目的是增加信息量，但是一个合适的仿真环境需要考虑诸多要求在SIL和MIL测试应用上，IPG开发了VideoDataStream,VDS是集成在IPGMovie中的复杂摄像头模型，用于生成同步的视频数据。在HIL测试中，VideoInterfaceBox可以使用电脑仿真的视频数据进行硬件测试。所有的信号可以由四种不同仿真摄像头的数据组成，所有摄像头模型可以在实时上完全同步，并能单独配置属性。经过提取、处理、融合后的环境信息会被传到ECU。IPGMovie支持市面上的四种主要的鱼眼镜头的仿真。使用CarMaker进行传感器数据融合算法的测试需要几种技术，如图6。KFIFtotalFjjj-ftCurn