用于自动驾驶汽车的传感器融合

自动驾驶汽车是热门研究课题之一，它将彻底改变地面车辆的未来。自动驾驶汽车正在取代普通车辆，因为它可以做出决定并执行自己的驾驶任务。每年有130万人死于道路交通事故，即每天3700人。通过为车辆提供必要的安全功能，可以挽救大多数事故。几年后，对自动驾驶汽车的需求将大幅增加。自动驾驶汽车的安全性是大多数汽车行业和研究机构孜孜不倦地工作的主要焦点。尽管目前正在世界各地进行对自动驾驶汽车的研究，但由于无组织的交通状况，极端天气状况和大量人口，开发的解决方案无法在显示的场景中直接使用。

开发自动驾驶汽车需要一种基于多个传感器的环境感知算法，如物体检测、跟踪和分类、车道保持、自我车辆和附近动态物体的速度检测和跟踪等。此外，自动驾驶汽车需要驾驶员的眼睛来做出安全驾驶的决定。因此，需要高清地图来提供自动驾驶任务的详细信息。它包含大量的驾驶辅助信息。现有的导航地图具有米级精度，但高清地图将具有厘米级精度，用于定位和导航路径规划。用于实现自动驾驶汽车的主要传感器是LiDAR（光检测和测距），雷达，摄像头。此外，导航需要 GNNS 和 IMU。

为了实现自动驾驶汽车，需要具有非常高精度的环境感知和导航算法，该算法可以避开障碍物并使用多传感器感知安全地从源头导航到目的地。众所周知，在黑暗和恶劣的天气条件下，基于视觉的传感器（如相机）存在局限性。LiDAR的效率在极端天气条件下受到限制，如大雨和浓雾。虽然雷达在全天候中运行良好，但来自雷达的数据对于检测和跟踪障碍物非常稀疏。因此，为了克服单个传感器的限制，需要基于传感器融合的算法，该算法将在全天候条件下使用。

汽车工程师协会（SAE）描述了六个级别的自动驾驶汽车，如图1所示。在0级中，自动驾驶汽车完全由驾驶员控制，而与第6级一样，车辆将控制所有驾驶任务。此外，大多数研究预测，未来5年，对自动驾驶汽车的需求将增长10倍。因为它可以提高旅行时的生产力并减少事故。

图1：SAE描述的自动驾驶车辆的6个级别

自动驾驶汽车的四个基本组成部分是感知、定位和映射、路径规划和控制。

感知：感知是使用多个传感器感知环境的过程。此外，自动驾驶汽车的主要担忧之一是在极端天气条件下的性能，例如冬季早晨的浓雾和下雨，其中摄像头和LiDAR等传感器由于能见度低而无法感知场景，这可能导致车辆功能不当。在这种情况下，需要将LiDAR，雷达和摄像头融合在一起，以可视化车辆周围的环境。感知任务包括物体检测、跟踪、速度检测、车道保持等。障碍物检测是通过确定车辆路径中存在的物体来执行的。使用最先进的深度学习算法检测和分类不同类型的对象。这些物体可以分为汽车、行人、自行车等。对象跟踪用于跟踪方案中的动态对象。它还会添加或删除框架中的对象。自动驾驶汽车的目标跟踪技术必须兼具高速和高精度，以便实时应用。速度检测用于对对象是动态的还是静态的进行分类。它还用于确定检测到的物体的速度。自主系统还必须能够准确预测速度，以避免碰撞。

定位和映射：定位是相对于其环境中的物体确定车辆位置的过程。映射是基于从一个或多个传感器获取的数据构建映射的过程。定位和映射统称为同步定位和映射 （SLAM），如图 2 所示。SLAM是一种用于构建未知环境或已知环境地图的技术，同时跟踪车辆的当前位置。它将新测量的点云与先前的参考相匹配，并使用来自新点云的节点或地标更新地图。这在GPS信号失效的条件下起着重要作用，其中基于激光雷达或相机传感器完成定位。它有助于在估计的帮助下跟踪车辆的位置，并考虑到参考位置。除了导航地图和点云3D地图外，我们还可以制作高清地图，为车辆提供有关周围环境的丰富细节，为自动驾驶汽车提供一个视角。

图 2：使用 LiDAR 同时进行定位和映射

规划：用于查找从源到目标的可能路径的路径规划。它还用于寻找一条避开交通并穿过它的路径。基于动态对象，进行路径规划以避开障碍物。检测到障碍物后，车辆将沿着新的路径到达目标。规划是利用对环境和车辆位置的了解来规划轨迹的过程。感知和导航算法的准确性和计算效率的提高对于自动驾驶汽车非常重要。低效的算法可以被深度学习算法所取代，这将加速系统的性能和准确性。

控制：一旦实现了上述三个功能，那么执行器就会发挥作用，其中开发了控制算法以在不同驾驶情况下驱动车辆。

传感器

摄像头、激光雷达或雷达等感知传感器在不同的环境场景中都有自己的优缺点。相机提供丰富的色彩和视觉信息，但它缺乏提供深度信息。LiDAR提供物体的深度信息，但它非常稀疏，没有颜色信息。雷达不受照明影响，射程远。雷达使用射频波，因此与LiDAR相比，它的分辨率较低。我们将看到不同传感器的比较及其在不同环境中使用的能力。从表1中，我们可以得出结论，激光雷达用于中等距离自动驾驶汽车的高精度。相机为我们提供了很多视觉信息。但激光雷达和摄像头都受到恶劣天气的影响。而作为雷达具有更高的范围。它也可以在恶劣的天气条件下工作，因为它发出的无线电波可以在雨和雾中穿透。但是，与同行相比，激光雷达具有最高的精度，价格高昂。因此，我们需要一辆由激光雷达，雷达和摄像头组成的车辆，以应对所有天气状况。

传感器	受照明影响	受天气影响	分辨率	深度	范围	准确性	成本
照相机	是的	是的	高	不	<150米	低	低
雷达	不	不	低	是的	50-300米	中等	中等
激光 雷达	不	部分地	中等	是的	30-200米	高	高

表1：不同传感器的比较

传感器融合方法

经典方法：它使用统计和概率模型。它具有很高的计算复杂性。此外，它还需要系统模型和数据的先验知识。此外，它可以实现中低水平的融合。

深度学习方法：它是目前用于自动驾驶汽车的先进技术。基于卷积神经网络（CNN）的模型广泛用于对象检测和分类。用于对象检测的不同层如图3所示。首先，将输入图像数据提供给输入图层。然后，使用卷积层从图像中提取各种重要特征。稍后，通过保留最重要的信息并忽略冗余信息来执行池化以降低计算复杂性。在完全连接的层中，所有神经元都与一些权重连接并进行分类。因此，最终输出是以分类概率产生的。CNN的进步在几年内从两级探测器到单级探测器。R-CNN是流行的两级探测器之一，其中图像被提出到不同的区域，然后CNN被应用于检测。R-CNN模型提供高精度，但这是一个缓慢的过程，对于自动驾驶汽车的实时应用没有用。然后在R-CNN中看到各种进步。快速R-CNN提出提高速度，其中输入图像直接使用CNN处理以产生卷积特征图。现在使用像YOLO，SSD这样的单级检测器，可以更快地获得结果。使用传感器融合技术补偿精度损失。它广泛用于自动驾驶汽车。

图 3：CNN 的不同层

方法论

传感器融合是提高全天候条件下检测过程精度和速度的最重要技术之一。当其中一个传感器的效率低于使用多个传感器的融合时，我们可以提高感知算法的准确性。传感器融合可以通过两种方式完成，如下所述：

早期融合：在早期融合中，来自激光雷达的点云和相机图像等原始数据在处理前被融合。它也被称为高级聚变。它遵循如图 4 所示的 3 步过程。首先，将3D激光雷达点云投影到2D相机图像帧中，方法是转换为均匀坐标并应用一些平移和旋转过程，然后将其返回到欧几里得坐标。其次，对象检测是使用各种深度学习技术完成的，如R-CNN或SSD或YOLO。最后，完成感兴趣区域的匹配。我们需要通过跟踪过程对相机和LiDAR传感器进行内在和外在的校准，以便将LiDAR的3D点云投影到图像帧上。

图 4：早期传感器融合

后期融合：在后期融合中，结果独立于激光雷达和相机传感器获得。它遵循图 5 所示的 4 步过程。首先，使用激光雷达完成3D物体检测。然后相机在2D中检测到物体并将其投影到3D空间中。然后完成并集匹配的交集以获得最终结果。

图 5：后期传感器融合

识别和检测物体的解决方案之一是3D计算机视觉技术，因为与2D图像相比，体积图像包含更多信息可提供更好的质量和更少的噪声。因此，为了使其成为可靠的技术，需要关注深度学习技术，以提高传感器融合网络的可靠性，准确性，有效性和鲁棒性等性能。

没有传感器融合存在一些限制，但融合带来所需的输出，如表2所示。

视音频应用	熔断传感器	无限制，无融合	使用融合的优势
物体检测	激光雷达和摄像头	照明，夜视困难，激光雷达分辨率低	深度、范围和精度
定位和映射	全球定位系统和激光雷达	GPS 拒绝区域中功能较差	连续导航，定位校正
定位和导航	激光雷达地图、摄像头和全球定位系统	GPS 拒绝区域和道路标记	道路标线检测，高清地图
恶劣天气的感知	激光雷达、摄像头和雷达	在雾和雨等恶劣天气下功能不佳。	自动驾驶车辆全天候解决方案

表2：传感器融合在不同自动驾驶汽车应用中的优势

结语

总而言之，要使其完全自动驾驶，我们需要依靠各种传感器并做出决定，就好像一个传感器发生故障而另一个传感器会起作用一样。传感器融合是使自动驾驶汽车工作的关键技术之一。

by 阿布舍克·塔库尔

扫描加入免费的「智慧城市之智慧交通」知识星球可了解更多行业资讯和资料。