Object Detection and Tracking Based on Image and Point Clouds Instance Matching for Intelligent Vehicles
LI Shangjie, YIN Guodong, GENG Keke, LIU Shuaipeng · Journal of Mechanical Engineering · 2024
摘要： 针对智能车的环境感知任务，为了结合相机图像中丰富的语义信息与激光雷达点云中准确的位置信息，提出一种基于图像和点云实例匹配的融合检测方法。通过实例分割网络预测图像中目标的实例掩膜，通过透视投影变换将点云投影至图像平面，根据每个目标的实例掩膜提取属于该目标的点云，然后利用聚类算法去除点云中的噪声，并利用凸包轮廓逼近算法拟合点云的三维轮廓，实现对目标的融合检测。在所提出的融合检测方法的基础上，设计跟踪门实现多目标的数据关联与管理，基于卡尔曼滤波对目标进行跟踪并估计各目标的运动状态。试验结果表明，该方法能够有效地对图像数据和点云数据进行信息融合，从而准确快速地对目标的位置、尺寸、方向角进行拟合并对目标的速度进行估计，且在不同试验场景中表现出鲁棒性。