2022年8月3日，清华大学车辆与运载学院李骏院士团队提出的基于结合外观-运动优化的多模态融合三维多目标跟踪算法“CAMO-MOT（Combined Appearance-Motion Optimization Multi-Object Tracking）”荣获自动驾驶领域权威评测数据集nuScenes跟踪任务榜单的第一名。

图1 CAMO-MOT算法荣获nuScenes当前测评榜第一名

     团队提出了一种新的基于结合“外观-运动”优化的多模态融合三维跟踪框架CAMO-MOT，该框架同时使用了相机和激光雷达数据融合，显著减少了由于遮挡和误检导致的跟踪失败。对于遮挡问题，该算法首先提出了遮挡状态识别模块，可以从历史帧中有效地选择最佳的物体外观特征，减少了遮挡的影响。针对错误检测严重影响跟踪效果的问题，该算法设计了一种基于置信度评分的运动代价矩阵，使得三维空间中的定位和目标预测的精度大幅提升。同时考虑现有的多目标跟踪方法仅对单一类别跟踪的缺陷，构建了多类别损失来实现多类别场景中的稳定多目标跟踪。该算法在所使用的检测器与榜单排名第二的MIT团队BEVFusion所采用的检测器性能相差巨大的情况下，仍将评价的关键指标多目标跟踪平均准确度AMOTA从74.1%提升至75.3%，表现出算法优秀的跟踪性能，彰显了李骏院士团队在自动驾驶领域的技术实力。

图2 CAMO-MOT三维多目标跟踪算法框架

     CAMO-MOT算法的研发由李骏院士、张新钰老师指导，博士后王力及团队成员秦闻远、李效宇、杨磊等开展实验验证。团队在自动驾驶领域有着丰富的技术积累和成果产出，建立了面向智能驾驶感知安全的多模态信息融合框架，提出了基于信息熵的可解释安全融合方法，并发布了国内首个面向自动驾驶的多模态融合感知数据集平台OpenMPD，构建智能驾驶融合感知发明专利群（美国授权发明专利8项，中国授权发明专利30项），团队研究成果已发表在Information Fusion、Pattern Recognition、T-II、T-IE、T-Mech、T-VT、T-IV、ICRA、IROS、ITSC等自动驾驶知名期刊和国际学术会议上。

关于 nuScenes

nuScenes是由Motional团队（前nuTonomy公司）于2019年公布的自动驾驶超大规模公共数据集，包括在波士顿和新加坡采集的 1000 个驾驶场景、140万帧图像和39万帧激光雷达点云数据，并标注了23个物体类别和140万个三维标注框，数据规模和难度远超之前的自动驾驶数据集KITTI，完善的传感器数据和充足的数据量使得nuScenes数据集成为自动驾驶领域中最广泛使用的公开数据集之一，是目前世界最权威的自动驾驶评测集。

参与nuScenes 三维多目标跟踪任务的单位包括MIT（BEVFusion，排名2）、阿里巴巴（GTFS，排名3）、香港科技大学（TransFusion，排名4）、上海交通大学与华为诺亚方舟实验室（AlphaTrack，排名5）、斯坦福大学、苏黎世联邦理工学院、慕尼黑工业大学、图宾根大学、加利福尼亚大学圣迭戈分校、伊利诺伊大学香槟分校、丰田研究所、旷视科技及图森未来等国内外知名研究机构和企业。

李骏院士团队简介

清华大学李骏院士团队致力于研究以智慧城市、智能交通、智能汽车（SCSTSV）为核心理念的未来城市智能共享出行架构及智能共享运载工具，并在此基础上不断探索基于使能赋能融合一体化技术的高级智能网联汽车在各种复杂城市场景下实现更高效、更安全的协同网联驾驶（CCAD）和协同网联运载（CCAM）。三维多目标跟踪是跨越时间维度将连续帧检测的目标序列进行关联，获取不同物体的运动轨迹，是自动驾驶环境感知系统中的重要功能模块，对未来CCAD和CCAM平台系统的性能研发与产品设计有着重要的指导意义。