本发明公开了基于多功能聚合和跟踪模拟训练的在线多目标跟踪方法,属于计算机视觉技术领域。所述方法设计了一个聚合多个功能模块的网络结构,利用ECC与Kalman滤波器的融合模式作为运动模型,同时本申请采用了一种端对端的训练方法,利用目标的预测位置和真实位置扩充训练数据,最后,采用融合了目标历史外观信息的指标损失来训练网络中的外观提取模块。本发明方法能够提高各个功能模块之间的兼容性以及对于多目标跟踪任务的适应性,改善模型的身份保存能力,具有较好的在线多目标跟踪性能。

一种基于多功能聚合和跟踪模拟训练的在线多目标跟踪方法，所述方法采用聚合了目标分类、边界框回归以及目标外观特征提取功能的网络结构进行目标跟踪，采用端对端的方法对网络进行训练，且在训练网络时，模拟在线的多目标跟踪过程，记录目标在每一帧的真实位置作为其跟踪轨迹，然后利用运动预测模型预测目标在训练帧中的边界框，利用预测出的目标在训练帧中的边界框位置和真实位置生成包含正负样本的推荐区域来扩充训练数据，然后，所述方法利用增强相关系数ECC与Kalman滤波器的融合模式作为运动模型，提供更准确的预测位置；最后，所述方法采用能够利用目标历史外观信息的指标损失来训练网络中的外观提取模块；采用最后得到的网络模型进行在线多目标跟踪。

多目标跟踪(Multiple Object Tracking,MOT)是一个计算机视觉任务，目的是在没有任何关于目标的外观和数量的先验知识下，分析视频以识别和跟踪属于一个或多个类别的目标，如行人、汽车、动物和无生命的物体等。MOT任务在计算机视觉中扮演着重要的角色：从视频监控到自动驾驶汽车，从动作识别到人群行为分析，许多这些问题都将受益于高质量的多目标跟踪技术。

根据处理数据的方式，多目标跟踪算法可以被分为两类：一类是在线跟踪，仅处理当前的视频帧，其适用于例如自动驾驶等实时任务。另一类是离线跟踪，利用了整个视频帧的数据。虽然，离线的方法显示出了比在线跟踪算法更好的表现，但是其通常不适用于时间关键型应用。原因在于离线的方法通常采用了全局优化过程，其计算开销较大。

无论是Tracktor还是上面的其他方法，其网络模型都是包括了由几个功能不同的的独立模块组成，例如单目标跟踪网络，回归网络，外观特征提取网络等。每个网络模块都在不同的任务上进行针对性的训练。将这些分开训练的模块直接应用到多目标跟踪任务上时，可能会无法有效兼容以及适应多目标跟踪任务，最终导致模型的跟踪能力下降。

目前主要的在线多目标跟踪算法主要存在两方面的问题，即模型的各个功能模块同时使用时无法有效兼容的问题，以及当这些分开的功能模块用于多目标跟踪任务时适应性较差的问题。

江南大学是教育部直属、国家“211工程”重点建设高校和“双一流”建设高校。学校具有悠久的办学历史、厚重的文化积淀，源起1902年创建的三江师范学堂，历经国立中央大学、南京大学等发展时期；1958年南京工学院食品工业系整建制东迁无锡独立建校，成立无锡轻工业学院；1962年无锡纺织工学院并入无锡轻工业学院；1995年更名为无锡轻工大学；2001年无锡轻工大学、江南学院、无锡教育学院合并组建江南大学；2003年东华大学无锡校区并入江南大学。

通过采用了Kalman滤波器和ECC的融合模式作为运动模型，能够有效解决相机运动和行人运动带来的位置变换，提高运动预测的准确性。通过共用一个backbone的分类模块、回归模块以及行人重识别模块组成的跟踪网络模型，相较于把不同功能模块分开的网络模型，具有更少的参数量，占用更少的存储空间。其次，在推理时也能够直接提取目标的外观特征，而不需要将细化后的边界框输入到额外的行人重识别网络，从而提高了计算效率。最后，由于三个模块共享一个backbone，即具有一致的中间层的特征表征，在训练过程中，边界框的回归过程和外观特征的提取过程能够相互促进，逐渐匹配，导致获取能更准确地包裹住目标的边界框以及更能反应目标外观信息的外观特征。本发明还通过采用端对端的训练方法，提高了各个功能模块对于多目标跟踪任务的适应性，能够有效地提升跟踪性能。进一步的，本发明采用了能够利用目标历史外观特征进行训练的指标损失来训练ReID模块，提高了模型提取的外观特征的时间相关性，进一步强化了模型的身份保存能力。

科技成果只有通过实施开发应用，使其转化为生产力，才能取得经济效益和社会效益。成果方目标是将科技成果转化为现实生产力，期待有意愿的企业或合作单位进行合作推广或者进行产品生产。考虑合作转化、许可+合作等转化方式与企业、科学技术研究开发机构和其他组织建立合作关系。