科创中国
一种基于时间戳优化的视觉惯性定位方法
成果类型：: 发明专利
发布时间: 2023-09-27 11:14:52
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-10-10 14:32:50
本发明公开一种基于时间戳优化的视觉惯性定位方法。该方法包括：针对待测场景，利用相机获取图像数据，利用惯性测量单元获取IMU数据，并对图像数据进行点特征提取与线特征提取，进而恢复特征点的逆深度以及图像帧的初始位姿信息；利用图像数据和IMU数据，并采用滑动窗口非线性策略，以对多个状态量进行估计，其中，所述多个状态量包含IMU数据与图像数据的时间偏移量，进而利用所述时间偏移量补偿IMU数据与图像数据；在每一次优化后，判断关键帧，并基于关键帧与关键帧数据库的比对寻找候选回环帧，进而对候选回环帧进行特征点匹配，识别出正确的回环帧，以利用回环帧建立后端优化过程中的回环约束。本发明提高了全局地图位姿估计精度和鲁棒性。
1.一种基于时间戳优化的视觉惯性定位方法，包括：
状态预处理步骤：针对待测场景，利用相机获取图像数据，利用惯性测量单元获取IMU数据，并对图像数据进行点特征提取与线特征提取，进而恢复特征点的逆深度以及图像帧的初始位姿信息；
后端优化步骤：利用图像数据和IMU数据，并采用滑动窗口非线性策略，以对多个状态量进行估计，其中，所述多个状态量包括惯性测量单元的状态信息、特征点的逆深度、特征线的表示以及IMU数据与图像数据的时间偏移量，进而利用所述时间偏移量补偿IMU数据与图像数据；
回环检测步骤：在每一次后端优化结束后，判断关键帧，并基于关键帧与关键帧数据库的比对寻找候选回环帧，进而对候选回环帧进行特征点匹配，识别出正确的回环帧，以利用该回环帧建立后端优化过程中的回环约束。
2.根据权利要求2所述的方法，其特征在于，所述状态预处理步骤包括：
通过IMU预积分模型对相邻两图像帧之间的IMU数据进行积分，求得当前图像帧与上一帧的相对位姿；
在室内移动机器人的自主定位作业中，需要通过传感器获取周围环境的信息，利用获取到的信息进行定位。然而在实际场景中，利用一种单一的传感器很难得到较为精确的位置信息，因此基于多传感器的移动机器人定位系统，可以提高其自身定位的鲁棒性，进而获取更加精准的位置信息。如何在位姿估计中充分利用不同传感器的数据越来越得到重视，在多源信息融合方面有着多样的研究，近年来有一类方法通过增添三维立体环境中的场景约束来提高物体在运动过程中位姿估计的精度，然而该类方案还存在传感器数据之间存在时间戳偏移的问题。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
与现有技术相比，本发明的优点在于，通过对IMU和图像数据之间的时间偏移量进行动态估计，并将估计的时间差补偿到前端，使得IMU与图像数据时间戳对齐，并结合线特征信息提高结构化场景中的约束，进而提升位姿估计的精度。本发明提出的基于时间戳优化的视觉惯性定位方法，在特征提取阶段通过改进的视觉重投影模型有效的估计IMU与相机的时间偏移量，提升了多模态数据融合性能，同时在后端非线性优化中引入线特征约束将有效地提升全局位姿的精度。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
技术合作
本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
下载app