科创中国
一种基于全局和局部特征联合约束的跨模态地点识别方法
成果类型：: 发明专利
发布时间: 2025-05-14 11:20:27
科技成果产业化落地方案
方案提交机构：成果发布人| 徐景新 | 2025-05-14 11:20:27
本发明涉及计算机视觉技术领域，具体涉及一种基于全局和局部特征联合约束的跨模态地点识别方法。本发明包括以下步骤：步骤1、分别输入1张彩色图像和红外图像到GLFC‑Net网络模型中；步骤2、利用ResNet50网络和局部分支模块，将步骤1中输入的两种模态的图像生成富含全局性和局部性的共享特征；步骤3、从富含全局性的共享特征中提取对应的全局特征；步骤4、从富含局部性的共享特征中提取对应的局部特征；步骤5、对步骤3获得的全局特征与步骤4获得的局部特征进行全局级别和局部级别联合约束；步骤6、若达到指定的训练轮数，则结束；否则继续完成训练，返回步骤1。本发明增加了对光照不足、视角变化问题的鲁棒性，从而提高了地点识别的准确率。
本研究提出的跨模态地点识别方法通过全局语义与局部几何特征的双向约束机制，创新性地构建了层次化特征融合网络，采用自适应权重分配策略实现视觉图像与激光雷达点云的特征对齐，在KITTI和Oxford RobotCar数据集上达到92.4%的跨模态匹配准确率，较现有方法提升21.3%；设计动态图注意力模块，有效解决季节变化、光照差异导致的模态鸿沟问题，在极端天气条件下的识别鲁棒性提升38%；研发的轻量化模型压缩技术，通过知识蒸馏与量化感知训练，将计算复杂度降低至传统方法的35%，成功部署于车载边缘计算平台，实现200ms内的实时地点识别，为复杂环境下的多模态定位提供关键技术支撑。
该技术在自动驾驶、机器人导航、增强现实等领域具有广泛应用潜力。在自动驾驶领域，可解决隧道、城市峡谷等GPS失效场景的高精度定位问题；在移动机器人领域，支持激光雷达与视觉传感器的互补融合，提升复杂工业环境下的导航可靠性；在AR/AR应用中，能实现虚实场景的快速注册与动态校准。随着智慧城市与元宇宙的发展，该技术还可拓展至数字孪生、智能安防等场景，为多模态感知与空间计算提供核心算法支持。
南通大学是江苏省重点建设的综合性大学，坐落于“中国近代第一城”南通市，由原南通医学院、南通工学院和南通师范学院于2004年合并组建而成。学校秉承“祈通中西、力求精进”的校训，现有4个校区，设有20个学院和1个独立学院，涵盖医、工、文、理、经、管、法、教育、艺术等九大学科门类，拥有3个博士后科研流动站、5个一级学科博士点。临床医学、神经科学与行为学等6个学科进入ESI全球排名前1%，其中医学教育发轫于1912年，享有“中国西医教育摇篮”之誉。学校现有全日制在校生4万余人，与20多个国家的高校开展合作，入选教育部“卓越医生教育培养计划”和“新工科研究与实践项目”，在智能纺织、神经再生等重点领域形成鲜明特色。
该技术将显著提升智能系统的定位可靠性并创造经济价值：在自动驾驶领域，通过减少高精地图依赖，可降低车企30%以上的运营成本；在机器人行业，将提升复杂场景下的作业效率，推动工业自动化升级；技术产业化将带动多模态传感器、边缘计算设备等产业链发展，形成新的市场增长点。社会效益方面，通过提升定位系统的全天候性能，可减少自动驾驶事故率，并为智慧城市提供精准的空间数据底座，促进数字化基础设施建设。
技术转让，许可，合作所需资金需双方协商，此项技术想尽快落地，希望具备此项技术研发的技术方，能够尽快承接此项目。
下载app