您所在的位置: 需求库 技术需求 毫米波视觉感知三维图像重构

毫米波视觉感知三维图像重构

发布时间: 2023-12-07
截止日期:2023-12-04

价格 双方协商

地区： 浙江省 宁波市 余姚市

需求方： 浙江***究院

行业领域

高端装备制造产业

需求背景

本项目旨在为环境感知提供一种融合毫米波与视觉的新型多源器件，对毫米波提供的稀疏深度信息与相对稠密的视觉平面信息进行标定与融合，通过轮廓提取和插值滤波实现三维图像重构，利用毫米波的物体检测功能对图像进行分割处理，显著降低深度学习运算量。

需解决的主要技术难题

毫米波传感器采集信息为相对稀疏且因分辨率低导致若干不确定性的空间三维点云，通过合成孔径可适当降低该不确定性。视觉传感器采集信息为稠密的二维平面像素信息，其三维空间意义即视角范围内一系列射线对应的投影。如何通过两类感知信息的有效融合实现三维图像重构是智能感知器件的关键技术之一，主要涉及标定、融合和滤波等研究工作。运用参数辨识方法确定毫米波传感器和视觉传感器内外参数，根据坐标平移和旋转变换建立两者联合标定方程，将毫米波采集的三维数据映射到视觉成像平面: 

期望实现的主要技术目标

在毫米波深度信息辅助下，通过区域分割法对图像数据进行交互式轮廓提取对分割后的图像，在稀疏毫米波空间坐标基础上通过非线性插值实现深度信息填充和三维重构，并利用扩展卡尔曼滤波器进行数据估计和校准，从而获得期望的融合三维环境图像。