科创中国

行业领域

新能源产业

需求背景

自动驾驶领域

摄像头作为 L3、L4 自动驾驶系统的核心传感器之一，具备的成本低、分辨率高、满足车规等优势，是支撑自动驾驶落地的核心器件。车载摄像头主要为单目可见光摄像头，目前正在开发的 L3 高速自动驾驶和 L4 港牵车、洗扫车项目也选用单目可见光摄像头作为视觉感知单元，但单目可见光摄像头存在对光照敏感、无法准确获取目标物三维空间信息的不足，需要与激光雷达进行信息融合弥补。但目前激光雷达成本高昂、不满足车规，短期内无法量产装车。因此亟需研究一种低成本的全天候三维立体

感知技术。

红外摄像头具有不受光照、天气环境的限制，具有较强的穿透力的优点，可以实现全天候工作。利用多目立体视觉技术，组合可见光摄像头和红外摄像头，可以较低的成本实现全天候三维立体感知目标。但其中的多光谱数据融合、多光谱目标检测和双目立体匹配等核心技术尚未解决，拟与国内知名高校合作共同开发完成相关开发，设计基于可见光和红外摄像头的四摄感知单元，提高自动驾驶系统应用边界，提高陕汽 L3、L4 自动驾驶车辆市场竞争力。

需解决的主要技术难题

无法开发红外可见光融合的三维视觉环感知技术及相关系统模块，旨在解决全天候、低成本的自动驾驶视觉感知需求。

期望实现的主要技术目标

1.实现基于红外可见光融合、双目立体匹配、目标检测等核心算法的三维视觉感知技术。

2.搭建基于可见光和红外摄像头的四摄融合感知单元。

3.实现特定场景下的四摄融合系统的实车部署和性能测试。

4.通过技术培训和支持服务，掌握红外可见光融合的核心算法并具备自主开发及部署相关技术及能力。

需求解析

解析单位：陕西省西咸新区 解析时间：2023-10-15

李卫斌

西安电子科技大学

教授

综合评价

随着科技不断进步，光电传感器技术得到迅猛的发展，各波段光谱成像技术也趋于成熟，其中最为典型的就是红外与可见光光谱成像技术。红外设备根据目标物体自身的热辐射进行成像，主要突出场景中的热目标，其不易受光照、天气等影响，对复杂环境具有鲁棒性，但成像对比度较低，纹理细节不丰富，不利于人眼观察。可见光图像是利用可见光反射进行成像，对比度较高、纹理信息丰富，更利于机器识别或人眼观察，但可见光图像在雾霾、低光照等场景下的成像效果不理想。 在图像处理领域，单一传感器由于获取的图像信息量较少、复杂天气下适应度较低等缺点而不能满足市场需求。因此，将红外与可见光图像进行融合，提取可见光图像中的纹理细节信息与红外图像中的显著性目标信息，进而获得一张既有热辐射信息又有可见光纹理细节的融合图像。

查看更多>

处理进度