本发明的目的是提出基于困难类别感知机制的夜间街景语义分割方法。利用曝光纹理图,通过梯度反向传播,使得编码器隐式的学习图像中的曝光特征和纹理特征,同时使用困难类别感知模块加强困难类别语义分割网络对困难类别的识别和定位能力,有效地提高了夜间街景语义分割算法的性能。

提供一种基于困难类别感知机制的夜间街景语义分割方法。该方法能利用曝光纹理图，通过梯度反向传播，使得编码器隐式的学习图像中的曝光特征和纹理特征，同时使用困难类别感知模块加强困难类别语义分割网络对困难类别的识别和定位能力，有效地提高了夜间街景语义分割算法的性能。

当今社会，人工智能作为先进的科技代表，在各个方面都影响着人们生活与社会的发展。图像处理技术的准确性、时效性在人工智能领域越来越重要。由于自动驾驶、智慧城市等在全球范围内受到了更多人的认可。在无人驾驶方面，鉴于无人驾驶这一技术对于安全性的较高要求，驾驶系统需要在不断变化的外界环境中进行车辆的行驶过程中的路线规划以及对障碍物如其他车辆、建筑物等的检测，这就要求很高的精确度来完成这项精准的任务，通过语义分割可以实时判断道路上的各个标记。在这些领域，理解周围环境的语义信息对于躲避障碍物、减少车与车或车与人之间的碰撞具有非常重要的现实意义。语义分割的主要任务是为图像中的像素点标记类别信息。具体来说，与分类任务相似，使用分类网络加上分割头对图像中的像素点进行分类。

在无人驾驶中，夜间图像的语义分割与白天图像的语义分割具有同等重要的作用。但由于夜间图像存在较大的复杂的退化现象，在夜间微弱的自然光照条件下，图像中的边缘信息，纹理信息以及图像色彩中的一些语义信息都会发生急剧的改变，这使得图像中的部分语义信息可能因为图像质量过低或者人造光源的干扰而完全丢失。并且夜间图像的标注更为困难，所以夜间图像的语义分割更具挑战性。现如今大多数的主流语义分割方法并不适用于夜间。这是因为大多数模型和框架都是在白天的条件下训练的，这会产生巨大的域偏差，这导致了某些传统模型能在白天图像上取得令人满意的性能，然而夜间图像的效果并不是很理想。因此，夜间街景语义分割在现实中则具有很高的应用价值，可以辅助智能汽车对夜间场景进行理解，在夜间检测障碍物和行人，从而预防交通事故。总的来说，夜间街景语义分割，由于夜间街景图像具有许多复杂的语义退化现象，常规传统的语义分割模型并不能获得较好的分割处理结果，所以夜间街景语义分割现如今是一项十分具有难度和意义的课题。

发明人：刘文犀 蔡家鑫 李琦 林心代 于元隆福州大学（Fuzhou University），简称福大，位于福建省福州市，创建于1958年，是国家“双一流”建设高校，国家“211工程”建设高校，国家教育部、国家国防科技工业局与福建省人民政府共建高校，福建省三所重点建设的高水平大学之一，福建省一流大学建设高校，入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。

与现有技术相比，本发明及其优选方案利用曝光纹理图，通过梯度反向传播，使得编码器隐式的学习图像中的曝光特征和纹理特征，同时使用困难类别感知模块加强困难类别语义分割网络对困难类别的识别和定位能力，有效地提高了夜间街景语义分割算法的性能。

当前专利未经权利人许可不得实施，希望将科技成果转让给研发实力雄厚的企业，由受让人对科技成果实施转化。交易的是科技成果中的知识产权，可以包括专利权、专利申请权、技术秘密等。科技成果转让后，转让方获得转让费，不再是科技成果的所有人；受让方向转让方支付转让费，并成为科技成果的新的所有人。