科创中国
面向机器视觉编码的目标级别恰可识别失真的生成方法
成果类型：: 发明专利
发布时间: 2023-09-27 16:57:26
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-10-10 15:37:31
本发明涉及图像视觉技术领域，具体是涉及面向机器视觉编码的目标级别恰可识别失真的生成方法。本发明首先将原始图像采用各个预设量化参数压缩得到各个压缩图像。之后将原始图像和压缩图像上裁剪下来得到目标的原始图像和目标的压缩图像分别输入至失真判别模型，本发明的容错策略纠错失真判别模型的判别结果，并基于纠错之后的判别结果判断哪个预设量化参数所对应的目标的压缩图像满足恰可识别失真，将其作为目标的量化参数，采用目标的量化参数对原始图像的目标所在区域压缩以满足解码端的识别需求；对原始图像的非目标区域进行压缩时，采用更大的量化参数对原始图像非目标区域压缩以减少比特。本发明提高了筛选出的目标的量化参数的准确性。
1.一种面向机器视觉编码的目标级别恰可识别失真的生成方法，其特征在于，包括：
将各个预设量化参数所对应的目标的各个压缩图像和所述压缩图像所对应的目标的原始图像应用已训练的失真判别模型，得到已训练的失真判别模型输出的针对各个所述压缩图像的各个判别结果，所述判别结果用于表征各个目标的所述压缩图像相对目标的所述原始图像是否失真；
对各个所述预设量化参数和各个所述预设量化参数的所述判别结果应用容错策略，从各个所述预设量化参数中筛选出目标的量化参数，目标的所述量化参数用于构建适用于机器视觉编码所需的压缩图像，所述压缩图像满足恰可识别失真条件，所述机器视觉编码用于识别所述压缩图像所包含的目标物体。
2.如权利要求1所述的面向机器视觉编码的目标级别恰可识别失真的生成方法，其特征在于，所述失真判别模型包括如下组成部分：
特征提取模块，用于提取目标的所述原始图像的特征和提取目标的所述压缩图像的特征；
特征融合模块，输入端与所述特征提取模块的输出端电连接，用于融合目标的所述原始图像的特征和目标的所述压缩图像的特征；
基于机器视觉的应用的落地，如智慧城市、视频监控、自动驾驶和工业自动化等。这些应用通常会产生大量的图像和视频数据。由于带宽的限制，往往需要压缩图像视频数据以便存储和传输。采用越大的量化参数QP去压缩图像，越能降低压缩之后的图像所占用的存储空间，越有利于将压缩之后的图像传输至后端的机器视觉编码模型(机器视觉目标识别模型或机器视觉编码)上。而采用越大的量化参数QP压缩得到的图像失真程度越大，越不利于机器视觉编码模型针对该压缩图像进行相应的处理。因此需要找到一个QP值使得采用该QP值压缩之后的图像的失真程度达到恰可识别失真JRD，JRD表示的是能明显影响机器视觉识别模型性能的最小失真(压缩图像失真程度越大，机器视觉识别模型越难以识别出压缩图像中的目标。最小失真的压缩图像就是恰好能让机器视觉识别模型识别出该图像中的目标，失真程度比最小失真稍微再大一点，那么机器视觉识别模型将不能识别出该图像中的目标)，以同时兼顾图像存储传输的需求和机器视觉识别模型对图像失真程度的限制。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
本发明首先将采用各个预设量化参数压缩得到的目标的压缩图像输入至失真判别模型，失真判别模型将该压缩图像与原始图像(未压缩图像)进行比较，判别各个预设量化参数所对应的各个压缩图像相对原始图像是否失真(判别结果)，由于失真判别模型输出的判别结果，其准确性并不是绝对准确，因此，本发明采用容错策略对失真判别模型输出的判别结果进行纠错，以得到准确的判别结果，并基于纠错之后的判别结果判断哪个预设量化参数所对应的压缩图像满足恰可识别失真，之后将该预设量化参数作为所述目标的量化参数，压缩原始图像中的目标区域时，采用筛选的最佳量化参数(即目标的量化参数)对目标进行压缩以满足解码端的识别需求；对原始图像的非目标区域进行压缩时，采用更大的量化参数对其进行压缩以减少比特。即使判别模型从更多的预设量化参数所对应的压缩图像中判别图像是否失真这一判别结果存在误差，但是本发明使用容错策略对判别结果进行纠错，因此允许本发明从更多的预设量化参数中的筛选出能够满足恰可识别失真所需的目标所对应的量化参数，从而提高了筛选出的目标的量化参数的准确性。
技术合作
本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
下载app