科创中国
视频目标分割方法、装置、电子设备及存储介质
成果类型：: 发明专利
发布时间: 2023-09-08 15:24:39
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-09-26 12:02:36
本发明实施例公开了一种视频目标分割方法及装置，所述方法包括：分别对视频中的各视频帧和对应的描述文本进行特征提取，得到各视频帧的视觉特征和文本特征；对各视频帧进行采样得到多个视频片段；基于文本特征和各视频片段中视频帧的视觉特征进行混合时间尺度下的多模态特征学习，分别在不同时间尺度上得到第一融合特征和第二融合特征；所述第一融合特征是指混入文本的视觉特征，所述第二融合特征是指混入视觉的文本特征；基于在不同时间尺度上得到的第一融合特征和第二融合特征进行视频的视觉语言感知，得到视频的目标分割结果。本发明解决了相关技术因忽略了视频中相同目标可以使用不同描述文本而导致视频目标分割准确率不高的问题。
1.一种视频目标分割方法，其特征在于，所述方法包括：
分别对视频中的各视频帧和所述视频对应的描述文本进行特征提取，得到各所述视频帧的视觉特征和文本特征；
对各所述视频帧进行采样得到多个视频片段；各视频片段具有不同时间尺度，各视频片段均包括多个视频帧；
基于所述文本特征和各视频片段中视频帧的视觉特征进行混合时间尺度下的多模态特征学习，分别在不同时间尺度上得到第一融合特征和第二融合特征；所述第一融合特征是指混入文本的视觉特征，所述第二融合特征是指混入视觉的文本特征；
基于在不同时间尺度上得到的第一融合特征和第二融合特征进行所述视频的视觉语言感知，得到所述视频的目标分割结果。
2.如权利要求1所述的方法，其特征在于，所述对各所述视频帧进行采样得到多个视频片段，包括：
按照不同采样间隔对各所述视频帧进行采样，得到多个视频帧序列；每一个视频帧序列对应一种采样间隔；
针对每一个视频帧序列，从所述视频帧序列中随机选取多个视频帧，得到各所述视频片段；每一个所述视频片段对应一种时间尺度。
随着智能设备的推广以及智慧城市的建设，各类摄像头已成为监控安防、自动驾驶、智慧医疗等领域不可或缺的硬件设备。面对每时每刻产生的海量视频，人工处理非常困难且效率低不能满足实际的应用需求，视频分析领域应运而生。该领域主要研究视频中的目标分割、目标追踪、目标识别、动作识别、语义分析、动作定位等颇具挑战的难题。
然而，现有的相关技术忽略了视频中同一个目标可以拥有多个不同的描述文本，使得即使是对视频中的同一个目标进行预测，由于所依赖的该目标的描述文本不同，得到的目标分割结果会有所差异，进而导致无法准确地实现视频目标分割。
因此，如何提高视频目标分割的准确率仍有待解决。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
本发明首先分别对视频中的各视频帧和视频对应的描述文本进行特征提取，得到各视频帧的视觉特征和文本特征，对各视频帧进行采样得到多个视频片段，基于文本特征和各视频片段中视频帧的视觉特征进行混合时间尺度下的多模态特征学习，分别在不同时间尺度上得到第一融合特征和第二融合特征，基于在不同时间尺度上得到的第一融合特征和第二融合特征进一步构建多级视觉语言关系，最终得到视频的目标分割结果，也就是说，在进行不同尺度下的多模态特征学习的同时，还通过尺度内和尺度间的视觉语言感知对视频中目标进行预测，能够更好地实现在同一个视频内对齐关于同一个目标的视觉特征和文本特征，从而能够有效地提升视频目标分割的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
技术合作
虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
上述内容，仅为本发明的较佳示例性实施例，并非用于限制本发明的实施方案，本领域普通技术人员根据本发明的主要构思和精神，可以十分方便地进行相应的变通或修改，故本发明的保护范围应以权利要求书所要求的保护范围为准。
下载app