科创中国
视频目标分割方法、装置、电子设备及存储介质
发布时间: 2023-09-08
基本信息
合作方式：
技术服务
成果类型：
发明专利
行业领域：
物理
成果介绍
本发明实施例公开了一种视频目标分割方法及装置，所述方法包括：分别对视频中的各视频帧和对应的描述文本进行特征提取，得到各视频帧的视觉特征和文本特征；对各视频帧进行采样得到多个视频片段；基于文本特征和各视频片段中视频帧的视觉特征进行混合时间尺度下的多模态特征学习，分别在不同时间尺度上得到第一融合特征和第二融合特征；所述第一融合特征是指混入文本的视觉特征，所述第二融合特征是指混入视觉的文本特征；基于在不同时间尺度上得到的第一融合特征和第二融合特征进行视频的视觉语言感知，得到视频的目标分割结果。本发明解决了相关技术因忽略了视频中相同目标可以使用不同描述文本而导致视频目标分割准确率不高的问题。
成果亮点
1.一种视频目标分割方法，其特征在于，所述方法包括：
分别对视频中的各视频帧和所述视频对应的描述文本进行特征提取，得到各所述视频帧的视觉特征和文本特征；
对各所述视频帧进行采样得到多个视频片段；各视频片段具有不同时间尺度，各视频片段均包括多个视频帧；
基于所述文本特征和各视频片段中视频帧的视觉特征进行混合时间尺度下的多模态特征学习，分别在不同时间尺度上得到第一融合特征和第二融合特征；所述第一融合特征是指混入文本的视觉特征，所述第二融合特征是指混入视觉的文本特征；
基于在不同时间尺度上得到的第一融合特征和第二融合特征进行所述视频的视觉语言感知，得到所述视频的目标分割结果。
2.如权利要求1所述的方法，其特征在于，所述对各所述视频帧进行采样得到多个视频片段，包括：
按照不同采样间隔对各所述视频帧进行采样，得到多个视频帧序列；每一个视频帧序列对应一种采样间隔；
针对每一个视频帧序列，从所述视频帧序列中随机选取多个视频帧，得到各所述视频片段；每一个所述视频片段对应一种时间尺度。
团队介绍
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
成果资料
产业化落地方案
下载app