科创中国
识别视频中人体行为的方法和系统
成果类型：: 发明专利
发布时间: 2023-05-10 14:13:03
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-05-18 11:25:06
本发明提供了一种识别视频中人体行为的方法，所述方法包括：提取目标视频中的特征点；将特征点周围时间和空间邻域内固定的像素点和特征点组成点对；将所述点对形成时空3D共生特征，时空3D共生特征包括3D共生梯度方向直方图特征、3D共生光流直方图特征和3D共生运动边界直方图特征；根据时空3D共生特征提取目标视频表示的多视角超向量；将多视角超向量带入支持向量机分类器中对目标视频中的人体行为进行识别。根据时空3D共生特征提取目标视频表示的多视角超向量更能够反映复杂的表观结构和运动结构，因而利用视频表示的多视角超向量进行人体行为识别，能够提高了人体行为识别的精确度。
1.一种识别视频中人体行为的方法，所述方法包括：提取目标视频中的特征点；将特征点周围时间和空间邻域内固定的像素点和所述特征点组成点对；将所述点对形成时空3D共生特征，时空3D共生特征包括3D共生梯度方向直方图特征、3D共生光流直方图特征和3D共生运动边界直方图特征；对所述时空3D共生特征进行联合统一建模，并区分所述时空3D共生特征中各特征间的共享信息和独立信息，对所述共享信息的超向量和独立信息的超向量进行串联，得到所述目标视频表示的多视角超向量；其中，所述共享信息的超向量为对所述时空3D共生特征进行联合统一建模后得到的高斯模型的隐变量拼接得到的向量，所述独立信息的超向量是对所述时空3D共生特征进行联合统一建模后得到的模型分别相对于所述时空3D共生特征的梯度向量；将多视角超向量带入支持向量机分类器中对所述目标视频中的人体行为进行识别。
人体行为识别是通过计算机视觉方法判断和识别视频中的人正在进行的行为，例如通过对视频中的人体行为进行识别可以知道视频中的人是在跑动或者散步，视频表示方法直接影响人体行为识别的最终效果。
传统的视频表示方法主要是基于多种时空局部特征融合的方法，此类方法首先在视频中抽取局部时空长方体块，然后在原始帧中提取梯度方向直方图(Histogram ofGradient orientation,HOG)特征，在光流帧中提取光流梯度方向直方图(Histogram ofFlow gradient orientation,HOF)特征和运动边界直方图 (Motion BoundaryHistogram,MBH)特征。而在利用这些不同特征的特征融合阶段，常用的有两种方法。一种是早期融合法，即所有的特征串联形成一个长特征进行编码和聚合以形成中层的视频表示；另一种是后期融合法，即将单种特征进行编码和聚合形成多个中层视频表示方法，然后将中层表示串联或者在单个特征得到分类得分后进行加权融合；最后，将中层视频表示输入至分类器进行人体行为识别。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
上述实现对视频中人体行为识别的方法和系统，通过对目标视频中的特征点和特征点周围时间和空间邻域内的像素点组成点对，根据组成的点对形成时空3D共生特征，由于组成的点对包含目标视频中的特征点周围时间和空间领域内的像素点，使得在时空3D共生特征中的局部特征提取过程中考虑到了特征点时空上下文信息，因此根据时空3D共生特征提取目标视频表示的多视角超向量更能反应复杂的表观结构和运动结构，因而利用视频表示的多视角超向量进行人体行为识别，能够提高了人体行为识别的精确度。
技术合作
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
下载app