科创中国
一种视频动作检测方法、终端及存储介质
成果类型：: 发明专利
发布时间: 2023-09-27 17:12:11
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-10-10 15:25:43
本发明公开了一种视频动作检测方法、终端及存储介质，采用深度优先遍历算法对待检测视频中待检测个体的骨架节点进行深度优先遍历，得到深度优先序列；选取待检测个体的其中一个骨架节点作为节点参考点，并基于节点参考点以及该待检测视频的骨架序列，确定在待检测视频的每帧图像中各骨架节点所对应的RGB值；将深度优先序列作为沿伪图像的高度方向各骨架节点的排序顺序，将骨架序列的时序方向作为伪图像的宽度方向，以及将每帧图像中各骨架节点所对应的RGB值作为伪图像的深度方向，以构建待检测视频中待检测个体的伪图像；基于伪图像，确定待检测视频中待检测个体的动作信息，以提高视频动作检测的准确度。
权利要求
1.一种视频动作检测方法，其特征在于，所述方法包括：
采用深度优先遍历算法对待检测视频中待检测个体的骨架节点进行深度优先遍历，得到深度优先序列；以及
根据所述待检测视频中所述待检测个体的各所述骨架节点，确定所述待检测个体的骨架序列；
选取所述待检测个体的其中一个所述骨架节点作为节点参考点，并基于所述节点参考点以及所述骨架序列，确定在所述待检测视频的每帧图像中各所述骨架节点所对应的RGB值；
将所述深度优先序列作为沿伪图像的高度方向各所述骨架节点的排序顺序，将所述骨架序列的时序方向作为所述伪图像的宽度方向，以及将每帧图像中各所述骨架节点所对应的RGB值作为所述伪图像的深度方向，以构建所述待检测视频中待检测个体的伪图像；
基于所述伪图像，确定所述待检测视频中所述待检测个体的动作信息。
2.根据权利要求1所述的视频动作检测方法，其特征在于，所述根据所述待检测视频中所述待检测个体的各所述骨架节点，确定所述待检测个体的骨架序列，具体包括：
视频动作检测的目标是给定一个视频序列，识别出该视频序列中动作发生的时间区间以及相应的种类。目前主流的动作检测方法主要分为两种：基于视频的RGB数据和光流的动作检测；基于骨架的动作检测。
基于视频的RGB数据和光流的动作检测，需要对RGB图像进行光流提取，而光流提取非常耗时，并不适用于实时性强的动作检测，例如实时人机交互系统等。
基于人体骨架的动作检测不需要光流提取这一过程，通过对视频进行骨架提取得到骨架序列，再将骨架序列建模为伪图像，然后对伪图像进行目标检测即可，很大程度地提升了动作检测速度。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
本发明采用深度优先遍历算法对待检测视频中待检测个体的骨架节点进行深度优先遍历，得到深度优先序列，以及选取待检测个体的其中一个骨架节点作为节点参考点，并基于节点参考点以及骨架序列，确定在待检测视频的每帧图像中各骨架节点的所对应RGB值，然后按照将深度优先序列作为沿伪图像的高度方向各骨架节点的排序顺序、将骨架序列的时序方向作为伪图像的宽度方向、以及将每帧图像中各骨架节点所对应的RGB值作为伪图像的深度方向的方式待检测视频中待检测个体的伪图像，该伪图像能够保留更多的骨架序列的时空特征，从而可以提高视频动作检测的准确度。
技术合作
可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
下载app