科创中国
一种单目视频三维人体重建方法、系统、设备及介质
成果类型：: 发明专利
发布时间: 2023-09-08 14:45:21
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-09-26 12:09:28
本申请实施例涉及图像处理技术领域，特别涉及一种单目视频三维人体重建方法、系统、设备及介质，该方法包括：首先，基于残差神经网络，从输入视频中提取静态特征；然后，将静态特征分别输入时域编码器、全局特征提取器，分别提取时域特征、全局静态特征；接下来，基于特征融合网络，对时域特征与全局静态特征进行融合，得到融合特征；最后，基于融合特征和回归模块，输出三维人体模型。本申请提供的单目视频三维人体重建方法，能够实现主客观效果更好的单目视频三维人体重建，且能够同时对时间信息进行建模并提取全局静态信息。
1.一种单目视频三维人体重建方法，其特征在于，包括：
基于残差神经网络，从输入视频中提取静态特征；
将所述静态特征分别输入时域编码器、全局特征提取器，分别提取时域特征、全局静态特征；
基于特征融合网络，对所述时域特征与所述全局静态特征进行融合，得到融合特征；
基于所述融合特征和回归模块，输出三维人体模型。
2.根据权利要求1所述的单目视频三维人体重建方法，其特征在于，所述基于残差神经网络，从输入视频中提取静态特征，包括：
给定输入视频的序列,基于残差神经网络以及所述序列，提取静态特征其中，
3.根据权利要求1所述的单目视频三维人体重建方法，其特征在于，将所述静态特征分别输入时域编码器、全局特征提取器，分别提取时域特征、全局静态特征，包括：将所述静态特征分别输入第一时域编码器、全局特征提取器、第二时域编码器、第三时域编码器，分别提取时域特征、全局静态特征；所述时域特征包括所有静态特征、过去静态特征以及将来静态特征。
三维人体运动重建具有广泛的应用领域，包括虚拟现实、增强现实、人机交互等。准确、平滑地重建人体运动序列对于单目视频中的三维人体姿态和形状估计至关重要。然而，对视频使用基于图像的人体重建方法来实现平滑的结果是具有挑战性的。
传统方法依赖于复杂的三维扫描、或动作捕捉设备，代价昂贵。基于单目视频的重建方法具有成本低、易部署等优点。现有技术试图使用基于图像的方法，通过分别估计视频每帧上的3D人体姿势和形状，从视频中重建3D人体。这些方法尽管可以预测静态图像的合理输出，但由于缺乏对连续帧中人类运动的连续性建模，现有方法很难估计视频序列中时间上连贯和平滑的3D人体姿势和形状。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
本申请针对现有技术中存在的没有关注不同视频帧之间人体的全局静态特征的技术问题，本申请提供一种单目视频三维人体重建方法，通过提出Mixformer网络模型，实现主客观效果更好的单目视频三维人体重建。本申请的Mixformer网络模型是一种基于混合Transformer的人体模型重建网络，本申请提供的方法可以同时对时间信息进行建模并提取全局静态信息，分别通过时域编码器、全局特征提取器以提取时域特征、全局静态特征，并对时域特征与全局静态特征进行特征融合后，输出三维人体模型。本申请提供的基于Mixformer网络模型的单目视频三维人体重建方法，在准确性方面明显优于现有技术，并在3DPW、MPI-INF-3HP和Human3.6M等基准数据集上实现了更好的平滑效果。
技术合作
本申请针对现有技术中存在的没有关注不同视频帧之间人体的全局静态特征的技术问题，本申请提供一种单目视频三维人体重建方法，通过提出Mixformer网络模型，实现主客观效果更好的单目视频三维人体重建。本申请提供的Mixformer网络模型是一种基于混合Transformer的人体模型重建网络，本申请提供的方法可以同时对时间信息进行建模并提取全局静态信息，分别通过时域编码器、全局特征提取器以提取时域特征、全局静态特征，并对时域特征与全局静态特征进行特征融合后，输出三维人体模型。本申请提供的基于Mixformer网络模型的单目视频三维人体重建方法，在准确性方面明显优于现有技术，并在3DPW、MPI-INF-3HP和Human3.6M等基准数据集上实现了更好的平滑效果。
本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各自更动与修改，因此本申请的保护范围应当以权利要求限定的范围为准。
下载app