科创中国
单目三维人体重建方法、装置以及电子设备
成果类型：: 发明专利
发布时间: 2023-09-08 14:29:15
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-09-26 11:58:15
本申请涉及计算机视觉技术领域，公开了一种单目三维人体重建方法、装置以及电子设备，所述方法利用预先训练好的掩码自编码器处理目标图像，获取人体特征，使得所述人体特征的鲁棒性较好；根据所述鲁棒性较好的人体特征提取三维人体特征，以及根据所述鲁棒性较好的人体特征进行二维人体分割，获得二维人体特征；然后利用多层感知其对所述三维人体特征和二维人体特征进行参数回归，获得关节的姿态参数和身体形状参数；根据所述关节的姿态参数和身体形状参数获得SMPL人体模型。可以降低单目三维重建的误差，具有较好的泛化能力，对真实场景遮挡情况依然有较好的效果。
权利要求
1.一种单目三维人体重建方法，其特征在于，所述方法包括：
利用预先训练好的掩码自编码器处理目标图像，获取人体特征；
根据所述人体特征提取三维人体特征，以及根据所述人体特征进行二维人体分割，获得二维人体特征；
利用多层感知其对所述三维人体特征和二维人体特征进行参数回归，获得关节的姿态参数和身体形状参数；
根据所述关节的姿态参数和身体形状参数获得SMPL人体模型。
2.根据权利要求1所述的单目三维重建方法，其特征在于，所述利用预先训练好的掩码自编码器处理目标图像，获取人体特征之前，所述方法还包括：
将训练图像输入掩码自编码网络，并利用掩码正则化项训练掩码自编码网络，获得解码重构图像和训练好的掩码自编码器；
所述掩码正则化项为：
其中，XMAE和分别表示训练图像和解码重构图像。
相对于深度相机或多视角重建，单目三维重建因缺少深度信息而更困难。单目三维人体重建常常将此作为模型参数学习问题，将3D人体模型拟合到图像的2D关键点，以获得3D人体估计。基于回归的方法包括对人体参数化模型和非参数(例如回归顶点坐标)进行回归。基于深度神经网络的三维人体重建方法有卷积神经网络(Convolutional NeuralNetworks，简称ConvNets)、HMR(***,***,*** and ***等人在名称为“End-to-End Recovery of Human Shape and Pose”的文献中所使用的方法)、SPIN(***,***,*** and ***等人在名称为“Learning toReconstruct 3D Human Pose and Shape via Model-Fitting in the Loop”的文献中所使用的方法)、SMPLify-x(***等人在名称为“Expressive Body Capture:3DHands,Face,and Body from a Single Image”的文献中所使用的方法)、EFT(***,*** and ***等人在名称为“Exemplar Fine-Tuning for 3D Human ModelFitting Towards In-the-Wild 3D Human Pose Estimation”的文献中所使用的方法)等。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
本申请实施例中，利用预先训练好的掩码自编码器处理目标图像，获取人体特征，使得所述人体特征的鲁棒性较好；根据所述鲁棒性较好的人体特征提取三维人体特征，以及根据所述鲁棒性较好的人体特征进行二维人体分割，获得二维人体特征；然后利用多层感知其对所述三维人体特征和二维人体特征进行参数回归，获得关节的姿态参数和身体形状参数；根据所述关节的姿态参数和身体形状参数获得SMPL人体模型。可以降低单目三维重建的误差，具有较好的泛化能力，对真实场景遮挡情况依然有较好的效果。
本申请实施例附加的方面和优点将在下面的描述部分中给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
技术合作
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，特征提取模块还可以被描述为“用于利用预先训练好的掩码自编码器处理目标图像，获取人体特征的特征提取模块”。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
下载app