科创中国

当前随着虚拟现实研究和应用的迅速发展，用户通过肢体动作和语言在虚拟场景中与自主控制或人工控制的虚拟人物进行自然交流的需求日益广泛。针对虚拟人物在与用户的交流中需要进行上下文识别以提供与人类更接近的信息交流，同时自动合成自然的虚拟人物语音，动作以及面部表情等低相关性导致结果欠佳，意图表现弱的等问题，开展两方面研究：1. 高精度面部表情，肢体动作与语音信息的同步捕捉技术。2.  异构数据关联性挖掘与融合技术。研究成果包括以下几个方面：

（1）提出了基于设备的高精度人脸表情获取与重建方法，构建了准实时高精度三维人脸表情与语音采集系统；（2）基于2D-3D稀疏特征融合驱动的三维人脸表情重建方法；（3）基于2D-3D面部稠密光流变化一致性的三维人脸表情重建方法；（4）构建了基于端到端多尺度多任务神经网络的实时三维人脸重建系统。（5）给出了语音驱动的三维面部肖像动画合成方法，有效完成实现面部表情建模、语音、人体肢体动作关联挖掘和基于情景的虚拟人面部表情动画生成。能够广泛应用于虚拟角色智能演播、沉浸式智能交互等领域。