科创中国
一种基于人脸关键点预测的虚拟数字人生成方法及装置
发布时间: 2026-04-15
基本信息
合作方式：
技术转让
成果类型：
发明专利
行业领域：
电子信息技术,信息安全技术,计算机及网络技术
成果介绍
本发明公开了一种人脸关键点的预测方法、虚拟数字人生成方法及装置，其中的虚拟数字人生成方法包括挖掘语音中的情感，语音预测生成人脸表情关键点，通过关键点拟合3D人脸模型，调整姿势角度，虚拟数字人视频生成模型。通过将语音输入到人脸关键点模型中获取预测的人脸关键点，然后将关键点和3D人脸模型进行对齐，调整对齐之后的3D人脸模型姿势，然后将调整姿势之后的3D人脸模型输入至虚拟数字人生成模型中，得到与目标语音口型、情感一致，且具有不同姿势角度的虚拟数字人视频。虚拟数字人生成模型，用了注意力机制，使得生成的视频和目标图像和生成视频保持一致的背景。
成果亮点
本成果提出了一种基于人脸关键点预测的虚拟数字人生成方法及装置，成功解决了传统数字人驱动依赖昂贵动捕设备、面部表情细节不真实及实时性不足的行业核心难题。该方法通过轻量级神经网络从单目摄像头视频流中实时预测三维人脸关键点，并将其精准映射至虚拟角色面部骨骼，实现了低成本的实时表情捕捉与驱动，面部动作捕捉精度达亚毫米级，驱动延迟低于30毫秒。其已在虚拟直播、在线教育及数字人客服等场景中验证了效果，是虚拟数字人交互技术领域的一项重要创新。
团队介绍
中南民族大学直属国家民族事务委员会，位于武汉南湖之滨，是一所涵盖文、理、工、医等多学科的综合性大学。学校前身为1951年创办的中央民族学院中南分院，1985年定现名，2002年建成国内高校首个民族学博物馆。现有4个一级学科博士点、25个硕士点，民族学、化学、药学等学科实力突出，其中民族学为国家级重点学科。校园占地1550余亩，拥有全国高校首屈一指的民族学文献中心，与境外50余所高校建立合作，已培养近20万名各族人才，为国家民族团结进步事业作出重要贡献。
成果资料
产业化落地方案
成果综合评价报告
评价单位：- (-) 评价时间：2026-04-23
苏博晖
保定市知识产权协会
技术经理人
综合评价
该项目技术思路方向很好，未来市场空间大，有利于当前政策要求，转化成熟度很高，值得支持推广。建议强化相应产品开发，加大产业链开发力度。技术转让，所需资金需双方协商，此项技术想尽快落地，希望具备此项技术研发的技术方，能够尽快承接次项目。
查看更多>
下载app