科创中国
一种基于人脸关键点预测的虚拟数字人生成方法及装置
成果类型：: 发明专利
发布时间: 2026-04-15 09:38:38
科技成果产业化落地方案
方案提交机构：成果发布人| 徐景新 | 2026-04-15 09:38:39
本发明公开了一种人脸关键点的预测方法、虚拟数字人生成方法及装置，其中的虚拟数字人生成方法包括挖掘语音中的情感，语音预测生成人脸表情关键点，通过关键点拟合3D人脸模型，调整姿势角度，虚拟数字人视频生成模型。通过将语音输入到人脸关键点模型中获取预测的人脸关键点，然后将关键点和3D人脸模型进行对齐，调整对齐之后的3D人脸模型姿势，然后将调整姿势之后的3D人脸模型输入至虚拟数字人生成模型中，得到与目标语音口型、情感一致，且具有不同姿势角度的虚拟数字人视频。虚拟数字人生成模型，用了注意力机制，使得生成的视频和目标图像和生成视频保持一致的背景。
该生成方法的核心技术在于“关键点预测网络-面部拓扑映射-实时渲染优化”三层架构。关键点预测网络采用改进的编码器-解码器结构，结合注意力机制与时间一致性约束，从2D视频帧中稳定预测出478个3D人脸关键点，对遮挡、大角度姿态具有较强鲁棒性。面部拓扑映射模块将预测的关键点运动参数转换至虚拟角色面部绑定系统，支持 blendshape 与骨骼动画两种驱动模式，并保留微表情细节。实时渲染端采用顶点着色器与 LOD 技术优化性能，支持移动端与网页端流畅运行。整套系统无需预采集用户数据，即开即用。
该方法及装置可广泛应用于虚拟直播、在线教育、数字人客服、社交应用及游戏娱乐等领域。特别适用于希望低成本打造虚拟IP形象的电商主播、知识博主及企业品牌运营。随着元宇宙概念落地及AI生成内容发展，对实时、轻量、易用的数字人驱动技术需求持续增长。该技术还可拓展至远程会议中的虚拟化身、心理辅导中的匿名交互界面及适老化智能助手的可视化表达，具备广阔的市场前景。
中南民族大学直属国家民族事务委员会，位于武汉南湖之滨，是一所涵盖文、理、工、医等多学科的综合性大学。学校前身为1951年创办的中央民族学院中南分院，1985年定现名，2002年建成国内高校首个民族学博物馆。现有4个一级学科博士点、25个硕士点，民族学、化学、药学等学科实力突出，其中民族学为国家级重点学科。校园占地1550余亩，拥有全国高校首屈一指的民族学文献中心，与境外50余所高校建立合作，已培养近20万名各族人才，为国家民族团结进步事业作出重要贡献。
本成果产生的效益显著。产业效益上，降低了虚拟数字人内容制作门槛，无需昂贵动捕棚与专业团队，普通创作者使用普通电脑+摄像头即可驱动数字人，制作成本降低90%以上。经济效益上，为直播电商、在线教育等企业提供高性价比虚拟主播方案，可24小时不间断开播，提升运营效率与收益；为个人创作者开辟虚拟形象变现新路径。社会效益上，推动虚拟数字人技术在更多民生场景普及，如为听障人士提供表情辅助沟通、为老年人提供可视化陪伴服务。技术效益上，推动了计算机视觉与计算机图形学的深度融合。产业层面，增强了我国在虚拟数字人核心算法领域的自主创新能力，助力数字经济新业态发展。
技术转让，许可，合作所需资金需双方协商，此项技术想尽快落地，希望具备此项技术研发的技术方，能够尽快承接此项目。
下载app