科创中国
基于贝叶斯神经网络加速深度神经网络模型的训练方法
发布时间: 2023-11-07
基本信息
合作方式：
技术服务
成果类型：
发明专利
行业领域：
物理
成果介绍
本申请公开了一种基于贝叶斯神经网络加速深度神经网络模型的训练方法、装置、设备及其存储介质，该方法包括：在深度神经网络模型中集成贝叶斯神经网络；通过深度神经网络和贝叶斯神经网络的交互，在训练中利用贝叶斯神经网络模型筛选出训练数据中模型不确定性高、或与深度神经网络模型预测不一致的数据；将筛选出的训练数据放入到教师模型和学生模型中继续训练。本申请提供的上述方案，通过深度神经网络和贝叶斯神经网络的交互，在训练中剔除模型不确定性低的数据并节省计算资源。本发明提出的方法在确定性网络的基础上加入了模型不确定性的度量，具有较好性能以及可解释性。同时，该方法无需手动调节阈值，不会因调节参数而消耗额外计算资源。
成果亮点
1.一种基于贝叶斯神经网络加速深度神经网络模型的训练方法，其特征在于，该方法包括：
在深度神经网络模型中集成贝叶斯神经网络；
通过深度神经网络和贝叶斯神经网络的交互，在训练中利用贝叶斯神经网络模型筛选出训练数据中模型不确定性高、或与深度神经网络模型预测不一致的数据；
将筛选出的训练数据放入到教师模型和学生模型中继续训练。
2.根据权利要求1所述的基于贝叶斯神经网络加速深度神经网络模型的训练方法，其特征在于，所述教师模型为贝叶斯神经网络模型，所述学生模型为深度神经网络模型。
3.根据权利要求1或2所述的基于贝叶斯神经网络加速深度神经网络模型的训练方法，其特征在于，所述教师模型采用BayesbyBackprop技术训练。
团队介绍
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生AC态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
成果资料
下载app