科创中国
一种模型训练方法、终端设备及计算机存储介质
成果类型：: 发明专利
发布时间: 2023-11-10 11:54:41
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-11-16 09:23:31
本申请提供了一种模型训练方法、终端设备以及计算机存储介质。该模型训练方法包括：获取待训练图像；采用待训练图像训练多个阶段的老师模型；利用不同阶段的老师模型分别对学生模型进行训练，获取每个阶段的老师模型和学生模型对待训练图像的识别结果；按照识别结果获取老师模型的预测输出值和学生模型的预测输出值，并利用学生模型的预测输出值和老师模型的预测输出值计算学生模型的损失值，以及按照损失值调整所述学生模型的模型参数。通过上述方式，本申请的模型训练方法采用多个阶段的老师模型分别对不同阶段的学生模型进行训练，从而使得学生模型在假扮老师模型的过程中不断接近甚至超过老师模型的性能。
一种模型训练方法，其特征在于，所述模型训练方法包括：
获取待训练图像；
采用所述待训练图像训练多个阶段的老师模型；
利用不同阶段的老师模型分别对学生模型进行训练，获取每个阶段的老师模型和学生模型对所述待训练图像的识别结果；
按照所述识别结果获取老师模型的预测输出值和学生模型的预测输出值，并利用所述学生模型的预测输出值和所述老师模型的预测输出值计算所述学生模型的损失值，以及按照所述损失值调整所述学生模型的模型参数。
模型存储： 存储训练好的模型参数和架构信息，以便在终端设备上进行推断。
数据存储： 存储训练数据和其他相关数据，确保有效的数据管理和访问。
缓存： 考虑使用缓存来提高模型推断的速度，尤其是对于重复的推断任务。
安全性： 采取适当的安全措施，保护存储的模型和数据不受未经授权的访问。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生AC态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
硬件要求： 终端设备可能需要适应特定的硬件要求，例如高性能GPU、TPU或边缘计算设备。
能效： 考虑在终端设备上实现高效的模型推断，以确保在有限的资源下获得良好的性能。
实时性要求： 对于需要实时响应的应用，终端设备可能需要快速执行模型推断。
通信： 考虑终端设备与其他设备或云端的通信需求，以便更新模型或获取新的训练数据。
技术转让
使用验证集评估模型性能，根据需要调整模型架构和超参数。收集、清理和准备用于训练的数据。这包括数据标注、数据增强等。优化模型的超参数，如学习率、批处理大小等，以提高模型的性能。
下载app