科创中国
基于迭代网络组合的情感分类持续学习方法及存储介质
发布时间: 2023-11-16
基本信息
合作方式：
技术服务
成果类型：
发明专利
行业领域：
物理
成果介绍
本申请公开了基于迭代网络组合的情感分类持续学习方法及存储介质，本申请提出的方法线性组合原始网络和微调网络，对中间网络进行权重组合参数的初始化；并基于原始组合参数、微调组合参数和组合初始化参数重训练中间网络，得到优化权重组合参数；将中间网络等价转换为最终组合网络，该最终组合网络在学习下一个新任务时作为新的原始网络；该优化权重组合参数作为下一个新任务原始网络的原始组合参数。本申请公开的基于情感分类持续学习方法在不增加网络规模下，避免了BERT模型在情感分类持续学习过程中对先前的知识发生灾难性遗忘的问题。
成果亮点
一种基于迭代网络组合的情感分类持续学习方法，其特征在于，包括以下步骤：
将来自于多个数据源的训练数据以BERT为网络模型，建立原始网络；当获取到需要进行文本信息情感分类的新任务时；
以BERT为网络模型，将原始网络适应新任务，得到微调网络；
获取原始网络中的原始组合参数，并训练微调网络获取微调组合参数；
冻结原始组合参数和微调组合参数；
线性组合原始网络和微调网络，得到中间网络；
对中间网络进行权重组合参数的初始化，获得组合初始化参数；
获取中间网络中的原始组合参数和微调组合参数；
基于原始组合参数、微调组合参数和组合初始化参数重训练中间网络，得到优化权重组合参数；
将中间网络等价转换为最终组合网络，该最终组合网络在学习下一个新任务时作为新的原始网络；该优化权重组合参数作为下一个新任务原始网络的原始组合参数。
团队介绍
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生AC态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
成果资料
下载app