科创中国
基于样本回放的序列推荐模型的持续学习方法
发布时间: 2023-11-15
基本信息
合作方式：
技术服务
成果类型：
发明专利
行业领域：
物理
成果介绍
本发明涉及一种基于样本回放的序列推荐模型的持续学习方法，涉及序列推荐技术领域,包括步骤一、构建序列推荐模型，利用初始数据对所述序列推荐模型进行训练；步骤二、基于物品类别平衡的样本选择策略对小部分具有代表性的范例样本进行采样；步骤三、对采样出来的范例样本进行软标签的计算与存储，以便参与下一次模型更新中参与蒸馏损失函数部分的计算；步骤四、利用所述序列推荐模型为用户提供准确的推荐服务，同时收集新周期内获得的新数据；步骤五、利用新周期内获得的新数据与之前存储的样本范例对所述序列推荐模型参数进行更新,有效解决了持续学习场景下使用神经网络序列推荐模型所面临灾难性遗忘的问题。
成果亮点
1.一种基于样本回放的序列推荐模型的持续学习方法，其特征在于：包括
步骤一、构建序列推荐模型，利用初始数据对所述序列推荐模型进行训练；
步骤二、基于物品类别平衡的样本选择策略对小部分具有代表性的范例样本进行采样；
步骤三、对采样出来的范例样本进行软标签的计算与存储，以便参与下一次模型更新中参与蒸馏损失函数部分的计算；
步骤四、利用所述序列推荐模型为用户提供准确的推荐服务，同时收集新周期内获得的新数据；
步骤五、利用新周期内获得的新数据与之前存储的样本范例对所述序列推荐模型参数进行更新；
重复二、三、四、五、步骤。
2.根据权利要求1所述的基于样本回放的序列推荐模型的持续学习方法，其特征在于，所述利用初始数据对序列推荐模型进行训练具体包括：模型的输入为用户的历史物品交互序列，输出为下一个时间刻模型向用户推荐的物品，通过模型经过softmax层计算生成的推荐物品候选集的概率分布以及正确物品的独热编码进行交叉熵损失函数的计算，以梯度下降方法进行模型参数的更新。
团队介绍
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生AC态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
成果资料
下载app