您所在的位置: 成果库 回复增强与跨度预测共同优化的多轮对话方法及系统

回复增强与跨度预测共同优化的多轮对话方法及系统

成果类型:: 发明专利

发布时间: 2023-12-29 14:36:22

科技成果产业化落地方案
方案提交机构:成果发布人| 黄哲芬 | 2023-12-29 14:36:22

本发明涉及一种回复增强与跨度预测共同优化的多轮对话方法及系统,该方法包括以下步骤:步骤A:提取用户对话、用户对话涉及的回复,并标注用户对话涉及的相关回复话语的标签,正样本为对话中正确的回复,负样本为不正确的回复,构建训练集UB;步骤B:使用训练集UB训练回复增强与跨度预测共同优化的深度学习网络模型G,用于学习用户对话中和用户对话涉及的回复中的局部语义关系,同时针对用户对话涉及的回复中的内容进行学习;步骤C:将完整用户对话和用户对话涉及的回复输入到训练好的深度学习网络模型G中,得到关于完整用户对话的正确回复。该方法及系统可以有效提高回复选择的准确性

本发明采用的技术方案是:一种回复增强与跨度预测共同优化的多轮对话方法,包括以下步骤:步骤A:提取用户对话、用户对话涉及的回复,并标注用户对话涉及的相关回复话语的标签,正样本为对话中正确的回复,负样本为不正确的回复,构建训练集UB;步骤B:使用训练集UB训练回复增强与跨度预测共同优化的深度学习网络模型G,用于学习用户对话中和用户对话涉及的回复中的局部语义关系,同时针对用户对话涉及的回复中的内容进行学习;步骤C:将完整用户对话和用户对话涉及的回复输入到训练好的深度学习网络模型G中,得到关于完整用户对话的正确回复。

近些年来,随着人工智能技术的不断发展完善,对于机器学习和深度学习的技术研究也进行的如火如荼。对话系统随着机器学习和深度学习的研究也逐步进入了人们的视野。对话系统的应用十分广泛,无论是工业界还是学术界都有着重要的研究价值。对话系统根据回复产生的类型可以分为生成式对话和检索式对话两种。其中,生成式对话模型可以根据对话内容,自主生成回复,不需要在预定义的回复中进行选择。生成式对话对数据的要求高,数据集难以收集,生成式对话模型复杂,容易产生错误的回复,而且容易陷入安全回复的陷阱。检索式对话模型是根据一段上下文,从给定的众多候选回复中选择出最适合当前上下文的回复。相比于生成式对话模型,检索式对话模型更加简单高效,可以更快的回复用户的问题,精确性更高,但是无法产生新的回复或者回答超出知识库范围的问题。

在深度学习兴起之前,早期的研究工作基于规则和模板匹配的方法展开,Eliza是最早的对话系统之一,它基于规则和模板匹配实现,可以进行简单的语义理解和回复生成。还有词频-逆文档频率(Term Frequency-Inverse Document Frequency,TF-IDF)、BM25等研究,这些研究都是基于短文本的表达、匹配,难以对长对话进行建模。随着人工智能技术的发展,研究人员开始将机器学习应用于对话系统中。基于传统机器学习的方法将LDA(Latent Dirichlet Allocation),LSA(Latent Semantic Analysis)等主题分析算法与余弦相似度等短文本匹配算法相结合来解决单轮回复选择问题。这些模型在当时可能十分先进,但是仍然具有相当多的局限性,它们缺乏灵活性,需要大量的人工工作,不能处理复杂的上下文和对话历史。随着深度学习技术的发展,基于神经网络的多轮对话模型逐渐成为主流。由于对话内容具有时序性的特点,早期使用深度学习的算法利用循环神经网络(Recurrent Neural Networks)来处理上下文中蕴含的时序信息。随着深度学习的不断发展,研究人员将各类深度神经网络应用于多轮对话研究中。对于多轮对话回复选择任务,一开始都是使用单一的网络结构或者将多个单一网络结构进行聚合来对上下文进建模。

发明人:陈羽中 刘律民福州大学(Fuzhou University),简称福大,位于福建省福州市,创建于1958年,是国家“双一流”建设高校,国家“211工程”建设高校,国家教育部、国家国防科技工业局与福建省人民政府共建高校,福建省三所重点建设的高水平大学之一,福建省一流大学建设高校,入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。

与现有技术相比,本发明具有以下有益效果:提供了一种回复增强与跨度预测共同哟话的多轮对话方法及系统,该方法及系统使用多任务学习框架,利用回复增强任务,通过两种策略对回复中的话语进行改写,从而增强模型对回复话语中蕴含的语义信息进行学习。针对缺乏对局部上下文和回复之间相关性学习的问题,提出一种跨度预测任务,该任务通过随机选择上下文中的一个对话片段,然后通过这个对话片段去预测对话回复的正确性,从而让模型学习到上下文中与回复相关的局部语义信息。最后利用已经学习到回复话语信息和局部上下文中时序信息的全新的[CLS]的表征向量进行分类,能够有效提高回复选择的准确性。

当前专利未经权利人许可不得实施,希望将科技成果转让给研发实力雄厚的企业,由受让人对科技成果实施转化。交易的是科技成果中的知识产权,可以包括专利权、专利申请权、技术秘密等。科技成果转让后,转让方获得转让费,不再是科技成果的所有人;受让方向转让方支付转让费,并成为科技成果的新的所有人。