对话风格感知与主题引导的多轮对话方法及系统
成果类型:: 发明专利
发布时间: 2023-12-07 17:08:39
本发明提出对话风格感知与主题引导的多轮对话方法及系统,所述方法包括以下步骤;步骤A:采集特定场景多轮对话文本,标注每个对话的响应所属的类别,构建带正负类别标签的多轮对话训练集DS;步骤B:使用训练集DS,训练多任务深度学习网络模型,用于多轮对话响应选择;步骤C:将多轮对话上下文及候选响应输入到训练后的深度学习网络模型中,得到对应多轮对话上下文最合适的响应;本发明有利于提高人机对话过程多轮对话响应选择的准确性。
本发明采用以下技术方案。对话风格感知与主题引导的多轮对话方法,所述方法包括以下步骤;步骤A:采集特定场景多轮对话文本,标注每个对话的响应所属的类别,构建带正负类别标签的多轮对话训练集DS;步骤B:使用训练集DS,训练多任务深度学习网络模型G,用于多轮对话响应选择;步骤C:将多轮对话上下文及候选响应输入到训练后的深度学习网络模型G中,得到对应多轮对话上下文最合适的响应。
随着计算机技术的不断发展,人工智能技术的发展也越来越迅速,人工智能在各个领域都发挥了重要作用。近些年来,随着机器学习和深度学习网络的发展,自然语言处理在人与计算机之间的对话中取得了巨大进步,人机对话系统逐渐成为研究的关键问题。人机对话系统是一种通过自然语言处理,让人和计算机进行对话交流的人机互动系统。人机对话系统有着重要的意义和应用价值,并且可以广泛地应用于多个领域。人机对话系统具有广泛的商业价值,目前有很多商业公司已经推出了和对话系统相关的产品,如苹果的Siri,微软的Cortana与小冰,谷歌的Google Now和阿里巴巴的阿里精灵等。目前的对话系统主要有基于生成和基于检索两种方法,前一种方法旨在给定上下文并根据给定的上下文生成合适的响应,后一种方法旨在从候选响应答案中选择正确的答案。
随着机器学习方法的不断发展,基于生成的方法被不断提出。基于生成的对话系统其生成的响应具有多样性,但往往逻辑性不强,有时还会陷入安全回复的陷阱中。而基于检索的对话系统是根据特定的上下文在语料库里检索最合适的响应,能够挖掘上下文与正确响应之间的关联信息,并根据这些信息推理出合适的响应,相较于生成式对话系统模型更加可靠,更具实用性。
目前基于检索的方法在不断发展,早期基于信息检索的系统主要运用于短文本和单轮的对话,使用简单的文本匹配和规则方法去解决,但是难以将这些方法运用于更贴近实际场景的多轮对话问题,多轮对话需要考虑对话上下文的长期依赖,相较于单轮对话而言更具挑战。深度学习在近年来的飞速发展为多轮对话问题提供了解决思路,Wu等人提出了SMN模型,它将候选的回答和对话上下文的每一句话分别匹配相似度,计算出最终分数。An等人使用了交叉卷积操作拓展了编码器,并且通过从数据集中学习不同的表征向量,来改善稀有词的表示。Dong和Huang提出了通过预训练词向量,来处理超出词汇表以外的词。随着BERT模型的提出,Whang等人提出的BERT-VFT模型,使用了后训练的方法,让预训练语言模型在对话领域的数据集上继续训练,掌握对话的语言风格;由Gu等人提出的SA-BERT模型,在预训练模型的输入中加入了特殊的标记来捕捉不同对话参与者的语言风格,更好的让预训练模型掌握了对话的信息。
发明人:陈羽中 李炜炜 陈子阳福州大学(Fuzhou University),简称福大,位于福建省福州市,创建于1958年,是国家“双一流”建设高校,国家“211工程”建设高校,国家教育部、国家国防科技工业局与福建省人民政府共建高校,福建省三所重点建设的高水平大学之一,福建省一流大学建设高校,入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。
语言风格辅助任务模块,对训练集DS中的每个样本抽取单一说话人的历史对话构建对话历史样本,并构建对话历史负样本和增强样本,构成原始样本、增强样本、负样本三元组,使用预训练语言模型对三元组编码,对得到的表示运用对比学习,计算语言风格辅助任务的损失;
问题导向窗口选择辅助任务模块,将除最后一句外的上下文切分为多个主题窗口,将上下文的最后一句视为问题,将问题与每个窗口计算注意力得分,选择得分最高的窗口与问题及响应组成窗口-问题样本,使用预训练语言模型对窗口-问题样本进行编码,对得到的表征向量计算问题导向窗口选择辅助任务的损失;
多轮对话响应选择模块,利用训练好的语言风格与问题导向窗口选择的多轮对话响应选择模型对输入的对话文本进行分析处理,输出当前对话上下文最合适的响应。
本发明有利于提高多轮对话响应选择的准确性。
当前专利未经权利人许可不得实施,希望将科技成果转让给研发实力雄厚的企业,由受让人对科技成果实施转化。交易的是科技成果中的知识产权,可以包括专利权、专利申请权、技术秘密等。科技成果转让后,转让方获得转让费,不再是科技成果的所有人;受让方向转让方支付转让费,并成为科技成果的新的所有人。