基于注意力循环门控图卷积网络的关系提取方法及系统
成果类型:: 实用新型专利
发布时间: 2022-06-30 15:45:06
本发明涉及一种基于注意力循环门控图卷积网络的关系提取方法及系统,包括对语句进行语义依存分析,将单词嵌入与位置特征相连接,得到最终的单词嵌入表示;构建BLSTM网络层,提取单词上下文特征向量;对所述依赖树应用注意力机制,得到带有权重信息的全连通图的软邻接矩阵;将所述单词上下文特征向量和软邻接矩阵传入门控图卷积网络中,提取高阶语义依赖特征,得到语句的向量表示;将两个标记实体的向量表示抽取出来并与所述语句的向量表示拼接,传入所述门控图卷积网络的全连接层中,计算每个关系类型的概率以及预测关系类别,最终得到语句的关系类别。本发明避免了关键信息丢失,实现对关系提取性能的提升实现对关系提取性能的提升。
,本发明的一种基于注意力循环门控图卷积网络的关系提取方法,包括:对语句进行语义依存分析,为每个输入语句构建一个唯一的依赖树,使用预训练的词向量获得单词嵌入表示,将单词嵌入与位置特征相连接,得到最终的单词嵌入表示;构建BLSTM网络层,设置BLSTM网络结构的各项超参数数值,将所述最终的单词嵌入表示输入到所述BLSTM网络中,提取单词上下文特征向量;对所述依赖树应用注意力机制,将所述依赖树转化为全连通图,得到带有权重信息的全连通图的软邻接矩阵;将所述单词上下文特征向量和软邻接矩阵传入门控图卷积网络中,提取高阶语义依赖特征,得到语句的向量表示;将两个标记实体的向量表示抽取出来并与所述语句的向量表示拼接,传入所述门控图卷积网络的全连接层中,计算每个关系类型的概率以及预测关系类别,得到所有训练示例,通过所述门控图卷积网络不断训练得到最优的网络模型,最终得到语句的关系类别。
关系提取是自然语言处理领域的一项重要子任务,是对非结构化文本进行大规模关系理解应用的基石,它在信息抽取、问答系统和知识图谱等领域有着广泛应用。随着大数据时代的到来,处理爆炸性数据的能力要求越来越高,正确理解句子中存在的关系越来越重要。关系提取是根据预先定义的关系类型来识别文本中俩实体之间的语义关系。例如,″The train<e1>crash</e1>was caused by terrorist<e2>attack</e2>.″,根据给定的句子以及标记的两个实体判定‘crash’与‘attack’之间的关系为Cause-Effect(e1,e2)。
最初的关系提取方法主要是基于特征和基于核函数的方法,分别基于选择合适的特征集和设计合适的核函数。随着神经网络被广泛应用于各项研究,卷积神经网络(Convolutional Neural Network,简称CNN)以及循环神经网络(Recurrent NeuralNetwork,简称RNN)也被广泛应用于关系提取任务中,通过CNN提取局部n-gram特征,RNN提取句子中的长距离依赖特征,从而实现句子的特征向量表示,并通过全连接层softmax分类器得到最终提取的关系类型。为了充分理解句子语义结构,引入句子依存分析的依赖树结构,通过依赖树提取更有效的句子高阶语义信息。
随着图网络在各领域的发展,图卷积网络被越来越多研究者应用于自然语言处理任务中。图卷积网络通过对图进行建模,利用词的共现信息建立词节点之间的边缘,捕获高阶邻域信息。在图卷积过程中,对转换成图结构的依赖树进行建模,将每个节点的邻域信息编码为特征向量,在图中所有位置共享滤波器参数。GCN中的卷积运算与CNN中的相似之处在于模型在输入结构中共享参数。在每一层中,每个节点从其邻接节点汇聚特征信息。
但是,如果单纯利用图卷积网络提取依赖树中的特征,会导致忽视句子中的非局部长距离依赖特征。一是因为依赖树没有得到充分利用,二是因为图卷积网络在网络层数较深的时候会导致关键信息的丢失。
江南大学是教育部直属、国家“211工程”重点建设高校和“双一流”建设高校。学校具有悠久的办学历史、厚重的文化积淀,源起1902年创建的三江师范学堂,历经国立中央大学、南京大学等发展时期;1958年南京工学院食品工业系整建制东迁无锡独立建校,成立无锡轻工业学院;1962年无锡纺织工学院并入无锡轻工业学院;1995年更名为无锡轻工大学;2001年无锡轻工大学、江南学院、无锡教育学院合并组建江南大学;2003年东华大学无锡校区并入江南大学。
本发明所述的基于注意力循环门控图卷积网络的关系提取方法及系统,能够更充分地学习到句子的高阶语义信息,为有效提取到句子依赖树中的依赖特征,使用多头自注意力机制为依赖树的信息分配权重,以此来突出有效特征,同时减少冗余特征的影响,最终将依赖树转化为完全连通图的形式;将循环神经网络与门控图卷积网络搭配使用,其中利用循环神经网络提取字符上下文信息,获取细粒度特征,然后将其与完全依赖图的邻接矩阵传入门控图卷积网络,通过门控机制增加特征感知能力,学习隐藏层抽取到的序列特征中的高阶语义信息,最终充分学习到句子序列特征以及局部与非局部依赖特征,从而避免了关键信息丢失,实现对关系提取性能的提升。
科技成果只有通过实施开发应用,使其转化为生产力,才能取得经济效益和社会效益。成果方目标是将科技成果转化为现实生产力,期待有意愿的企业或合作单位进行合作推广或者进行产品生产。考虑合作转化、许可+合作等转化方式与企业、科学技术研究开发机构和其他组织建立合作关系。