您所在的位置: 成果库 融合多粒度视觉与文本特征的多模态情感分析方法及系统

融合多粒度视觉与文本特征的多模态情感分析方法及系统

成果类型:: 发明专利

发布时间: 2023-12-11 15:38:57

科技成果产业化落地方案
方案提交机构:成果发布人| 黄哲芬 | 2023-12-11 15:38:57

本发明涉及一种融合多粒度视觉与文本特征的多模态情感分析方法及系统,该方法包括:A、初始化图节点文本表示并提取图片特征表示;B、依据句法依赖关系、成分树结构确定图注意力网络中边关系邻接矩阵;使用多模态注意力机制分别获得单词级、短语级、句子级的联合文本视觉特征表示,最终获得多粒度文本 视觉融合特征表示;根据多层图注意力网络输出的文本 视觉联合特征表示预测方面词位置并形成方面词表示;依据方面词位置使用ANP解析器解析出最相关的ANP对,并依据方面词在句法依赖关系中的邻接关系构建方面图;C、根据方面图的输出作为方面词情感表示,预测该方面词对应的情感极性。该方法及系统有利于提高情感极性预测精度。

本发明采用的技术方案是:一种融合多粒度视觉与文本特征的多模态情感分析方法,包括以下步骤:步骤A:使用预训练模型初始化图节点文本表示,并且使用ResNet初步提取图片特征表示;步骤B:依据句法依赖关系、成分树结构确定图注意力网络中边关系邻接矩阵;使用多模态注意力机制,分别获得单词级、短语级、句子级的联合文本视觉特征表示;借助多层图注意力网络融合单词级、短语级、句子级的联合文本视觉特征表示,最终获得多粒度文本-视觉融合特征表示;根据多层图注意力网络输出的文本-视觉联合特征表示,预测方面词位置并形成方面词表示;依据方面词位置使用ANP解析器解析出最相关的ANP对,并依据方面词在句法依赖关系中的邻接关系,构建方面图;步骤C:根据方面图的输出作为方面词情感表示,预测该方面词对应的情感极性。

情感分析旨在有效地分析和挖掘数据中的情感信息,是自然语言处理领域的一项重要任务。与文本级情感分析不同,方面级情感分析不是简单地分析整个文档或句子,并识别其情感极性,而是根据句子中所描述的实体的多个方面,分别预测出方面词位置及其对应的不同的情感极性。例如,给出“价格合理,但服务很差”的评论,方面词分别是“价格”、“服务”,对应的情感极性分别是积极、消极。多模态情感分析是指,根据文字、图片、视频、音频在内的多模态数据,从不同的模态切换,找到关键的情感信息,并将它们相互关联,从而预测出更为准确的方面词及其对应的情感极性。相较于局限于文本的情感分析问题,多模态数据为情感分析任务提供更为多样的信息源,此外,人类在处理和分析情感时,主要依靠自己的情感推理能力,从不同的模态切换,找到关键的情感信息,并将它们相互关联。因此,多模态情境下的情感分析更接近人类的推理模式。然而,仅通过文本提取情感信息会忽略其它模态的信息,而如果多种模态信息没有融合恰当则会引入噪声,因此,对于不同模态的情感特征的提取和融合方式对于最后的情感词提取和情感极性预测任务至关重要。

发明人:陈羽中 石丽湲 陈子阳福州大学(Fuzhou University),简称福大,位于福建省福州市,创建于1958年,是国家“双一流”建设高校,国家“211工程”建设高校,国家教育部、国家国防科技工业局与福建省人民政府共建高校,福建省三所重点建设的高水平大学之一,福建省一流大学建设高校,入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。

与现有技术相比,本发明具有以下有益效果:本发明首先针对不同模态下信息不相关或者冗余信息导致的噪声问题,不直接加入整张图片的信息,而是采用多粒度的联合视觉文本特征表示,减少冗余信息导致的噪声问题。利用成分树中天然的短语分组,多个单词组成更高的语义表示,使短语比单个词(如形容词)更易察觉。使用多层GAT,由成分树和依赖树构成邻接矩阵,去除跨子句的依赖,融合文本信息,并在不同层的融合过程中,加入不同粒度的视觉特征表示,初始加入融合过的word-Level联合视觉特征表示,在中间层加入短语级联合视觉特征表示,在顶层加入sentence-level的联合视觉特征表示。探索文本和图像间的不同层次交互。另外,本发明通过ANP,针对方面词使用多模态信息增强的策略和方法,借助与方面词最相关的ANP对对应的情感词为桥梁,引入该方面词对应的多模态情感信息,帮助模型提高情感极性预测精度。

当前专利未经权利人许可不得实施,希望将科技成果转让给研发实力雄厚的企业,由受让人对科技成果实施转化。交易的是科技成果中的知识产权,可以包括专利权、专利申请权、技术秘密等。科技成果转让后,转让方获得转让费,不再是科技成果的所有人;受让方向转让方支付转让费,并成为科技成果的新的所有人。