您所在的位置: 成果库 融合多粒度视觉与文本特征的多模态情感分析方法及系统

融合多粒度视觉与文本特征的多模态情感分析方法及系统

发布时间: 2023-12-11

基本信息

合作方式: 技术转让
成果类型: 发明专利
行业领域:
新一代信息技术产业,互联网与云计算、大数据服务
成果介绍
本发明涉及一种融合多粒度视觉与文本特征的多模态情感分析方法及系统,该方法包括:A、初始化图节点文本表示并提取图片特征表示;B、依据句法依赖关系、成分树结构确定图注意力网络中边关系邻接矩阵;使用多模态注意力机制分别获得单词级、短语级、句子级的联合文本视觉特征表示,最终获得多粒度文本 视觉融合特征表示;根据多层图注意力网络输出的文本 视觉联合特征表示预测方面词位置并形成方面词表示;依据方面词位置使用ANP解析器解析出最相关的ANP对,并依据方面词在句法依赖关系中的邻接关系构建方面图;C、根据方面图的输出作为方面词情感表示,预测该方面词对应的情感极性。该方法及系统有利于提高情感极性预测精度。
成果亮点
本发明采用的技术方案是:一种融合多粒度视觉与文本特征的多模态情感分析方法,包括以下步骤: 步骤A:使用预训练模型初始化图节点文本表示,并且使用ResNet初步提取图片特征表示; 步骤B:依据句法依赖关系、成分树结构确定图注意力网络中边关系邻接矩阵;使用多模态注意力机制,分别获得单词级、短语级、句子级的联合文本视觉特征表示;借助多层图注意力网络融合单词级、短语级、句子级的联合文本视觉特征表示,最终获得多粒度文本-视觉融合特征表示;根据多层图注意力网络输出的文本-视觉联合特征表示,预测方面词位置并形成方面词表示;依据方面词位置使用ANP解析器解析出最相关的ANP对,并依据方面词在句法依赖关系中的邻接关系,构建方面图; 步骤C:根据方面图的输出作为方面词情感表示,预测该方面词对应的情感极性。
团队介绍
发明人:陈羽中 石丽湲 陈子阳 福州大学(Fuzhou University),简称福大,位于福建省福州市,创建于1958年,是国家“双一流”建设高校,国家“211工程”建设高校,国家教育部、国家国防科技工业局与福建省人民政府共建高校,福建省三所重点建设的高水平大学之一,福建省一流大学建设高校,入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。
成果资料
产业化落地方案
点击查看
成果综合评价报告

评价单位:- (-) 评价时间:2023-12-19

黄建华

福州大学

教授

综合评价

与现有技术相比,该成果具有以下有益效果:该成果首先针对不同模态下信息不相关或者冗余信息导致的噪声问题,不直接加入整张图片的信息,而是采用多粒度的联合视觉文本特征表示,减少冗余信息导致的噪声问题。利用成分树中天然的短语分组,多个单词组成更高的语义表示,使短语比单个词(如形容词)更易察觉。使用多层GAT,由成分树和依赖树构成邻接矩阵,去除跨子句的依赖,融合文本信息,并在不同层的融合过程中,加入不同粒度的视觉特征表示,初始加入融合过的word-Level联合视觉特征表示,在中间层加入短语级联合视觉特征表示,在顶层加入sentence-level的联合视觉特征表示。探索文本和图像间的不同层次交互。另外,本发明通过ANP,针对方面词使用多模态信息增强的策略和方法,借助与方面词最相关的ANP对对应的情感词为桥梁,引入该方面词对应的多模态情感信息,帮助模型提高情感极性预测精度。
查看更多>
更多