科创中国
基于同构性和异质性动态信息交互的多模态情感分类方法
发布时间: 2023-07-07
基本信息
合作方式：
技术转让
成果类型：
发明专利
行业领域：
生物与新医药技术
成果介绍
背景技术
目前，多模态情感分析的研究领域已经有了很多重要的研究和发现。大多数研究主要集中在不同模态特征分析和多模态语义融合，并且已经有了大量的研究和发现。2018年，Yao等人提出了多模态因子分解情感分析模型(MFM)。MFM通过优化多模态数据和标签联合生成鉴别目标。之后通过区分鉴别目标确保学习到的表征具有丰富的模态特征。2020年Kai等人提出了一种跨模态BERT多模态情感分析模型(CM-BERT)。CM-BERT首先结合来自文本和音频模态的信息来微调预先训练过的BERT模型。之后采用一种新颖的掩蔽多模态注意作为其核心方法，通过文本和音频模态间的动态交互调整词的权重，提升多模态情感识别的精确度
成果亮点
2020年Wasifur等人提出一种多模态适应门-BERT多模态情感分析方法(MAG-BERT)。MAG-BERT利用BERT作为主干网络，以非语言行为为条件的注意力，基本上将视觉和听觉的信息因素映射为一个具有轨迹和大小的矢量。在微调过程中，这个适应向量修改BERT和XLNet的内部状态，允许模型无缝地适应多模态输入。2021年Wenmeng等人提出了一种自监督多任务多模态模型(Self-MM)。Self-MM采用自监督多任务学习策略，通过设计多模态标签和模态表示的单峰标签，联合训练多模态和单模态任务，分别学习一致性和差异性来调整每个子任务的权重。虽然以上研究已经去了显著成效，但是大多数方法并没有明确分析多模态信息深层次多维度的语义关联和差异性，会导致各模态间存在歧义和噪声，进而影响情感分类的准确性。
团队介绍
学校创建于1952年7月，原名东北林学院，是在浙江大学农学院森林系和东北农学院森林系基础上建立的，由国家林业部直属管理。1985年8月更名为东北林业大学。2000年2月，由国家林业局划归教育部直属管理。2005年10月，经国家发改委、财政部和教育部批准，成为国家“211工程”重点建设高校。2010年11月，教育部和国家林业局签署合作共建协议。2011年6月，成为国家“优势学科创新平台”项目重点建设高校。2012年3月，教育部与黑龙江省人民政府签署合作共建协议。2017年9月，经国务院批准列为“双一流”建设高校。2022年2月，入选国家第二轮“双一流”建设高校。
成果资料
产业化落地方案
下载app