科创中国
多模态讽刺检测方法、装置、设备以及存储介质
成果类型：: 发明专利
发布时间: 2026-04-23 10:29:23
科技成果产业化落地方案
方案提交机构：成果发布人| 徐景新 | 2026-04-23 10:29:23
本发明涉及自然语言处理技术领域，特别涉及一种多模态讽刺检测方法、装置、设备以及存储介质，基于图像、文本双模态数据，针对各模态内容分层次地进行全局特征提取以及文本特征增强，基于获得的文本全局特征表示、图像全局特征表示以及文本增强特征表示，采用跨模态交互的方式进行不一致性评估，获得不一致性分数，利用图像全局特征表示、文本增强特征表示以及不一致性分数进行协同识别，充分的利用模态间信息进行讽刺检测，提高讽刺检测的准确性。
该检测方法的核心技术在于“视觉-语言特征提取-跨模态语义冲突建模-对比学习优化”三层架构。首先使用预训练视觉Transformer和BERT分别提取图像区域特征与文本语义特征。其次，设计跨模态注意力冲突模块，通过计算图文特征之间的差异矩阵与共同注意力权重，显式建模图像与文本之间的情感矛盾或逻辑不一致，生成讽刺敏感的特征表示。最后，引入跨模态对比学习策略，以图文对为正样本、随机配对为负样本，拉近讽刺样本的模态间距离的同时扩大与非讽刺样本的距离。装置端集成模型轻量化与加速推理模块，支持社交媒体实时流处理。
该方法可广泛应用于社交媒体内容审核、网络舆情监测、电商评论分析及多模态对话系统等领域。特别适用于检测含有夸张图片与反话文字结合的政治讽刺、产品黑粉评论及虚假信息传播。随着社交媒体中多模态内容爆炸式增长，对高精度讽刺检测技术的需求日益迫切。该方法还可拓展至虚假新闻识别、仇恨言论检测及广告合规审查等场景，具备广阔的应用前景。
华南师范大学始建于1933年，是一所办学历史悠久的国家重点建设大学，位列国家“双一流”建设高校和首批“211工程”重点建设行列。学校地处广东广州，现拥有石牌、大学城、南海等多个校区，形成了以师范教育为传统优势，多学科协调发展的办学格局。作为南方教师教育的排头兵，华师在心理学、教育学和光电子等技术领域具有显著实力，同时涵盖哲学、经济学、理学、工学、管理学等十二大学科门类。学校秉承“艰苦奋斗、严谨治学、求实创新、为人师表”的校训，致力于培养高素质人才，服务粤港澳大湾区发展，正朝着建设成为国内一流、世界知名的综合性师范大学稳步迈进。
本成果产生的效益显著。内容安全效益上，自动化讽刺检测帮助平台快速识别并标记恶意或误导性内容，减少人工审核负担，降低有害信息传播风险。商业效益上，为品牌提供竞品评论中的讽刺检测，精准把握用户真实反馈，提升舆情应对效率。社会效益上，辅助遏制网络暴力和政治煽动言论，营造健康网络环境。技术效益上，推动了多模态语义理解向更深层次的语用与情感分析发展。产业层面，增强了我国在多模态内容安全与智能审核领域的自主创新能力。
技术转让，许可，合作所需资金需双方协商，此项技术想尽快落地，希望具备此项技术研发的技术方，能够尽快承接此项目。
下载app