您所在的位置: 成果库 一种两级网络的图像文本跨媒体检索方法

一种两级网络的图像文本跨媒体检索方法

成果类型:: 发明专利

发布时间: 2023-12-20 09:01:00

科技成果产业化落地方案
方案提交机构:成果发布人| 涂媛 | 2023-12-20 09:01:00

本发明公开一种两级网络的图像文本跨媒体检索方法,首先通过构建了跨媒体两级网络来探索两级对齐,它分别包含两个用于全局,局部的子网。接着利用训练数据集来对跨媒体两级模型进行训练,以确定跨媒体两级模型中的网络参数,由此得到训练好的跨媒体两级模型。最后,利用该训练好的跨媒体两级模型对待检索图像和待检索文本进行相似度检索。实验表明,本发明在跨媒体检索的应用上达到了不错的效果。

本发明提供一种两级网络的图像文本跨媒体检索方法,通过交叉模式检索研究的核心是学习到图像和文本较好的语义表示,其中不同形态的项目可以直接相互检索,以实现跨不同模态的灵活检索体验。

这种两级网络的图像文本跨媒体检索方法可以帮助人们更方便地在各种不同类型的媒体中检索所需信息。它可以应用于许多领域,如:

娱乐领域:可以帮助用户在电影、音乐、图书等媒体中快速找到感兴趣的内容。

医疗领域:可以帮助医生在大量医学图像和文献中快速找到与患者病情相关的信息。

教育领域:可以帮助教师和学生在多媒体教学资源中快速找到所需的内容。

商业领域:可以帮助企业在广告、宣传资料等多媒体内容中快速找到相关信息。

总之,这种两级网络的图像文本跨媒体检索方法具有广泛的应用前景,可以大大提高人们在多媒体世界中的信息检索效率。

广西师范大学地处世界级旅游城市、国家历史文化名城桂林,是国家教育部与广西壮族自治区人民政府共建高校,“中西部高校基础能力建设工程项目”高校,广西重点建设的“国内一流大学”高校,全国文明校园。有王城、育才、雁山3个校区,校园面积4100多亩,各类学生50000多人,各类教职工4000多人(含离退休人员)。学校已发展成为广西教师教育的“领头羊”、人文强桂的“主力军”、科技兴桂的“生力军”、广西国际教育的“排头兵”。目前,学校正全力推进“双一流”建设和综合改革,努力实现建设国际知名、教师教育特色鲜明的国内一流大学的目标。

(1)全局和局部统筹兼顾,对全局特征采用基于生成对抗网络的思想,对局部特征采用注意力机制加权融合,与传统的跨媒体检索的CCA方法相比,融合了全局和局部不同的特征;两级网络的图像文本跨媒体检索方法具有很好的可解释性,结构并不复杂,结合两种方法在提升跨媒体检索的准确性的同时也让结果具有很好的可解释性。

(2)综合相似度采用相似度点积后累加进行计算,与传统的跨媒体检索的CCA方法和余弦相似度方法比较,混合的相似度考虑了多元的相似度信息,在实验结果上具有更高的召回率,在两种相似度融合的阶段采用相似度累加,与现有的跨媒体检索相似度融合策略相比,本方法通过实验学习得到更高的召回率,使结果更具说服力。

技术转让,许可,合作所需资金需双方协商,此项技术想尽快落地保定,希望具备此项技术研发的技术方,能够尽快承接此项目。