电子信息技术

本发明公开一种两级网络的图像文本跨媒体检索方法，首先通过构建了跨媒体两级网络来探索两级对齐，它分别包含两个用于全局，局部的子网。接着利用训练数据集来对跨媒体两级模型进行训练，以确定跨媒体两级模型中的网络参数，由此得到训练好的跨媒体两级模型。最后，利用该训练好的跨媒体两级模型对待检索图像和待检索文本进行相似度检索。实验表明，本发明在跨媒体检索的应用上达到了不错的效果。

技术亮点

本发明提供一种两级网络的图像文本跨媒体检索方法，通过交叉模式检索研究的核心是学习到图像和文本较好的语义表示，其中不同形态的项目可以直接相互检索，以实现跨不同模态的灵活检索体验。

这种两级网络的图像文本跨媒体检索方法可以帮助人们更方便地在各种不同类型的媒体中检索所需信息。它可以应用于许多领域，如：

娱乐领域：可以帮助用户在电影、音乐、图书等媒体中快速找到感兴趣的内容。

医疗领域：可以帮助医生在大量医学图像和文献中快速找到与患者病情相关的信息。

教育领域：可以帮助教师和学生在多媒体教学资源中快速找到所需的内容。

商业领域：可以帮助企业在广告、宣传资料等多媒体内容中快速找到相关信息。

总之，这种两级网络的图像文本跨媒体检索方法具有广泛的应用前景，可以大大提高人们在多媒体世界中的信息检索效率。

(1)全局和局部统筹兼顾，对全局特征采用基于生成对抗网络的思想，对局部特征采用注意力机制加权融合，与传统的跨媒体检索的CCA方法相比，融合了全局和局部不同的特征；两级网络的图像文本跨媒体检索方法具有很好的可解释性，结构并不复杂，结合两种方法在提升跨媒体检索的准确性的同时也让结果具有很好的可解释性。

(2)综合相似度采用相似度点积后累加进行计算，与传统的跨媒体检索的CCA方法和余弦相似度方法比较，混合的相似度考虑了多元的相似度信息，在实验结果上具有更高的召回率，在两种相似度融合的阶段采用相似度累加，与现有的跨媒体检索相似度融合策略相比，本方法通过实验学习得到更高的召回率，使结果更具说服力。