首页 > 学术百科

一种混合融合模型的跨模态图像文本检索方法[发明专利]

专利名称：一种混合融合模型的跨模态图像文本检索方法专利类型：发明专利

发明人：徐行，王依凡，杨阳，邵杰，申恒涛

申请号：CN202110118655.9

申请日：20210128

公开号：CN112784092A

公开日：

20210511

专利内容由知识产权出版社提供

摘要：本发明公开了一种混合融合模型的跨模态图像文本检索方法，在早期融合结构中，首先结合局部的视觉区域特征和文本的原始全局特征，以获得一个统一的跨模态融合表征，再以融合特征为输入，在随后的嵌入网络中增强局部视觉特征和语言信息之间的交互；与此同时，以传统的晚期融合结构为基础，将原始图像和句子特征分别输入到视觉和文本编码器中进行模态内特征增强，丰富各自模态的语义信息；最后，整个网络相似度是早期融合相似度和晚期融合相似度的加权线性组合，从而实现了早期融合在跨模态学习层面和晚期融合在模态内学习层面的互补，完成图像和文本模态之间的潜在对齐。

申请人：电子科技大学

地址：611731 四川省成都市高新区(西区)西源大道2006号

国籍：CN

代理机构：成都行之专利代理事务所(普通合伙)

代理人：温利平

本文发布于:2024-09-20 13:45:05，感谢您对本站的认可！

本文链接：https://www.17tex.com/xueshu/779253.html

上一篇：一种基于医生相关属性检索诊断病例的装置及方法[发明专利]

下一篇：基于语义的文档查重方法及装置