一种基于数据增强的视觉语义嵌入方法及系统

(19)中华人民共和国国家知识产权局

	(12)发明专利说明书
		(10)申请公布号 CN 114298057 A (43)申请公布日 2022.04.08

(21)申请号 CN202210003468.0

(22)申请日 2022.01.04

(71)申请人中国人民解放军国防科技大学

地址 210007 江苏省南京市秦淮区后标营18号

(72)发明人曹建军曾志贤翁年凤袁震江春丁鲲蒋国权

(74)专利代理机构 32346 江苏瑞途律师事务所

代理人计璐

(51)Int.CI

G06F40/30(20200101)

G06F40/242(20200101)

G06N5/04(20060101)

G06N3/04(20060101)

G06N3/08(20060101)

权利要求说明书说明书幅图

(54)发明名称

一种基于数据增强的视觉语义嵌入方法及系统

(57)摘要

本发明公开了一种基于数据增强的视觉语义嵌入方法及系统，属于深度学习技术领域。利用第一网络模型对图像进行目标识别选取若干图像区域；利用第二网络模型提取图像区域的细粒度特征，通过微调网络映射得到图像在共同嵌入空间的细粒度表示；进行第一语义图推理并进行统一池化操作；利用第一提取模型提取文本上下文相关的词向量表示；利用第二提取模型进行微调映射至共同嵌入空间，得到文本在共同嵌入空间中的词向量表示；进行第二语义图推理并进行统一池化操作；对所述第一池化结果和第二池化结果进行语义对齐，并且在模型的训练中对数据进行增强。本发明能够很好的构建模态内语义关联和在共同嵌入子空间中生成统一表征。

法律状态

法律状态公告日	法律状态信息	法律状态
2022-04-08	公开	发明专利申请公布
2022-04-26	实质审查的生效IPC(主分类):G06F40/30专利申请号:2022100034680申请日:20220104	实质审查的生效