基于语义的文档查重方法及装置

(19)中华人民共和国国家知识产权局

	(12)发明专利说明书
		(10)申请公布号 CN 114564935 A (43)申请公布日 2022.05.31

(21)申请号 CN202210182346.2

(22)申请日 2022.02.25

(71)申请人中国建设银行股份有限公司

地址 100033 北京市西城区金融大街25号

(72)发明人李靖郑邦东林明单晟

(74)专利代理机构北京三友知识产权代理有限公司

代理人郝博;沈珍珠

(51)Int.CI

G06F40/194

G06F40/30

权利要求说明书说明书幅图

(54)发明名称

基于语义的文档查重方法及装置

(57)摘要

本发明公开了一种基于语义的文档查重方法及装置，可应用于人工智能技术领域，该方法包括：生成文档集的语义向量集，所述文档集包括待查重文档和多个历史文档；对语义向量集进行向量量化，获得压缩后的向量集；基于压缩后的向量集，检索出与待查重文档距离最近的历史文档，将所述与待查重文档距离最近的历史文档，确定为相似文档；对待查重文档句子分割，获得第一句子集合，对相似文档进行句子分割，获得第二句子集合；对第一句子集合和第二句子集合中的句子进行两两组合，获得多组句子对；从多组句子对中，筛选出相似句子对。本发明可以实现对文档进行查重，效率高。

法律状态

法律状态公告日	法律状态信息	法律状态
2022-05-31	公开	发明专利申请公布
2022-06-17	实质审查的生效IPC(主分类):G06F40/194专利申请号:2022101823462申请日:20220225	实质审查的生效