一种基于图结构数据的端到端无数据对抗性知识抽取方法

(19)中华人民共和国国家知识产权局

	(12)发明专利说明书
		(10)申请公布号 CN 114565081 A (43)申请公布日 2022.05.31

(21)申请号 CN202210193392.2

(22)申请日 2022.03.01

(71)申请人北京邮电大学

地址 100876 北京市海淀区西土城路10号

(72)发明人石川庄远鑫

(74)专利代理机构北京挺立专利事务所(普通合伙)

代理人高福勇

(51)Int.CI

G06N3/04

G06N3/08

G06N5/02

权利要求说明书说明书幅图

(54)发明名称

一种基于图结构数据的端到端无数据对抗性知识抽取方法

(57)摘要

本发明公开了一种基于图结构数据的端到端无数据对抗性知识抽取方法，用于模型压缩。本发明采用了产生式对抗性网络，该网络主要由三部分组成：将预先训练的教师模型和学生模型视为两个鉴别器，并利用生成器生成训练图，将教师模型中的知识提取到学生模型中。在不同的基准模型和6个代表性数据集上的大量实验表明，本发明的方法在图形分类任务上明显超过了最新的无数据基线。在没有任何实际数据的情况下，本发明成功地减少了误差，得到了一个性能相对较好的学生模型，可以有效地应用于不同的网络体系结构。本发明的方法是第一个提出有效的、端到端的无数据的图知识蒸馏框架，为今后的研究工作奠定了坚实的基础。

法律状态

法律状态公告日	法律状态信息	法律状态
2022-05-31	公开	发明专利申请公布
2022-06-17	实质审查的生效IPC(主分类):G06N 3/04专利申请号:2022101933922申请日:20220301	实质审查的生效