基于无监督预训练模型诱饵的制作和装置的制作方法

1.本发明涉及网络安全技术领域,更具体的说是涉及基于无监督预训练模型诱饵的制作和装置。

背景技术：

2.欺骗诱捕是由蜜罐、诱饵技术组成的蜜网技术，是主动防御的重要手段，可对现有安全防护体系做良好的补充，根据用户核心业务资产拓扑结构，生成相似度极高的业务场景，诱惑黑客攻击，混淆黑客攻击前收集的信息，从而第一时间发现黑客攻击。
3.蜜饵一般是一个文件，工作原理和蜜罐类似，也是诱使攻击者打开或下载。当黑客看到“xx下半年工作计划.docx”、“xx环境运维手册.pdf”、“员工薪酬名单-20210630.xslx”这种文件时，往往难以忍住下载的欲望，这样就落入了防守方的陷阱。当防守方发现这里的文件有被打开过的痕迹或攻击者跟随蜜饵文件内容进行某种操作时，就可以追溯来源，发现被攻陷的设备。
4.现有的问题是这些诱饵只能通过终端环境手动自定义相关诱饵内容生成参数，无法适应复杂多变的网络、设备和生产资产环境。
5.因此需要一种智能化的方案自动生成与真实环境相关的甚至是和真实文件相似的诱饵。

技术实现要素：

6.有鉴于此，本发明提供了一种基于无监督预训练模型诱饵的制作和装置，针对于主动防御策略使用诱饵策略捕获攻击者行为意图、引入蜜网并进行追踪溯源的诱饵生成方法。
7.为实现上述目的，本发明提供如下技术方案：基于基于无监督预训练模型诱饵的制作，包括如下步骤：
8.s1、准备相关语料库；
9.s2、数据预处理；
10.s3、加载预训练生成模型gpt；
11.s4、下游特定任务训练；
12.s5、根据关键词和真实环境描述生成内容；
13.s6、诱饵文件制作；
14.s7、生成诱饵文件程序绑定word、pdf、web；
15.s8、生成诱饵智能下发到终端。
16.优选的，在上述一种基于无监督预训练模型诱饵的制作中，所述s1以及s2中，接入真实网络环境的文件作为训练样本，采集数据信息，并对数据进行编码与分段。
17.优选的，在上述一种基于无监督预训练模型诱饵的制作中，所述数据信息包括企业域名、通讯录、互联网资产和信息泄露。
18.优选的，在上述一种基于无监督预训练模型诱饵的制作中，在s4的所述训练模型中，输入与生成内容相关的标题或提示自动生成诱饵内容。
19.优选的，在上述一种基于无监督预训练模型诱饵的制作中，s8中还包括如下步骤：
20.a、进程检测，规则转换，重定向；
21.b、记录诱饵增删改踪迹；
22.c、生成的诱饵内容不限于word、pdf文件或嵌入web服务，html，或其他程序和网络环境中。
23.优选的，在上述一种基于无监督预训练模型诱饵的制作中，在s3中，对于语料u＝(u1,.....un),gpt构建标准的语言模型：
[0024][0025]
同时使用transformer decoder模块加上前馈神经网络，最后使用softmax输出目标词的分布；
[0026]
h0＝uwe+w
p
[0027][0028][0029]
优选的，在上述一种基于无监督预训练模型诱饵的制作中，对于通过第一阶段的预训练得到的语言模型，对于特定的任务进行fine-tuning；
[0030]
对于一个监督数据集c，其中的数据为一个序列χ1，......，χm，和一个标签y；将序列输入预训练模型后得到输出向量h
lm
，接着使用一个线性层来预测标签；
[0031][0032]
需极大化的似然函数为：
[0033][0034]
优选的，在上述一种基于无监督预训练模型诱饵的制作中，所述本发明中使用gpt-2模型，是gpt的升级版，其中gpt-2构建了一个数据集webtext，共有八百万文档，40gb。
[0035]
优选的，在上述一种基于无监督预训练模型诱饵的制作中，所述gpt-2模型使用了庞大的网络构架，最大48层transformer，1542m参数，1600维。
[0036]
一种应用其中任一一项的无监督预训练模型诱饵装置。
[0037]
经由上述的技术方案可知，与现有技术相比，本发明依靠强大的无监督预训练模型gpt-2生成出的诱饵内容，并结合进一步改造，例如在word文档、pdf文档中植入一个隐蔽的追踪溯源程序；gpt(generative pre-training)是一个典型的两阶段式模型：无监督预训练+监督下游任务微调。而在nlp任务中，上游的无监督预训练任务多半采用语言模型来实现，下游的监督任务直接对上游的模型进行简单改造即可使用；gpt为了能够有效的抓取文本中的语义信息，使用了单向的transformer decoder模块构建标准的语言模型，再使用
预训练得到的网络架构与参数进行下游监督任务的微调，取得了不错的效果。
附图说明
[0038]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0039]
图1附图为本发明的结构示意图。
具体实施方式
[0040]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
请参阅附图1，为本发明公开的一种基于基于无监督预训练模型诱饵的制作，具体包括如下步骤：
[0042]
s1、准备相关语料库；
[0043]
s2、数据预处理；
[0044]
s3、加载预训练生成模型gpt；
[0045]
s4、下游特定任务训练；
[0046]
s5、根据关键词和真实环境描述生成内容；
[0047]
s6、诱饵文件制作；
[0048]
s7、生成诱饵文件程序绑定word、pdf、web；
[0049]
s8、生成诱饵智能下发到终端。
[0050]
所述s1以及s2中，接入真实网络环境的文件作为训练样本，采集数据信息，并对数据进行编码与分段；
[0051]
所述数据信息包括企业域名、通讯录、互联网资产和信息泄露；
[0052]
在s4的所述训练模型中，输入与生成内容相关的标题或提示自动生成诱饵内容；
[0053]
s8中还包括如下步骤：
[0054]
a、进程检测，规则转换，重定向；
[0055]
b、记录诱饵增删改踪迹；
[0056]
c、生成的诱饵内容不限于word、pdf文件或嵌入web服务，html，或其他程序和网络环境中。
[0057]
在s3中，训练模型(pt2有15亿参数，面对8m的语料就需要4h左右，还是比较可行的方案；对于语料u＝(u1,.....un),gpt构建标准的语言模型：
[0058][0059]
同时使用transformer decoder模块加上前馈神经网络，最后使用softmax输出目
标词的分布；
[0060]
h0＝uwe+w
p
[0061][0062][0063]
对于通过第一阶段的预训练得到的语言模型，对于特定的任务进行fine-tuning；
[0064]
对于一个监督数据集c，其中的数据为一个序列χ1，......，χm，和一个标签y；将序列输入预训练模型后得到输出向量h
lm
，接着使用一个线性层来预测标签；
[0065][0066]
需极大化的似然函数为：
[0067][0068]
优选的，在上述一种基于无监督预训练模型诱饵的制作和装置中，所述本发明中使用gpt-2模型，是gpt的升级版，相比之下，gpt-2有如下几点改进:
[0069]
1.构建了一个更加庞大的数据集webtext,其涵盖的领域比较广泛,共有8百万文档,40gb；
[0070]
2.使用了更加庞大的网络架构:最大48层transformer,1542m参数,1600维；
[0071]
3.gpt-2提出这样训练得到的模型，能够在zero-shot情形下也有不错的表现，从而证明了语言模型预训练的意义。
[0072]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0073]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：

1.基于无监督预训练模型诱饵的制作，其特征在于，包括如下步骤：s1、准备相关语料库；s2、数据预处理；s3、加载预训练生成模型gpt；s4、下游特定任务训练；s5、根据关键词和真实环境描述生成内容；s6、诱饵文件制作；s7、生成诱饵文件程序绑定word、pdf、web；s8、生成诱饵智能下发到终端。2.根据权利要求1所述的一种基于无监督预训练模型诱饵的制作，其特征在于，所述s1以及s2中，接入真实网络环境的文件作为训练样本，采集数据信息，并对数据进行编码与分段。3.根据权利要求2所述的一种基于无监督预训练模型诱饵的制作，其特征在于，所述数据信息包括企业域名、通讯录、互联网资产和信息泄露。4.根据权利要求1所述的一种基于无监督预训练模型诱饵的制作，其特征在于，在s4的所述训练模型中，输入与生成内容相关的标题或提示自动生成诱饵内容。5.根据权利要求1所述的一种基于无监督预训练模型诱饵的制作，其特征在于，s8中还包括如下步骤：a、进程检测，规则转换，重定向；b、记录诱饵增删改踪迹；c、生成的诱饵内容不限于word、pdf文件或嵌入web服务，html，或其他程序和网络环境中。6.根据权利要求1所述的一种基于无监督预训练模型诱饵的制作，其特征在于，在s3中，对于语料u＝(u1,.....u
n
),gpt构建标准的语言模型：同时使用transformer decoder模块加上前馈神经网络，最后使用softmax输出目标词的分布；h0＝uw
e
+w
pp
7.根据权利要求6所述的一种基于无监督预训练模型诱饵的制作，其特征在于，对于通过第一阶段的预训练得到的语言模型，对于特定的任务进行fine-tuning；对于一个监督数据集c，其中的数据为一个序列χ1，......，χ
m
，和一个标签y；将序列输入预训练模型后得到输出向量h
lm
，接着使用一个线性层来预测标签；
需极大化的似然函数为：8.根据权利要求1所述的一种基于无监督预训练模型诱饵的制作，其特征在于，所述本发明中使用gpt-2模型，是gpt的升级版，其中gpt-2构建了一个数据集webtext，共有八百万文档，40gb。9.根据权利要求9所述的一种基于无监督预训练模型诱饵的制作，其特征在于，所述gpt-2模型使用了庞大的网络构架，最大48层transformer，1542m参数，1600维。10.一种应用权利要求1-9其中任一一项的无监督预训练模型诱饵装置。

技术总结

本发明涉及网络安全技术应用技术领域，具体公开了一种基于无监督预训练模型诱饵的制作，包括如下步骤：S1、准备相关语料库；S2、数据预处理；S3、加载预训练生成模型GPT；S4、下游特定任务训练；S5、根据关键词和真实环境描述生成内容；S6、诱饵文件制作；S7、生成诱饵文件程序绑定word、pdf、web；S8、生成诱饵智能下发到终端。本发明依靠强大的无监督预训练模型GPT-2生成出的诱饵内容，并结合进一步改造，文档中植入一个隐蔽的追踪溯源程序；无监督预训练+监督下游任务微调，而在NLP任务中，上游的无监督预训练任务多半采用语言模型来实现，下游的监督任务直接对上游的模型进行简单改造。监督任务直接对上游的模型进行简单改造。